Veri Analizi

• Örnek Veri Analizleri

  • Su Kalitesi

• Konulara Göre Veri Analizleri

  • Aykırı Gözlem Analizi
  • Değişken Dönüşümleri
  • Eksik Veri Analizi
  • Kategorik Değişkenlerde Eksik Veri Analizi
  • One-Hot Dönüşümü ve Dummy Değişken Tuzağı
  • Python ile Veri Analizi
  • Tahmine Dayalı Değer Atama Yöntemleri
  • Veri Standardizasyonu

• Egzersizler

  • 1-Pandas Egzersizi
  • 2-Pandas Egzersizi
  • 3-Pandas Egzersizi
  • 4-Pandas Egzersizi
  • 5-Pandas Egzersizi
  • 6-Pandas Egzersizi
  • 7-Pandas Egzersizi
  • 8-Pandas Egzersizi
  • 9-Pandas Egzersizi

• Droplama İşlemleri

  • Tekrar Eden Satırları Silmek

• Eksik Değer

  • Eksik Değer Elde Etmek
  • Eksik Değerleri Yüzdelikleri ile Görmek

• İstatistik

  • Ortalama

• Veri Biçimlendirmek

  • f-Strings
  • Ii Küçültme ve Büyütme Sorunu
  • Kelime ve Gözlem Bazında Filtreleme

• Veri Oluşturmak, Birleştirmek & Ayırmak

  • İki Listeyi Veri Olarak Birleştirmek
  • Verileri Satır Bazında Birleştirmek
  • Verileri Satır Bazında Gruplayarak Birleştirmek
  • Verileri Sütun Bazında Birleştirmek
  • Verileri Sütun Bazında Eksik Değerli Satırları Almadan Birleştirmek
  • Verileri Sütun Bazında Eksik Değerleri Azaltacak Şekilde Birleştirmek
  • DataFrame Tipteki Verilerin Sütun Değerlerini Birleştirmek

• Veri İzleme

  • Verinin Tamamını Görmek

• Veri Tipleri

  • Birden Fazla Değişken Tipini Değiştirmek

• Zaman

  • Kod Çalışma Süresi

Tekrar Eden Satırları Silmek

df.drop_duplicates()

Eksik Değer Elde Etmek

Bu işlevlerin hepsi birbirine eş değerdir. O yüzden birbirlerinin yerine kullanabilirsiniz.

float("nan")
math.nan
np.nan

>>> math.isnan(np.nan), np.isnan(math.nan)
(True, True)

Eksik Değerleri Yüzdelikleri ile Görmek

def missing_value_chart(df): 
    missing_value = df.isnull().sum()
    missing_value_percent = 100 * df.isnull().sum()/len(df)
    missing_value_chart = pd.concat([missing_value, missing_value_percent], axis=1)
    missing_value_chart_end = missing_value_chart.rename(columns = {0: "Missing Value", 1: "% Value"})
    return missing_value_chart_end
  
missing_value_chart(df)

Ortalama

x.mean()
np.mean(x)
np.nanmean(x) # NaN değer varsa göz ardı edilir.
statistics.mean(x)
statistics.fmean(x)

f-Strings

counter = 5

print(f"this is counter {counter}")
>>> this is counter 5

print(f"this is counter {0}".format(counter))
>>> this is counter 5

def greet(name):
    return "Hello, " + name

name = "Github"

print(f"{greet(name)}")
>>> Hello, Github

class Sample:
    def __init__(self, name, age):
        self.name = name
        self.age = age
    def __str__(self):
        return f"{self.name} is {self.age} years old."
        
john = Sample("John", 19)

print(f"{john}")
>>> John is 19 years old.

Ii Küçültme ve Büyütme Sorunu

def trlower(metin):
    sonuç = ""
    for harf in metin:
        if harf == "I":
            harf = "ı"
            sonuç += harf
        elif harf == "İ":
            harf = "i"
            sonuç += harf
        else:
            sonuç += harf
    sonuç = sonuç.lower()
    return sonuç
            
x = "KIRKLARELİ"
trlower(x)
>>> 'kırklareli'

def trupper(metin):
    sonuç = ""
    for harf in metin:
        if harf == "ı":
            harf = "I"
            sonuç += harf
        elif harf == "i":
            harf = "İ"
            sonuç += harf
        else:
            sonuç += harf
    sonuç = sonuç.upper()
    return sonuç
            
x = "kırklareli"
trupper(x)
>>>'KIRKLARELİ'

Kelime ve Gözlem Bazında Filtreleme

# DataFrame
df = pd.DataFrame({"col": ["foo", "foobar", "bar", "baz"]})

# "foo" ile başlayıp devamı olan kelimeler:
df[df["col"].str.contains(r"foo(?!$)")]
>>> foobar

# Hem "foo" hem de "foo" ile başlayıp devamı olan kelimeler: 
df[df["col"].str.contains("foo")]
>>> foo
>>> foobar

# regex=False alarak tüm karakterleri alabiliriz:
df[df["col"].str.contains("foo", regex=False)]
>>> foo
>>> foobar

İki Listeyi Veri Olarak Birleştirmek

df = pd.merge(liste1, liste2, on = "NEYE GÖRE BİRLEŞECEK (örn. liste1.index)")

Verileri Satır Bazında Birleştirmek

frames = [df1, df2, df3]
pd.concat(frames)

Verileri Satır Bazında Gruplayarak Birleştirmek

pd.concat(frames, keys=["x","y","z"])

Verileri Sütun Bazında Birleştirmek

frames = [df1,df4]
pd.concat(frames, axis=1)

Verileri Sütun Bazında Eksik Değerli Satırları Almadan Birleştirmek

pd.concat(frames, axis=1, join="inner")

Verileri Sütun Bazında Eksik Değerleri Azaltacak Şekilde Birleştirmek

pd.concat(frames, axis=1).reindex(df1.index)

DataFrame Tipteki Verilerin Sütun Değerlerini Birleştirmek

df["New Column Name"] = df["1st Column Name"] + df["2nd Column Name"]
df["New Column Name"] = df["1st Column Name"].map(str) + df["2nd Column Name"].map(str)
df["Full Date"] = df["Day"].map(str) + "-" + df["Month"].map(str) + "-" + df["Year"].map(str)

Verinin Tamamını Görmek

Verinin tamamını görebilmek için uygulanır.

pd.set_option("display.max_rows", 1000)
pd.set_option("display.max_columns", 1000)
pd.set_option("display.width", 1000)

Birden Fazla Değişken Tipini Değiştirmek

df = pd.DataFrame({"A": [1, 2, 3, 4, 5],
                   "B": ["a", "b", "c", "d", "e"],
                   "C": [1.1, "1.0", "1.3", 2, 5]})
    
# Sözlük aracılığı ile değiştirilebilir.

convert_dict = {"A": int,
                "C": float}
                
df = df.astype(convert_dict)

# Apply fonksiyonu ile değiştirilebilir.

df[["A","C"]] = df[["A","C"]].apply(pd.to_numeric)

# infer_objects() fonksiyonu ile değiştirilebilir.
# Sadece numerik tipe dönüştürülebilecekleri dönüştürüyor.

df = df.infer_objects()

Kod Çalışma Süresi

from datetime import datetime 

start_time = datetime.now() 

#Kodlarınız

time_elapsed = datetime.now() - start_time
print(f"Time elapsed: {time_elapsed}")

Kaynaklar

• RealPython
• GeeksforGeeks
• Data Analysis with Python
• Python ile Makine Öğrenmesi
• Pandas Documentation
• Data to Fish