Veri yapıları

Orta

Adlar, referanslar ve değiştirilebilirlik

Derse git

Fonksiyonlar ve modüller

Orta

Fonksiyonlar

Derse git
F = C · 9/5 + 32F = C · 9/5 + 32

Burada

F
Fahrenheit derecesi cinsinden sıcaklık
C
Santigrat (Celsius) derecesi cinsinden sıcaklık

Bu formülü bir fonksiyona dönüştürelim

Özyineleme: kendini çağıran fonksiyonlar

Derse git
n! = n · (n − 1)!0! = 1! = 1

Burada

n
bir doğal sayı
n!
1 · 2 · … · n çarpımı

Kural aynı işlemi daha küçük bir sayı için tekrarlar (özyinelemeli adım) ve hesaplamadan bildiğimiz bir değer verir (temel durum).

S(n) = n % 10 + S(n // 10)S(n) = n, if n < 10

Burada

S(n)
n sayısının rakamları toplamı
n % 10
10’a bölümden kalan, yani son rakam
n // 10
tam bölme, son rakamı atar

S(2026) = 6 + S(202) = 6 + 2 + S(20) = 6 + 2 + 0 + S(2) = 10.

F(n) = F(n − 1) + F(n − 2)F(0) = 0F(1) = 1

Burada

F(n)
n’inci Fibonacci sayısı

Adım iki terim geriye baktığı için iki temel durum gerekir.

calls(n) = 2 · F(n + 1) − 1

Burada

calls(n)
basit fib(n) fonksiyonunun yaptığı çağrı sayısı

n = 20 için F(21) = 10946, yani 2 · 10946 − 1 = 21891 çağrı; aşağıdaki program da tam bu kadar sayar.

Derinlemesine Python

İleri

Yineleyiciler ve üreteçler

Derse git

Dekoratörler ve kapanışlar

Derse git

Bağlam yöneticileri ve with deyimi

Derse git

Tip ipuçları ve dataclass'lar

Derse git

İleri NYP: özel metotlar, özellikler ve MRO

Derse git

Yapısal desen eşleme: match-case

Derse git

Düzenli ifadeler: re modülü

Derse git

Asenkron Python: async ve await

Derse git

Paketler, modüller ve sanal ortamlar

Derse git

Performans, Büyük O ve collections modülü

Derse git

Derinlemesine standart kütüphane

İleri

Tarih ve saat: datetime ve saat dilimleri

Derse git
datetime ± timedelta = datetimedatetime − datetime = timedelta

Burada

datetime
zaman çizgisinde bir an (ya da date, bir gün)
timedelta
iki an arasındaki süre

İki tarih toplanamaz (date + date hatadır), ama çıkarılabilir ve karşılaştırılabilir. timedelta içinde ay ve yıl yoktur, çünkü uzunlukları değişir.

Unicode, kodlamalar ve bytes

Derse git
len(s.encode('utf-8')) = Σ bytes(c)

Burada

c
s metninin her karakteri (kod noktası)
bytes(c)
U+0000…U+007F için 1 bayt (ASCII: Latin harfleri, rakamlar); U+07FF’ye kadar 2 bayt (ə, ı, ş, ğ, Kiril harfleri); U+FFFF’ye kadar 3 bayt (€, Çince karakterler); daha büyükler için 4 bayt (emoji)

UTF-8, ASCII ile uyumludur: İngilizce metin bayt bayt aynıdır. Bu yüzden len(s) yalnızca ASCII metinde bayt sayısına eşittir.

Sıralama, bisect ve heapq

Derse git
a, b’den önce gelir ⇔ key(a) < key(b)key(a) = key(b) ⇒ ilk sıra korunur

Burada

key
anahtar fonksiyonu; verilmezse öğenin kendisi
reverse=True
karşılaştırmayı tersine çevirir, ama eşit anahtarlı öğelerin sırası yine korunur

Sıralama O(n log n) karşılaştırma gerektirir, anahtar ise yalnızca n kez hesaplanır.

count(lo ≤ x ≤ hi) = bisect_right(a, hi) − bisect_left(a, lo)

Burada

a
artan sırayla sıralanmış bir liste
lo, hi
aralığın sınırları (ikisi de dahil)

bisect_right(a, x) − bisect_left(a, x) ise x’in kaç kez geçtiğini verir; count() gibi, ama O(n) yerine O(log n)’de.

h[k] ≤ h[2k + 1]h[k] ≤ h[2k + 2]

Burada

h
yığın olarak tutulan liste
k
bir indeks (çocuk indeksi listenin içinde kaldıkça)

Örnek: [3, 7, 11, 42, 25, 19]: 3 ≤ 7 ve 3 ≤ 11; 7 ≤ 42 ve 7 ≤ 25; 11 ≤ 19. Liste sıralı olmasa da koşul sağlanır.

Yapılandırma dosyaları ve ortam değişkenleri

Derse git
değer(anahtar) = anahtarı içeren ilk katman: argümanlar → ortam → dosya → varsayılanlar

Burada

argümanlar
yalnızca bu çalıştırma için (--port 7000)
ortam
sunucu ya da konteyner için; sırlar için asıl yer
dosya
projenin ortak ayarları (TOML, INI)

Varsayılanlar kodda bulunur ve bütün anahtarların listesini belirler.

Betikler ve komut satırı araçları

İleri

Dosya sistemi: pathlib ve shutil

Derse git

Günlük kaydı: logging modülü

Derse git
record is shown ⇔ level(record) ≥ level(logger) and level(record) ≥ level(handler)

Burada

level(record)
iletinin düzeyi: log.info → 20
level(logger)
günlükçünün etkin düzeyi (kendisininki ya da en yakın üst günlükçününki)
level(handler)
iletiyi çıkaran işleyicinin düzeyi

Eşik ne kadar düşükse o kadar çok ileti görünür. Kök günlükçünün varsayılan düzeyi WARNING olduğundan, yapılandırma olmadan info iletileri görünmez.

Komut satırı uygulamaları: argparse ve click

Derse git

Kod kalitesi, testler ve paketleme

İleri

Test dublörleri: unittest.mock

Derse git

Web ve otomasyon

İleri

JSON ve CSV ile çalışmak

Derse git

Python’da veritabanı: sqlite3

Derse git

Web API'leri ve requests kütüphanesi

Derse git

Pydantic: veri doğrulama

Derse git

FastAPI ile web servisi

Derse git

SQLAlchemy: ORM ile veritabanı

Derse git

Otomasyon betikleri

Derse git

openpyxl ile Excel otomasyonu

Derse git
AB = 1 · 26 + 2 = 28XFD = 24 · 26² + 6 · 26 + 4 = 16384

Burada

A … Z
harf değerleri 1 … 26
26ᵏ
sağdan k. harfin ağırlığı (k = 0, 1, 2)

Sütun harfleri “sıfırsız” 26 tabanlı bir sistemdir. XFD, Excel’in son, 16 384. sütunudur. openpyxl’de: get_column_letter(28) → 'AB', column_index_from_string('AB') → 28.

Flask ve FastAPI ile web uygulamaları

İleri

Flask: ilk web uygulaması

Derse git

Flask: formlar, oturumlar ve veritabanı

Derse git

FastAPI: bağımlılıklar ve veritabanı

Derse git

Django

İleri

Django: proje, uygulamalar ve ilk sayfa

Derse git

Django: modeller, migration'lar ve yönetim paneli

Derse git

Web kazıma ve tarayıcı otomasyonu

İleri

BeautifulSoup ile HTML ayrıştırma

Derse git

Veri bilimi: NumPy, pandas, matplotlib

Üniversite

NumPy'ın temelleri: diziler

Derse git
size = d₁ · d₂ · … · dₙnbytes = size · itemsize

Burada

n
eksen sayısı (ndim)
dₖ
k. eksen boyunca uzunluk (shape içindeki bir değer)
itemsize
bir elemanın bayt cinsinden boyutu: float64 ve int64 için 8, float32 ve int32 için 4, bool ve int8 için 1

Şekli (2, 3) olan m için size = 2 · 3 = 6. temps için nbytes = 4 · 8 = 32 bayt.

h = (stop − start) / (num − 1)n = ⌈(stop − start) / step⌉h = (stop − start) / (num − 1)n = ⌈(stop − start) / step⌉

Burada

h
linspace noktaları arasındaki adım
n
arange dizisindeki eleman sayısı
⌈ ⌉
yukarı yuvarlama (tavan)

np.linspace(0, 1, 5): h = 1 / 4 = 0,25. np.arange(0, 10, 2): n = ⌈10 / 2⌉ = 5 eleman.

x̄ = (1/n) · ∑ xᵢσ = √( ∑ (xᵢ − x̄)² / (n − ddof) )x̄ = (1/n) · ∑ xᵢσ = √( ∑ (xᵢ − x̄)² / (n − ddof) )

Burada

x̄
aritmetik ortalama (mean)
n
değer sayısı
σ
standart sapma (std): değerlerin ortalamadan tipik olarak ne kadar uzaklaştığı
ddof
0 — ana kütle için (NumPy'da varsayılan), 1 — örneklem için (yansız varyans)

np.std varsayılan olarak n'ye böler; istatistik kitapları ve pandas'taki Series.std ise n − 1'e böler. Aynı sonucu almak için ddof=1 ver.

NumPy: vektörleştirme ve doğrusal cebir

Derse git
zᵢⱼ = (xᵢⱼ − μⱼ) / σⱼzᵢⱼ = (xᵢⱼ − μⱼ) / σⱼ

Burada

xᵢⱼ
i. örneğin j. özniteliği
μⱼ, σⱼ
j. sütunun ortalaması ve standart sapması
zᵢⱼ
standartlaştırılmış değer (z-puanı): ortalaması 0, standart sapması 1
cᵢⱼ = ∑ₖ₌₁ⁿ aᵢₖ · bₖⱼ(m × n) @ (n × p) → (m × p)

Burada

aᵢₖ
A matrisinin i. satır, k. sütun elemanı
bₖⱼ
B matrisinin k. satır, j. sütun elemanı
n
A'nın sütun ve B'nin satır sayısı (ortak)
A = [[a, b], [c, d]]: det A = a·d − b·cA⁻¹ = (1 / det A) · [[d, −b], [−c, a]]A = [[a, b], [c, d]]: det A = a·d − b·cA⁻¹ = (1 / det A) · [[d, −b], [−c, a]]

Burada

det A
determinant; 0 ise matris tekildir ve tersi yoktur
A⁻¹
ters matris: A · A⁻¹ = I (birim matris)
A · v = λ · vdet(A − λ · I) = 0

Burada

v
özvektör (v ≠ 0)
λ
özdeğer
I
birim matris

İkinci eşitlik karakteristik denklemdir: (A − λI)v = 0 sisteminin sıfırdan farklı bir çözümü ancak determinant 0 olduğunda vardır.

w = (Xᵀ X)⁻¹ Xᵀ y

Burada

X
n × d öznitelik matrisi (ilk sütun birlerden oluşur)
y
hedef değerler vektörü
w
karesel hataların toplamını en küçük yapan katsayılar

pandas'ın temelleri: Series ve DataFrame

Derse git
h = (n − 1) · qQ(q) = x₍ₖ₎ + (h − k) · (x₍ₖ₊₁₎ − x₍ₖ₎)k = ⌊h⌋

Burada

q
düzey: 0,25 (birinci çeyrek), 0,5 (medyan), 0,75 (üçüncü çeyrek)
x₍ₖ₎
artan sırada dizildikten sonraki k. değer (0'dan sayarak)
h
sıralanmış verideki “kesirli konum”

pandas ve NumPy varsayılan olarak nicelikleri iki komşu değer arasında doğrusal enterpolasyonla hesaplar.

pandas ile veri analizi

Derse git
x̄_w = ∑ wᵢ · xᵢ / ∑ wᵢx̄_w = ∑ wᵢ · xᵢ / ∑ wᵢ

Burada

xᵢ
i. grubun ortalaması (örneğin ortalama fiş tutarı)
wᵢ
grubun ağırlığı: genellikle gözlem sayısı

Ağırlıklı ortalama. pandas'ta: np.average(x, weights=w) ya da yalnızca genel toplamı genel sayıya bölmek.

Δ% = (xₜ − xₜ₋₁) / xₜ₋₁ · 100%Δ% = (xₜ − xₜ₋₁) / xₜ₋₁ · 100%

Burada

xₜ
mevcut dönemin değeri
xₜ₋₁
önceki dönemin değeri

Büyüme oranı; pandas'ta pct_change() bunu hesaplar (100 ile çarpmadan). İlk dönemin önceki değeri olmadığı için NaN çıkar.

matplotlib ile görselleştirme

Derse git
k = ⌈log₂ n⌉ + 1h = 2 · IQR · n^(−1/3)

Burada

k
kutu sayısı (Sturges kuralı)
h
kutu genişliği (Freedman–Diaconis kuralı), verinin biriminde
n
gözlem sayısı
IQR
çeyrekler açıklığı Q3 − Q1

Sturges, yaklaşık normal ve çok büyük olmayan veriler için uygundur; Freedman–Diaconis aykırı değerlere karşı dayanıklıdır. ax.hist(x, bins='fd') ikincisini otomatik uygular.

fᵢ = nᵢ / (n · h)∑ fᵢ · h = 1fᵢ = nᵢ / (n · h)∑ fᵢ · h = 1

Burada

nᵢ
i. kutuya düşen gözlemler
fᵢ
density=True ile çubuk yüksekliği (yoğunluk)
h
kutu genişliği

ax.hist(x, density=True) çubuk alanlarının toplamını 1 yapar; böyle bir histogram bir olasılık yoğunluğu eğrisiyle karşılaştırılabilir.

Python ile istatistik

Derse git
x̄ = (1/n) · ∑ xᵢs² = ∑ (xᵢ − x̄)² / (n − 1)s = √s²x̄ = (1/n) · ∑ xᵢs² = ∑ (xᵢ − x̄)² / (n − 1)s = √s²

Burada

n
örneklem büyüklüğü
s²
örneklem varyansı (birimi verinin biriminin karesi)
s
örneklem standart sapması (veriyle aynı birimde); NumPy'da std(ddof=1)
[Q1 − 1,5 · IQR; Q3 + 1,5 · IQR]

Burada

Q1, Q3
birinci ve üçüncü çeyrek (%25 ve %75)
IQR
Q3 − Q1, verinin orta yarısının genişliği

Tukey kuralı: bu aralığın dışındaki değerler aykırı değer sayılır. Burada: 14,75 + 1,5 · 1,75 = 17,375, yani 45 aykırı bir değerdir.

f(x) = 1 / (σ · √(2π)) · e^(−(x − μ)² / (2σ²))z = (x − μ) / σf(x) = 1 / (σ · √(2π)) · e^(−(x − μ)² / (2σ²))z = (x − μ) / σ

Burada

μ
dağılımın ortalaması
σ
standart sapma (σ > 0)
f(x)
olasılık yoğunluğu; P(a < X < b), a ile b arasında eğrinin altındaki alandır
z
z-puanı: standart normal dağılımdaki (μ = 0, σ = 1) konum
SE = σ / √n ≈ s / √nSE = σ / √n ≈ s / √n

Burada

SE
ortalamanın standart hatası
σ, s
ana kütlenin ve örneklemin standart sapması
x̄ ± t* · s / √nt* = t₁₋α/₂(n − 1)x̄ ± t* · s / √nt* = t₁₋α/₂(n − 1)

Burada

t*
t-dağılımının kritik değeri; %95 için α = 0,05
n − 1
serbestlik derecesi

Ortalama için %95 güven aralığı. stats.t.ppf(0.975, df=n - 1) t* değerini, stats.t.interval ise aralığın tamamını döndürür.

t = (x̄₁ − x̄₂) / √(s₁²/n₁ + s₂²/n₂)t = (x̄₁ − x̄₂) / √(s₁²/n₁ + s₂²/n₂)

Burada

x̄₁, x̄₂
grup ortalamaları
s₁², s₂²
grupların örneklem varyansları
n₁, n₂
grup büyüklükleri

Welch t istatistiği: ortalamaların farkının kendi standart hatasına bölümü. |t| ne kadar büyükse p o kadar küçüktür.

r = ∑ (xᵢ − x̄)(yᵢ − ȳ) / √( ∑ (xᵢ − x̄)² · ∑ (yᵢ − ȳ)² )r = ∑ (xᵢ − x̄)(yᵢ − ȳ) / √( ∑ (xᵢ − x̄)² · ∑ (yᵢ − ȳ)² )

Burada

r
−1 ≤ r ≤ 1; işaret yönü, |r| gücü gösterir
x̄, ȳ
her değişkenin ortalaması

scikit-learn ile makine öğrenmesi

Derse git
MSE = (1/n) · ∑ (yᵢ − ŷᵢ)²RMSE = √MSER² = 1 − ∑ (yᵢ − ŷᵢ)² / ∑ (yᵢ − ȳ)²MSE = (1/n) · ∑ (yᵢ − ŷᵢ)²RMSE = √MSER² = 1 − ∑ (yᵢ − ŷᵢ)² / ∑ (yᵢ − ȳ)²

Burada

yᵢ, ŷᵢ
gerçek değer ve tahmin
RMSE
hedefle aynı birimde tipik hata (burada bin manat)
R²
açıklanan değişimin payı: 1 mükemmel, 0 her zaman ortalamayı tahmin eden modelin düzeyi

Model 1,48 ve 11,06 katsayılarını buldu; gerçek 1,5 ve 12'ye yakın. RMSE ≈ 9,8, eklediğimiz gürültünün (σ = 10) düzeyidir: model sinyali tamamen yakaladı, gürültü ise tahmin edilemez.

p = σ(z) = 1 / (1 + e^(−z))z = w · x + bp = σ(z) = 1 / (1 + e^(−z))z = w · x + b

Burada

σ(z)
sigmoid: her sayıyı (0; 1) aralığına taşır, σ(0) = 0,5
p
örneğin pozitif sınıfa ait olma olasılığı; p ≥ 0,5 olduğunda “1” tahmin edilir
G = 1 − ∑ₖ pₖ²Gsplit = (nL / n) · GL + (nR / n) · GRG = 1 − ∑ₖ pₖ²Gsplit = (nL / n) · GL + (nR / n) · GR

Burada

pₖ
düğümdeki k sınıfının payı
G
0 saf bir düğüm demektir (tek sınıf); iki sınıf için en fazla 0,5
nL, nR
sol ve sağ alt düğümlerdeki örnek sayısı
Accuracy = (TP + TN) / NPrecision = TP / (TP + FP)Recall = TP / (TP + FN)F1 = 2 · P · R / (P + R)Accuracy = (TP + TN) / NPrecision = TP / (TP + FP)Recall = TP / (TP + FN)F1 = 2 · P · R / (P + R)

Burada

Precision
spam dediğimiz iletilerin ne kadarı gerçekten spam
Recall
tüm spamin ne kadarını yakalayabildik
F1
kesinlik ve duyarlılığın harmonik ortalaması
N
toplam örnek sayısı
CV = (1/k) · ∑ᵢ₌₁ᵏ scoreᵢCV = (1/k) · ∑ᵢ₌₁ᵏ scoreᵢ

Burada

k
kat sayısı, genellikle 5 ya da 10
scoreᵢ
i. kat test kümesiyken elde edilen skor

Bilimsel hesaplama ve görüntü işleme

Üniversite

SciPy ile bilimsel hesaplama

Derse git
A(r) = 2πr² + 2V/rA′(r) = 4πr − 2V/r² = 0 ⇒ r = ∛(V/(2π))h = 2rA(r) = 2πr² + 2V/rA′(r) = 4πr − 2V/r² = 0 ⇒ r = ∛(V/(2π))h = 2r

Burada

A(r)
kutunun toplam yüzey alanı (cm²)
r
taban yarıçapı (cm)
V
hacim (cm³; 330 ml = 330 cm³)
h
yükseklik (cm)

Minimumda türev sıfırdır; en ekonomik kutunun yüksekliği çapına eşittir (h = 2r).

f(a) · f(b) < 0 ⇒ bir c ∈ (a, b) için f(c) = 0

Burada

a, b
aralığın uçları (brentq(f, a, b))
c
aranan kök

İkiye bölme aralığı ikiye ayırır ve işaretin değiştiği yarıyı tutar; Brent yöntemi (brentq) daha hızlıdır ama bu garantiyi korur.

∫ₐᵇ f(x) dx = F(b) − F(a)

Burada

F
bir ilkel fonksiyon: F′(x) = f(x)
a, b
integralin sınırları

Newton–Leibniz formülü. quad için F gerekmez: alanı sayısal olarak hesaplar (uyarlamalı Gauss–Kronrod kuadratürü) ve hatanın bir tahminini de döndürür.

dT/dt = −k · (T − Tₘ)T(t) = Tₘ + (T₀ − Tₘ) · e^(−kt)dT/dt = −k · (T − Tₘ)T(t) = Tₘ + (T₀ − Tₘ) · e^(−kt)

Burada

T
çayın sıcaklığı (°C)
Tₘ
ortamın (odanın) sıcaklığı
k
soğuma katsayısı (1/dk)
T₀
t = 0 anındaki sıcaklık

Newton’un soğuma yasası: oda ile fark ne kadar büyükse çay o kadar hızlı soğur. Kesin çözüm, sayısal çözümü denetlememizi sağlar.

y = y₀ + (y₁ − y₀) · (x − x₀)/(x₁ − x₀)y = y₀ + (y₁ − y₀) · (x − x₀)/(x₁ − x₀)

Burada

(x₀, y₀), (x₁, y₁)
x’in iki yanındaki iki ölçüm
x
değerin gerektiği nokta

İki komşu nokta arasında doğrusal interpolasyon; np.interp tam olarak bunu yapar.

P(X = m) = C(n, m) · pᵐ · (1 − p)ⁿ⁻ᵐE(X) = npσ = √(np(1 − p))

Burada

n
deneme (soru) sayısı
m
başarı sayısı
p
bir denemede başarı olasılığı (burada 1/4)
C(n, m)
kombinasyon sayısı: n! / (m! · (n − m)!)

Binom dağılımı: stats.binom(n, p).

S(T₀, k) = ∑ (Tᵢ − T(tᵢ; T₀, k))² → min

Burada

(tᵢ, Tᵢ)
ölçümler: zaman ve sıcaklık
T(t; T₀, k)
modelin değeri
S
hataların kareleri toplamı

curve_fit(model, t, T, p0) en iyi parametreleri ve kovaryans matrislerini döndürür; köşegenin karekökleri parametrelerin standart hatalarıdır.

SymPy: sembolik matematik

Derse git
(a + b)² = a² + 2ab + b²a² − b² = (a − b)(a + b)a³ − b³ = (a − b)(a² + ab + b²)

Burada

a, b
herhangi sayılar ya da ifadeler

Kısa çarpım formülleri. expand bunları soldan sağa (parantezleri açar), factor sağdan sola (çarpanlara ayırır) uygular.

ax² + bx + c = 0D = b² − 4acx₁,₂ = (−b ± √D)/(2a)ax² + bx + c = 0D = b² − 4acx₁,₂ = (−b ± √D)/(2a)

Burada

a, b, c
katsayılar, a ≠ 0
D
diskriminant: D > 0 iki kök, D = 0 bir kök, D < 0 gerçek kök yok

SymPy bu formülü kendisi çıkarır: solve(a*x**2 + b*x + c, x) (kodun son satırı).

(u · v)′ = u′ · v + u · v′(e^(kx))′ = k · e^(kx)sin x = x − x³/3! + x⁵/5! − x⁷/7! + …(u · v)′ = u′ · v + u · v′(e^(kx))′ = k · e^(kx)sin x = x − x³/3! + x⁵/5! − x⁷/7! + …

Burada

u, v
x’e bağlı fonksiyonlar
k
bir sabit

Çarpımın türevi, e^(kx) için zincir kuralı ve sin x’in Taylor serisi. diff, integrate, limit ve series bu kuralları kendileri uygular.

y = f(a) + f′(a) · (x − a)

Burada

a
teğet noktasının apsisi
f′(a)
teğetin eğimi

Grafiğe x = a noktasındaki teğetin denklemi.

Pillow ve OpenCV ile görüntü işleme

Derse git
L = 0,299 · R + 0,587 · G + 0,114 · B

Burada

R, G, B
pikselin kırmızı, yeşil ve mavi değerleri (0–255)
L
gri tonlamada parlaklık (0–255)

Pillow’un convert('L') ve OpenCV’nin COLOR_BGR2GRAY dönüşümleri bu formülü kullanır (ITU-R 601). Göz en çok yeşile duyarlıdır; bu yüzden onun ağırlığı en büyüktür.

h′ = h · w′/wk = min(Wmax/w, Hmax/h)h′ = h · w′/wk = min(Wmax/w, Hmax/h)

Burada

w, h
ilk genişlik ve yükseklik (piksel)
w′, h′
yeni boyutlar
k
thumbnail((W_max, H_max)) için ölçek: görüntü iki sınıra da sığmalı

Oranı koruyarak boyutlandırma: resize her boyutu kabul eder (oranı sen hesaplarsın), thumbnail ise oranı kendisi korur ve görüntüyü yerinde küçültür.

Yapay zekâ ve PyTorch ile derin öğrenme

Üniversite

Makine öğrenmesinin temel kavramları

Derse git
MSE = (1/n) · ∑ᵢ₌₁ⁿ (yᵢ − ŷᵢ)²MSE = (1/n) · ∑ᵢ₌₁ⁿ (yᵢ − ŷᵢ)²

Burada

n
örnek sayısı
yᵢ
i. örneğin gerçek değeri (etiket)
ŷᵢ
modelin tahmini

Ortalama karesel hata (mean squared error). Kare alma, büyük hataları çok daha ağır cezalandırır; birimi etiketin biriminin karesidir.

CE = −∑ₖ₌₁ᴷ yₖ · ln pₖ = −ln pₜ

Burada

K
sınıf sayısı
yₖ
k sınıfı doğruysa 1, değilse 0 (one-hot)
pₖ
modelin k sınıfına verdiği olasılık
pₜ
doğru sınıfın olasılığı

Çapraz entropi (cross-entropy). İki sınıf için: BCE = −[y · ln p + (1 − y) · ln(1 − p)]. Doğru sınıfın olasılığı 1'e yaklaştıkça kayıp 0'a yaklaşır.

θ ← θ − η · ∇L(θ)

Burada

θ
modelin tüm parametreleri (ağırlıklar ve sapmalar)
η
öğrenme oranı, genellikle 0,0001–0,1
∇L(θ)
gradyan: kaybın her parametreye göre kısmi türevlerinden oluşan vektör

Gradyan inişinin güncelleme kuralı. Her tekrar bir adımdır; eğitim kümesinden bir kez tam geçişe epok (dönem) denir.

∂L/∂w = (2/n) · ∑ᵢ (ŷᵢ − yᵢ) · xᵢ∂L/∂b = (2/n) · ∑ᵢ (ŷᵢ − yᵢ)∂L/∂w = (2/n) · ∑ᵢ (ŷᵢ − yᵢ) · xᵢ∂L/∂b = (2/n) · ∑ᵢ (ŷᵢ − yᵢ)

Burada

w, b
doğrunun eğimi (ağırlık) ve sabit terimi (sapma)
ŷᵢ − yᵢ
i. örnekteki hata
E[(y − f̂(x))²] = Bias[f̂(x)]² + Var[f̂(x)] + σ²

Burada

f̂(x)
rastgele bir eğitim kümesiyle eğitilmiş modelin tahmini
Bias
yanlılık: modelin fazla basit varsayımlarından doğan ortalama hata
Var
varyans: tahminin belirli eğitim kümesine ne kadar bağlı olduğu
σ²
verideki giderilemeyen gürültü

MSE'nin yanlılık–varyans ayrışımı. Model karmaşıklaştıkça yanlılık azalır, varyans artar; en iyi model toplamı en küçük yapar.

J(θ) = L(θ) + λ · ∑ⱼ θⱼ²

Burada

λ
düzenlileştirme gücü (doğrulama kümesiyle seçilen bir hiperparametre)
∑ⱼ θⱼ²
ağırlıkların karelerinin toplamı; büyük ağırlıkları cezalandırır

L2 düzenlileştirme (weight decay): model daha “pürüzsüz” fonksiyonları tercih eder ve gürültüyü ezberlemeye daha az yatkın olur.

PyTorch: tensörler

Derse git
numel = d₁ · d₂ · … · dₖmemory = numel · s

Burada

d₁ … dₖ
shape'teki boyutlar
numel
eleman sayısı (x.numel())
s
bir elemanın bayt cinsinden boyutu (x.element_size())
C = A @ BCᵢⱼ = ∑ₖ Aᵢₖ · Bₖⱼ(m × n) @ (n × p) → (m × p)

Burada

A, B
boyutları m × n ve n × p olan matrisler
n
iç boyut; iki matriste de aynı olmalıdır
Cᵢⱼ
A'nın i. satırı ile B'nin j. sütununun iç çarpımı

Matris çarpımı sinir ağlarının temel işlemidir: (N, D) boyutlu girdileri (D, K) boyutlu ağırlık matrisiyle çarparak tüm yığını tek seferde işleriz. Daha çok eksenli tensörlerde @ son iki eksene uygulanır, diğer eksenler yığın ekseni sayılır.

PyTorch: autograd ve otomatik türev

Derse git
dL/dx = dL/dy · dy/dx∂L/∂w = ∂L/∂ŷ · ∂ŷ/∂wdL/dx = dL/dy · dy/dx∂L/∂w = ∂L/∂ŷ · ∂ŷ/∂w

Burada

L
kayıp (grafın kökü)
y, ŷ
ara değerler (grafın iç düğümleri)
x, w
yapraklar: girdiler ve parametreler

Bileşik bir fonksiyonun türevi, yerel türevlerin çarpımına eşittir. Bir değişken kaybı birkaç yol üzerinden etkiliyorsa tüm yollardaki çarpımlar toplanır: ∂L/∂x = ∑ₖ ∂L/∂yₖ · ∂yₖ/∂x.

σ(z) = 1 / (1 + e⁻ᶻ)σ′(z) = σ(z) · (1 − σ(z))σ(z) = 1 / (1 + e⁻ᶻ)σ′(z) = σ(z) · (1 − σ(z))

Burada

σ(z)
sigmoid fonksiyonu, değerleri (0; 1) aralığında
σ′(z)
türevi; en büyük değeri z = 0'da 0,25'tir

İspat: σ′(z) = e⁻ᶻ / (1 + e⁻ᶻ)² = σ(z) · e⁻ᶻ / (1 + e⁻ᶻ); son kesir 1 − σ(z)'ye eşittir.

PyTorch: sinir ağları kurmak

Derse git
z = w · x + b = ∑ᵢ₌₁ⁿ wᵢxᵢ + ba = φ(z)

Burada

x
girdi vektörü (n öznitelik)
w
ağırlıklar; her girdinin önemi
b
sapma (bias); aktivasyon eşiğini kaydırır
φ
aktivasyon fonksiyonu (ReLU, sigmoid…)
a
nöronun çıktısı (aktivasyon)
ReLU(z) = max(0, z)σ(z) = 1 / (1 + e⁻ᶻ)tanh(z) = (eᶻ − e⁻ᶻ) / (eᶻ + e⁻ᶻ)ReLU(z) = max(0, z)σ(z) = 1 / (1 + e⁻ᶻ)tanh(z) = (eᶻ − e⁻ᶻ) / (eᶻ + e⁻ᶻ)

Burada

ReLU
negatif değerleri sıfırlar; türevi z > 0 için 1, z < 0 için 0
σ
sigmoid: değerler (0; 1) aralığında, olasılık olarak yorumlanır
tanh
hiperbolik tanjant: değerler (−1; 1) aralığında, sıfıra göre simetrik
softmax(z)ᵢ = eᶻⁱ / ∑ⱼ₌₁ᴷ eᶻʲsoftmax(z)ᵢ = eᶻⁱ / ∑ⱼ₌₁ᴷ eᶻʲ

Burada

z
K sınıf için ham puanlar (logitler)
softmax(z)ᵢ
i sınıfının olasılığı; hepsi pozitiftir ve toplamı 1'dir

Softmax, çok sınıflı sınıflandırmada son katmanın logitlerini bir olasılık dağılımına çevirir.

Y = X · Wᵀ + bparams = (nin + 1) · nout

Burada

X
girdi yığını, şekil (N, nin)
W
ağırlıklar, şekil (nout, nin); layer.weight
b
sapmalar, şekil (nout,); layer.bias
Y
çıktılar, şekil (N, nout)

Her çıktı nöronunun nin ağırlığı ve bir sapması vardır; bu yüzden tam bağlantılı bir katmanda (nin + 1) · nout parametre bulunur.

PyTorch: eğitim döngüsü

Derse git
steps per epoch = ⌈N / B⌉updates = epochs · ⌈N / B⌉steps per epoch = ⌈N / B⌉updates = epochs · ⌈N / B⌉

Burada

N
eğitim kümesindeki örnek sayısı
B
yığın boyutu (batch size)
⌈ ⌉
yukarı yuvarlama: son eksik yığın da bir adımdır
L = −zₜ + ln ∑ⱼ₌₁ᴷ eᶻʲ

Burada

z
modelin ham logitleri
t
doğru sınıfın numarası

nn.CrossEntropyLoss, log-softmax ile çapraz entropiyi birleştirir: −ln softmax(z)ₜ = −zₜ + ln ∑ eᶻʲ. Bir yığın için kayıpların ortalaması alınır.

mₜ = β₁·mₜ₋₁ + (1 − β₁)·gₜvₜ = β₂·vₜ₋₁ + (1 − β₂)·gₜ²θₜ = θₜ₋₁ − η · m̂ₜ / (√v̂ₜ + ε)mₜ = β₁·mₜ₋₁ + (1 − β₁)·gₜvₜ = β₂·vₜ₋₁ + (1 − β₂)·gₜ²θₜ = θₜ₋₁ − η · m̂ₜ / (√v̂ₜ + ε)

Burada

gₜ
t adımındaki gradyan
mₜ, vₜ
gradyanın ve karesinin kayan ortalamaları (momentum ve ölçek)
m̂ₜ, v̂ₜ
başlangıç sapması düzeltilmiş değerler: mₜ/(1 − β₁ᵗ), vₜ/(1 − β₂ᵗ)
β₁, β₂, ε, η
PyTorch'ta varsayılan 0,9; 0,999; 10⁻⁸; 0,001

Adam optimizasyon aracı. Her parametre kendi adım boyunu alır: gradyanı sürekli büyük olan parametre temkinli, küçük olan daha cesurca güncellenir. Momentumlu SGD ise v ← μ·v + g, θ ← θ − η·v formülüyle çalışır.

accuracy = (1/N) · ∑ᵢ [argmax(zᵢ) = yᵢ]accuracy = (1/N) · ∑ᵢ [argmax(zᵢ) = yᵢ]

Burada

argmax(zᵢ)
i. örnek için en büyük logitin sınıfı; yani tahmin
[ … ]
koşul doğruysa 1, değilse 0

Evrişimli sinir ağları (CNN)

Derse git
x′ = (x − μ) / σx′ = (x − μ) / σ

Burada

x
[0; 1] aralığındaki piksel değeri
μ, σ
kanalın eğitim kümesindeki ortalaması ve standart sapması (MNIST için 0,1307 ve 0,3081)

Normalleştirmeden sonra girdiler kabaca sıfır etrafında ve birim ölçektedir; bu, gradyan inişini hızlandırır.

Y[i, j] = ∑ₘ ∑ₙ X[i + m, j + n] · K[m, n] + b

Burada

X
girdi görüntüsü (ya da önceki katmanın haritası)
K
K × K boyutunda filtre; öğrenilen ağırlıklar
b
filtrenin sapması
Y[i, j]
öznitelik haritasının (i, j) elemanı

Tek kanal için 2B evrişim. Birden çok girdi kanalı olduğunda toplam kanallar üzerinden de alınır.

O = ⌊(W − K + 2P) / S⌋ + 1O = ⌊(W − K + 2P) / S⌋ + 1

Burada

W
girdinin genişliği (ya da yüksekliği), piksel
K
çekirdek boyutu
P
dolgu (padding): kenarlara eklenen sıfır pikseller
S
adım (stride): filtrenin kaç piksel kaydığı
O
çıktı genişliği; ⌊ ⌋ aşağı yuvarlamadır

Çıktı boyutu formülü; yükseklik için de aynısı geçerlidir. Havuzlamada genellikle P = 0 ve S = K alınır.

params = (K · K · Cin + 1) · Cout

Burada

Cin, Cout
girdi ve çıktı kanallarının sayısı

Bir evrişim katmanının parametre sayısı görüntü boyutuna bağlı değildir; ağırlıklar tüm konumlarda paylaşılır.

Transformerlar ve büyük dil modelleri

Derse git
Q = X · WQK = X · WKV = X · WV

Burada

X
(T, d) şeklinde token vektörleri
WQ, WK, WV
öğrenilen (d, dₖ) matrisleri
Attention(Q, K, V) = softmax(Q · Kᵀ / √dₖ) · VAttention(Q, K, V) = softmax(Q · Kᵀ / √dₖ) · V

Burada

Q · Kᵀ
(T, T) puan matrisi: her sorgunun her anahtarla benzerliği
√dₖ
ölçek çarpanı; dₖ anahtar boyutudur
softmax
satır satır uygulanır: dikkat ağırlıkları pozitiftir ve toplamı 1'dir
V
değerler; çıktı onların ağırlıklı ortalamasıdır

Ölçekli iç çarpım dikkati (scaled dot-product attention).

MultiHead(X) = Concat(head₁, …, headₕ) · WOheadᵢ = Attention(X·WQⁱ, X·WKⁱ, X·WVⁱ)

Burada

h
baş sayısı; her başın boyutu d / h'dir
WO
birleştirilmiş başları karıştıran (d, d) matris

Her baş farklı bir ilişkiye dikkat etmeyi öğrenebilir: biri dil bilgisel bağlara, diğeri bir zamirin neyi gösterdiğine. Parametreler: WQ, WK, WV, WO için 4 · d² ağırlık ve 4 · d sapma.

PE(pos, 2i) = sin(pos / 10000^(2i/d))PE(pos, 2i + 1) = cos(pos / 10000^(2i/d))PE(pos, 2i) = sin(pos / 10000^(2i/d))PE(pos, 2i + 1) = cos(pos / 10000^(2i/d))

Burada

pos
tokenin konumu: 0, 1, 2, …
i
bileşen çiftinin numarası; küçük i hızlı, büyük i yavaş salınır
d
gömme boyutu
L = −(1/T) · ∑ₜ₌₁ᵀ ln p(xₜ₊₁ | x₁, …, xₜ)PPL = eᴸL = −(1/T) · ∑ₜ₌₁ᵀ ln p(xₜ₊₁ | x₁, …, xₜ)PPL = eᴸ

Burada

xₜ
metindeki t. token
p(xₜ₊₁ | x₁, …, xₜ)
önceki tokenler verildiğinde modelin doğru sonraki tokene verdiği olasılık
PPL
perpleksite; ne kadar düşükse model o kadar iyidir
pᵢ = exp(zᵢ / τ) / ∑ⱼ exp(zⱼ / τ)pᵢ = exp(zᵢ / τ) / ∑ⱼ exp(zⱼ / τ)

Burada

τ
sıcaklık: τ < 1 daha emin ve tekrarlı, τ > 1 daha çeşitli ve riskli metin verir

Sıcaklıklı softmax ile sonraki tokenin seçilmesi.