Formüller ve kolay yollar
Python79 formül68 kolay yol
Bu kurstaki tüm formüller ve onları hatırlamanın kolay yolları tek sayfada.
- 1Veri yapıları
- 2Fonksiyonlar ve modüller
- 3Derinlemesine Python
- 4Derinlemesine standart kütüphane
- 5Betikler ve komut satırı araçları
- 6Kod kalitesi, testler ve paketleme
- 7Web ve otomasyon
- 8Flask ve FastAPI ile web uygulamaları
- 9Django
- 10Web kazıma ve tarayıcı otomasyonu
- 11Veri bilimi: NumPy, pandas, matplotlib
- 12Bilimsel hesaplama ve görüntü işleme
- 13Yapay zekâ ve PyTorch ile derin öğrenme
Veri yapıları
OrtaAdlar, referanslar ve değiştirilebilirlik
Derse gitFonksiyonlar ve modüller
OrtaFonksiyonlar
Derse gitBurada
- F
- Fahrenheit derecesi cinsinden sıcaklık
- C
- Santigrat (Celsius) derecesi cinsinden sıcaklık
Bu formülü bir fonksiyona dönüştürelim
Özyineleme: kendini çağıran fonksiyonlar
Derse gitBurada
- n
- bir doğal sayı
- n!
- 1 · 2 · … · n çarpımı
Kural aynı işlemi daha küçük bir sayı için tekrarlar (özyinelemeli adım) ve hesaplamadan bildiğimiz bir değer verir (temel durum).
Burada
- S(n)
- n sayısının rakamları toplamı
- n % 10
- 10’a bölümden kalan, yani son rakam
- n // 10
- tam bölme, son rakamı atar
S(2026) = 6 + S(202) = 6 + 2 + S(20) = 6 + 2 + 0 + S(2) = 10.
Burada
- F(n)
- n’inci Fibonacci sayısı
Adım iki terim geriye baktığı için iki temel durum gerekir.
Burada
- calls(n)
- basit
fib(n)fonksiyonunun yaptığı çağrı sayısı
n = 20 için F(21) = 10946, yani 2 · 10946 − 1 = 21891 çağrı; aşağıdaki program da tam bu kadar sayar.
Derinlemesine Python
İleriYineleyiciler ve üreteçler
Derse gitDekoratörler ve kapanışlar
Derse gitBağlam yöneticileri ve with deyimi
Derse gitTip ipuçları ve dataclass'lar
Derse gitİleri NYP: özel metotlar, özellikler ve MRO
Derse gitYapısal desen eşleme: match-case
Derse gitDüzenli ifadeler: re modülü
Derse gitAsenkron Python: async ve await
Derse gitPaketler, modüller ve sanal ortamlar
Derse gitPerformans, Büyük O ve collections modülü
Derse gitDerinlemesine standart kütüphane
İleriTarih ve saat: datetime ve saat dilimleri
Derse gitBurada
- datetime
- zaman çizgisinde bir an (ya da
date, bir gün) - timedelta
- iki an arasındaki süre
İki tarih toplanamaz (date + date hatadır), ama çıkarılabilir ve karşılaştırılabilir. timedelta içinde ay ve yıl yoktur, çünkü uzunlukları değişir.
Unicode, kodlamalar ve bytes
Derse gitBurada
- c
smetninin her karakteri (kod noktası)- bytes(c)
- U+0000…U+007F için 1 bayt (ASCII: Latin harfleri, rakamlar); U+07FF’ye kadar 2 bayt (
ə,ı,ş,ğ, Kiril harfleri); U+FFFF’ye kadar 3 bayt (€, Çince karakterler); daha büyükler için 4 bayt (emoji)
UTF-8, ASCII ile uyumludur: İngilizce metin bayt bayt aynıdır. Bu yüzden len(s) yalnızca ASCII metinde bayt sayısına eşittir.
Sıralama, bisect ve heapq
Derse gitBurada
- key
- anahtar fonksiyonu; verilmezse öğenin kendisi
- reverse=True
- karşılaştırmayı tersine çevirir, ama eşit anahtarlı öğelerin sırası yine korunur
Sıralama O(n log n) karşılaştırma gerektirir, anahtar ise yalnızca n kez hesaplanır.
Burada
- a
- artan sırayla sıralanmış bir liste
- lo, hi
- aralığın sınırları (ikisi de dahil)
bisect_right(a, x) − bisect_left(a, x) ise x’in kaç kez geçtiğini verir; count() gibi, ama O(n) yerine O(log n)’de.
Burada
- h
- yığın olarak tutulan liste
- k
- bir indeks (çocuk indeksi listenin içinde kaldıkça)
Örnek: [3, 7, 11, 42, 25, 19]: 3 ≤ 7 ve 3 ≤ 11; 7 ≤ 42 ve 7 ≤ 25; 11 ≤ 19. Liste sıralı olmasa da koşul sağlanır.
Yapılandırma dosyaları ve ortam değişkenleri
Derse gitBurada
- argümanlar
- yalnızca bu çalıştırma için (
--port 7000) - ortam
- sunucu ya da konteyner için; sırlar için asıl yer
- dosya
- projenin ortak ayarları (TOML, INI)
Varsayılanlar kodda bulunur ve bütün anahtarların listesini belirler.
Betikler ve komut satırı araçları
İleriDosya sistemi: pathlib ve shutil
Derse gitGünlük kaydı: logging modülü
Derse gitBurada
- level(record)
- iletinin düzeyi:
log.info→ 20 - level(logger)
- günlükçünün etkin düzeyi (kendisininki ya da en yakın üst günlükçününki)
- level(handler)
- iletiyi çıkaran işleyicinin düzeyi
Eşik ne kadar düşükse o kadar çok ileti görünür. Kök günlükçünün varsayılan düzeyi WARNING olduğundan, yapılandırma olmadan info iletileri görünmez.
Komut satırı uygulamaları: argparse ve click
Derse gitKod kalitesi, testler ve paketleme
İleriTest dublörleri: unittest.mock
Derse gitWeb ve otomasyon
İleriJSON ve CSV ile çalışmak
Derse gitPython’da veritabanı: sqlite3
Derse gitWeb API'leri ve requests kütüphanesi
Derse gitPydantic: veri doğrulama
Derse gitFastAPI ile web servisi
Derse gitSQLAlchemy: ORM ile veritabanı
Derse gitOtomasyon betikleri
Derse gitopenpyxl ile Excel otomasyonu
Derse gitBurada
- A … Z
- harf değerleri 1 … 26
- 26ᵏ
- sağdan k. harfin ağırlığı (k = 0, 1, 2)
Sütun harfleri “sıfırsız” 26 tabanlı bir sistemdir. XFD, Excel’in son, 16 384. sütunudur. openpyxl’de: get_column_letter(28) → 'AB', column_index_from_string('AB') → 28.
Flask ve FastAPI ile web uygulamaları
İleriFlask: ilk web uygulaması
Derse gitFlask: formlar, oturumlar ve veritabanı
Derse gitFastAPI: bağımlılıklar ve veritabanı
Derse gitDjango
İleriDjango: proje, uygulamalar ve ilk sayfa
Derse gitDjango: modeller, migration'lar ve yönetim paneli
Derse gitWeb kazıma ve tarayıcı otomasyonu
İleriBeautifulSoup ile HTML ayrıştırma
Derse gitVeri bilimi: NumPy, pandas, matplotlib
ÜniversiteNumPy'ın temelleri: diziler
Derse gitBurada
- n
- eksen sayısı (
ndim) - dₖ
- k. eksen boyunca uzunluk (
shapeiçindeki bir değer) - itemsize
- bir elemanın bayt cinsinden boyutu:
float64veint64için 8,float32veint32için 4,boolveint8için 1
Şekli (2, 3) olan m için size = 2 · 3 = 6. temps için nbytes = 4 · 8 = 32 bayt.
Burada
- h
linspacenoktaları arasındaki adım- n
arangedizisindeki eleman sayısı- ⌈ ⌉
- yukarı yuvarlama (tavan)
np.linspace(0, 1, 5): h = 1 / 4 = 0,25. np.arange(0, 10, 2): n = ⌈10 / 2⌉ = 5 eleman.
Burada
- x̄
- aritmetik ortalama (
mean) - n
- değer sayısı
- σ
- standart sapma (
std): değerlerin ortalamadan tipik olarak ne kadar uzaklaştığı - ddof
- 0 — ana kütle için (NumPy'da varsayılan), 1 — örneklem için (yansız varyans)
np.std varsayılan olarak n'ye böler; istatistik kitapları ve pandas'taki Series.std ise n − 1'e böler. Aynı sonucu almak için ddof=1 ver.
NumPy: vektörleştirme ve doğrusal cebir
Derse gitBurada
- xᵢⱼ
- i. örneğin j. özniteliği
- μⱼ, σⱼ
- j. sütunun ortalaması ve standart sapması
- zᵢⱼ
- standartlaştırılmış değer (z-puanı): ortalaması 0, standart sapması 1
Burada
- aᵢₖ
- A matrisinin i. satır, k. sütun elemanı
- bₖⱼ
- B matrisinin k. satır, j. sütun elemanı
- n
- A'nın sütun ve B'nin satır sayısı (ortak)
Burada
- det A
- determinant; 0 ise matris tekildir ve tersi yoktur
- A⁻¹
- ters matris: A · A⁻¹ = I (birim matris)
Burada
- v
- özvektör (v ≠ 0)
- λ
- özdeğer
- I
- birim matris
İkinci eşitlik karakteristik denklemdir: (A − λI)v = 0 sisteminin sıfırdan farklı bir çözümü ancak determinant 0 olduğunda vardır.
Burada
- X
- n × d öznitelik matrisi (ilk sütun birlerden oluşur)
- y
- hedef değerler vektörü
- w
- karesel hataların toplamını en küçük yapan katsayılar
pandas'ın temelleri: Series ve DataFrame
Derse gitBurada
- q
- düzey: 0,25 (birinci çeyrek), 0,5 (medyan), 0,75 (üçüncü çeyrek)
- x₍ₖ₎
- artan sırada dizildikten sonraki k. değer (0'dan sayarak)
- h
- sıralanmış verideki “kesirli konum”
pandas ve NumPy varsayılan olarak nicelikleri iki komşu değer arasında doğrusal enterpolasyonla hesaplar.
pandas ile veri analizi
Derse gitBurada
- xᵢ
- i. grubun ortalaması (örneğin ortalama fiş tutarı)
- wᵢ
- grubun ağırlığı: genellikle gözlem sayısı
Ağırlıklı ortalama. pandas'ta: np.average(x, weights=w) ya da yalnızca genel toplamı genel sayıya bölmek.
Burada
- xₜ
- mevcut dönemin değeri
- xₜ₋₁
- önceki dönemin değeri
Büyüme oranı; pandas'ta pct_change() bunu hesaplar (100 ile çarpmadan). İlk dönemin önceki değeri olmadığı için NaN çıkar.
matplotlib ile görselleştirme
Derse gitBurada
- k
- kutu sayısı (Sturges kuralı)
- h
- kutu genişliği (Freedman–Diaconis kuralı), verinin biriminde
- n
- gözlem sayısı
- IQR
- çeyrekler açıklığı Q3 − Q1
Sturges, yaklaşık normal ve çok büyük olmayan veriler için uygundur; Freedman–Diaconis aykırı değerlere karşı dayanıklıdır. ax.hist(x, bins='fd') ikincisini otomatik uygular.
Burada
- nᵢ
- i. kutuya düşen gözlemler
- fᵢ
density=Trueile çubuk yüksekliği (yoğunluk)- h
- kutu genişliği
ax.hist(x, density=True) çubuk alanlarının toplamını 1 yapar; böyle bir histogram bir olasılık yoğunluğu eğrisiyle karşılaştırılabilir.
Python ile istatistik
Derse gitBurada
- n
- örneklem büyüklüğü
- s²
- örneklem varyansı (birimi verinin biriminin karesi)
- s
- örneklem standart sapması (veriyle aynı birimde); NumPy'da
std(ddof=1)
Burada
- Q1, Q3
- birinci ve üçüncü çeyrek (%25 ve %75)
- IQR
- Q3 − Q1, verinin orta yarısının genişliği
Tukey kuralı: bu aralığın dışındaki değerler aykırı değer sayılır. Burada: 14,75 + 1,5 · 1,75 = 17,375, yani 45 aykırı bir değerdir.
Burada
- μ
- dağılımın ortalaması
- σ
- standart sapma (σ > 0)
- f(x)
- olasılık yoğunluğu; P(a < X < b), a ile b arasında eğrinin altındaki alandır
- z
- z-puanı: standart normal dağılımdaki (μ = 0, σ = 1) konum
Burada
- SE
- ortalamanın standart hatası
- σ, s
- ana kütlenin ve örneklemin standart sapması
Burada
- t*
- t-dağılımının kritik değeri; %95 için α = 0,05
- n − 1
- serbestlik derecesi
Ortalama için %95 güven aralığı. stats.t.ppf(0.975, df=n - 1) t* değerini, stats.t.interval ise aralığın tamamını döndürür.
Burada
- x̄₁, x̄₂
- grup ortalamaları
- s₁², s₂²
- grupların örneklem varyansları
- n₁, n₂
- grup büyüklükleri
Welch t istatistiği: ortalamaların farkının kendi standart hatasına bölümü. |t| ne kadar büyükse p o kadar küçüktür.
Burada
- r
- −1 ≤ r ≤ 1; işaret yönü, |r| gücü gösterir
- x̄, ȳ
- her değişkenin ortalaması
scikit-learn ile makine öğrenmesi
Derse gitBurada
- yᵢ, ŷᵢ
- gerçek değer ve tahmin
- RMSE
- hedefle aynı birimde tipik hata (burada bin manat)
- R²
- açıklanan değişimin payı: 1 mükemmel, 0 her zaman ortalamayı tahmin eden modelin düzeyi
Model 1,48 ve 11,06 katsayılarını buldu; gerçek 1,5 ve 12'ye yakın. RMSE ≈ 9,8, eklediğimiz gürültünün (σ = 10) düzeyidir: model sinyali tamamen yakaladı, gürültü ise tahmin edilemez.
Burada
- σ(z)
- sigmoid: her sayıyı (0; 1) aralığına taşır, σ(0) = 0,5
- p
- örneğin pozitif sınıfa ait olma olasılığı; p ≥ 0,5 olduğunda “1” tahmin edilir
Burada
- pₖ
- düğümdeki k sınıfının payı
- G
- 0 saf bir düğüm demektir (tek sınıf); iki sınıf için en fazla 0,5
- nL, nR
- sol ve sağ alt düğümlerdeki örnek sayısı
Burada
- Precision
- spam dediğimiz iletilerin ne kadarı gerçekten spam
- Recall
- tüm spamin ne kadarını yakalayabildik
- F1
- kesinlik ve duyarlılığın harmonik ortalaması
- N
- toplam örnek sayısı
Burada
- k
- kat sayısı, genellikle 5 ya da 10
- scoreᵢ
- i. kat test kümesiyken elde edilen skor
Bilimsel hesaplama ve görüntü işleme
ÜniversiteSciPy ile bilimsel hesaplama
Derse gitBurada
- A(r)
- kutunun toplam yüzey alanı (cm²)
- r
- taban yarıçapı (cm)
- V
- hacim (cm³; 330 ml = 330 cm³)
- h
- yükseklik (cm)
Minimumda türev sıfırdır; en ekonomik kutunun yüksekliği çapına eşittir (h = 2r).
Burada
- a, b
- aralığın uçları (
brentq(f, a, b)) - c
- aranan kök
İkiye bölme aralığı ikiye ayırır ve işaretin değiştiği yarıyı tutar; Brent yöntemi (brentq) daha hızlıdır ama bu garantiyi korur.
Burada
- F
- bir ilkel fonksiyon: F′(x) = f(x)
- a, b
- integralin sınırları
Newton–Leibniz formülü. quad için F gerekmez: alanı sayısal olarak hesaplar (uyarlamalı Gauss–Kronrod kuadratürü) ve hatanın bir tahminini de döndürür.
Burada
- T
- çayın sıcaklığı (°C)
- Tₘ
- ortamın (odanın) sıcaklığı
- k
- soğuma katsayısı (1/dk)
- T₀
- t = 0 anındaki sıcaklık
Newton’un soğuma yasası: oda ile fark ne kadar büyükse çay o kadar hızlı soğur. Kesin çözüm, sayısal çözümü denetlememizi sağlar.
Burada
- (x₀, y₀), (x₁, y₁)
- x’in iki yanındaki iki ölçüm
- x
- değerin gerektiği nokta
İki komşu nokta arasında doğrusal interpolasyon; np.interp tam olarak bunu yapar.
Burada
- n
- deneme (soru) sayısı
- m
- başarı sayısı
- p
- bir denemede başarı olasılığı (burada 1/4)
- C(n, m)
- kombinasyon sayısı: n! / (m! · (n − m)!)
Binom dağılımı: stats.binom(n, p).
Burada
- (tᵢ, Tᵢ)
- ölçümler: zaman ve sıcaklık
- T(t; T₀, k)
- modelin değeri
- S
- hataların kareleri toplamı
curve_fit(model, t, T, p0) en iyi parametreleri ve kovaryans matrislerini döndürür; köşegenin karekökleri parametrelerin standart hatalarıdır.
SymPy: sembolik matematik
Derse gitBurada
- a, b
- herhangi sayılar ya da ifadeler
Kısa çarpım formülleri. expand bunları soldan sağa (parantezleri açar), factor sağdan sola (çarpanlara ayırır) uygular.
Burada
- a, b, c
- katsayılar, a ≠ 0
- D
- diskriminant: D > 0 iki kök, D = 0 bir kök, D < 0 gerçek kök yok
SymPy bu formülü kendisi çıkarır: solve(a*x**2 + b*x + c, x) (kodun son satırı).
Burada
- u, v
- x’e bağlı fonksiyonlar
- k
- bir sabit
Çarpımın türevi, e^(kx) için zincir kuralı ve sin x’in Taylor serisi. diff, integrate, limit ve series bu kuralları kendileri uygular.
Burada
- a
- teğet noktasının apsisi
- f′(a)
- teğetin eğimi
Grafiğe x = a noktasındaki teğetin denklemi.
Pillow ve OpenCV ile görüntü işleme
Derse gitBurada
- R, G, B
- pikselin kırmızı, yeşil ve mavi değerleri (0–255)
- L
- gri tonlamada parlaklık (0–255)
Pillow’un convert('L') ve OpenCV’nin COLOR_BGR2GRAY dönüşümleri bu formülü kullanır (ITU-R 601). Göz en çok yeşile duyarlıdır; bu yüzden onun ağırlığı en büyüktür.
Burada
- w, h
- ilk genişlik ve yükseklik (piksel)
- w′, h′
- yeni boyutlar
- k
thumbnail((W_max, H_max))için ölçek: görüntü iki sınıra da sığmalı
Oranı koruyarak boyutlandırma: resize her boyutu kabul eder (oranı sen hesaplarsın), thumbnail ise oranı kendisi korur ve görüntüyü yerinde küçültür.
Yapay zekâ ve PyTorch ile derin öğrenme
ÜniversiteMakine öğrenmesinin temel kavramları
Derse gitBurada
- n
- örnek sayısı
- yᵢ
- i. örneğin gerçek değeri (etiket)
- ŷᵢ
- modelin tahmini
Ortalama karesel hata (mean squared error). Kare alma, büyük hataları çok daha ağır cezalandırır; birimi etiketin biriminin karesidir.
Burada
- K
- sınıf sayısı
- yₖ
- k sınıfı doğruysa 1, değilse 0 (one-hot)
- pₖ
- modelin k sınıfına verdiği olasılık
- pₜ
- doğru sınıfın olasılığı
Çapraz entropi (cross-entropy). İki sınıf için: BCE = −[y · ln p + (1 − y) · ln(1 − p)]. Doğru sınıfın olasılığı 1'e yaklaştıkça kayıp 0'a yaklaşır.
Burada
- θ
- modelin tüm parametreleri (ağırlıklar ve sapmalar)
- η
- öğrenme oranı, genellikle 0,0001–0,1
- ∇L(θ)
- gradyan: kaybın her parametreye göre kısmi türevlerinden oluşan vektör
Gradyan inişinin güncelleme kuralı. Her tekrar bir adımdır; eğitim kümesinden bir kez tam geçişe epok (dönem) denir.
Burada
- w, b
- doğrunun eğimi (ağırlık) ve sabit terimi (sapma)
- ŷᵢ − yᵢ
- i. örnekteki hata
Burada
- f̂(x)
- rastgele bir eğitim kümesiyle eğitilmiş modelin tahmini
- Bias
- yanlılık: modelin fazla basit varsayımlarından doğan ortalama hata
- Var
- varyans: tahminin belirli eğitim kümesine ne kadar bağlı olduğu
- σ²
- verideki giderilemeyen gürültü
MSE'nin yanlılık–varyans ayrışımı. Model karmaşıklaştıkça yanlılık azalır, varyans artar; en iyi model toplamı en küçük yapar.
Burada
- λ
- düzenlileştirme gücü (doğrulama kümesiyle seçilen bir hiperparametre)
- ∑ⱼ θⱼ²
- ağırlıkların karelerinin toplamı; büyük ağırlıkları cezalandırır
L2 düzenlileştirme (weight decay): model daha “pürüzsüz” fonksiyonları tercih eder ve gürültüyü ezberlemeye daha az yatkın olur.
PyTorch: tensörler
Derse gitBurada
- d₁ … dₖ
- shape'teki boyutlar
- numel
- eleman sayısı (
x.numel()) - s
- bir elemanın bayt cinsinden boyutu (
x.element_size())
Burada
- A, B
- boyutları m × n ve n × p olan matrisler
- n
- iç boyut; iki matriste de aynı olmalıdır
- Cᵢⱼ
- A'nın i. satırı ile B'nin j. sütununun iç çarpımı
Matris çarpımı sinir ağlarının temel işlemidir: (N, D) boyutlu girdileri (D, K) boyutlu ağırlık matrisiyle çarparak tüm yığını tek seferde işleriz. Daha çok eksenli tensörlerde @ son iki eksene uygulanır, diğer eksenler yığın ekseni sayılır.
PyTorch: autograd ve otomatik türev
Derse gitBurada
- L
- kayıp (grafın kökü)
- y, ŷ
- ara değerler (grafın iç düğümleri)
- x, w
- yapraklar: girdiler ve parametreler
Bileşik bir fonksiyonun türevi, yerel türevlerin çarpımına eşittir. Bir değişken kaybı birkaç yol üzerinden etkiliyorsa tüm yollardaki çarpımlar toplanır: ∂L/∂x = ∑ₖ ∂L/∂yₖ · ∂yₖ/∂x.
Burada
- σ(z)
- sigmoid fonksiyonu, değerleri (0; 1) aralığında
- σ′(z)
- türevi; en büyük değeri z = 0'da 0,25'tir
İspat: σ′(z) = e⁻ᶻ / (1 + e⁻ᶻ)² = σ(z) · e⁻ᶻ / (1 + e⁻ᶻ); son kesir 1 − σ(z)'ye eşittir.
PyTorch: sinir ağları kurmak
Derse gitBurada
- x
- girdi vektörü (n öznitelik)
- w
- ağırlıklar; her girdinin önemi
- b
- sapma (bias); aktivasyon eşiğini kaydırır
- φ
- aktivasyon fonksiyonu (ReLU, sigmoid…)
- a
- nöronun çıktısı (aktivasyon)
Burada
- ReLU
- negatif değerleri sıfırlar; türevi z > 0 için 1, z < 0 için 0
- σ
- sigmoid: değerler (0; 1) aralığında, olasılık olarak yorumlanır
- tanh
- hiperbolik tanjant: değerler (−1; 1) aralığında, sıfıra göre simetrik
Burada
- z
- K sınıf için ham puanlar (logitler)
- softmax(z)ᵢ
- i sınıfının olasılığı; hepsi pozitiftir ve toplamı 1'dir
Softmax, çok sınıflı sınıflandırmada son katmanın logitlerini bir olasılık dağılımına çevirir.
Burada
- X
- girdi yığını, şekil (N, nin)
- W
- ağırlıklar, şekil (nout, nin);
layer.weight - b
- sapmalar, şekil (nout,);
layer.bias - Y
- çıktılar, şekil (N, nout)
Her çıktı nöronunun nin ağırlığı ve bir sapması vardır; bu yüzden tam bağlantılı bir katmanda (nin + 1) · nout parametre bulunur.
PyTorch: eğitim döngüsü
Derse gitBurada
- N
- eğitim kümesindeki örnek sayısı
- B
- yığın boyutu (batch size)
- ⌈ ⌉
- yukarı yuvarlama: son eksik yığın da bir adımdır
Burada
- z
- modelin ham logitleri
- t
- doğru sınıfın numarası
nn.CrossEntropyLoss, log-softmax ile çapraz entropiyi birleştirir: −ln softmax(z)ₜ = −zₜ + ln ∑ eᶻʲ. Bir yığın için kayıpların ortalaması alınır.
Burada
- gₜ
- t adımındaki gradyan
- mₜ, vₜ
- gradyanın ve karesinin kayan ortalamaları (momentum ve ölçek)
- m̂ₜ, v̂ₜ
- başlangıç sapması düzeltilmiş değerler: mₜ/(1 − β₁ᵗ), vₜ/(1 − β₂ᵗ)
- β₁, β₂, ε, η
- PyTorch'ta varsayılan 0,9; 0,999; 10⁻⁸; 0,001
Adam optimizasyon aracı. Her parametre kendi adım boyunu alır: gradyanı sürekli büyük olan parametre temkinli, küçük olan daha cesurca güncellenir. Momentumlu SGD ise v ← μ·v + g, θ ← θ − η·v formülüyle çalışır.
Burada
- argmax(zᵢ)
- i. örnek için en büyük logitin sınıfı; yani tahmin
- [ … ]
- koşul doğruysa 1, değilse 0
Evrişimli sinir ağları (CNN)
Derse gitBurada
- x
- [0; 1] aralığındaki piksel değeri
- μ, σ
- kanalın eğitim kümesindeki ortalaması ve standart sapması (MNIST için 0,1307 ve 0,3081)
Normalleştirmeden sonra girdiler kabaca sıfır etrafında ve birim ölçektedir; bu, gradyan inişini hızlandırır.
Burada
- X
- girdi görüntüsü (ya da önceki katmanın haritası)
- K
- K × K boyutunda filtre; öğrenilen ağırlıklar
- b
- filtrenin sapması
- Y[i, j]
- öznitelik haritasının (i, j) elemanı
Tek kanal için 2B evrişim. Birden çok girdi kanalı olduğunda toplam kanallar üzerinden de alınır.
Burada
- W
- girdinin genişliği (ya da yüksekliği), piksel
- K
- çekirdek boyutu
- P
- dolgu (padding): kenarlara eklenen sıfır pikseller
- S
- adım (stride): filtrenin kaç piksel kaydığı
- O
- çıktı genişliği; ⌊ ⌋ aşağı yuvarlamadır
Çıktı boyutu formülü; yükseklik için de aynısı geçerlidir. Havuzlamada genellikle P = 0 ve S = K alınır.
Burada
- Cin, Cout
- girdi ve çıktı kanallarının sayısı
Bir evrişim katmanının parametre sayısı görüntü boyutuna bağlı değildir; ağırlıklar tüm konumlarda paylaşılır.
Transformerlar ve büyük dil modelleri
Derse gitBurada
- X
- (T, d) şeklinde token vektörleri
- WQ, WK, WV
- öğrenilen (d, dₖ) matrisleri
Burada
- Q · Kᵀ
- (T, T) puan matrisi: her sorgunun her anahtarla benzerliği
- √dₖ
- ölçek çarpanı; dₖ anahtar boyutudur
- softmax
- satır satır uygulanır: dikkat ağırlıkları pozitiftir ve toplamı 1'dir
- V
- değerler; çıktı onların ağırlıklı ortalamasıdır
Ölçekli iç çarpım dikkati (scaled dot-product attention).
Burada
- h
- baş sayısı; her başın boyutu d / h'dir
- WO
- birleştirilmiş başları karıştıran (d, d) matris
Her baş farklı bir ilişkiye dikkat etmeyi öğrenebilir: biri dil bilgisel bağlara, diğeri bir zamirin neyi gösterdiğine. Parametreler: WQ, WK, WV, WO için 4 · d² ağırlık ve 4 · d sapma.
Burada
- pos
- tokenin konumu: 0, 1, 2, …
- i
- bileşen çiftinin numarası; küçük i hızlı, büyük i yavaş salınır
- d
- gömme boyutu
Burada
- xₜ
- metindeki t. token
- p(xₜ₊₁ | x₁, …, xₜ)
- önceki tokenler verildiğinde modelin doğru sonraki tokene verdiği olasılık
- PPL
- perpleksite; ne kadar düşükse model o kadar iyidir
Burada
- τ
- sıcaklık: τ < 1 daha emin ve tekrarlı, τ > 1 daha çeşitli ve riskli metin verir
Sıcaklıklı softmax ile sonraki tokenin seçilmesi.