Düsturlar və asan yollar
Python79 düstur68 asan yol
Bu kursdakı bütün düsturlar və yadda saxlamağın asan yolları bir səhifədə.
- 1Verilənlər strukturları
- 2Funksiyalar və modullar
- 3Python dərindən
- 4Standart kitabxana dərindən
- 5Skriptlər və komanda sətri alətləri
- 6Kod keyfiyyəti, testlər və paketləmə
- 7Veb və avtomatlaşdırma
- 8Flask və FastAPI ilə veb tətbiqlər
- 9Django
- 10Veb skreypinq və brauzerin avtomatlaşdırılması
- 11Verilənlər elmi: NumPy, pandas, matplotlib
- 12Elmi hesablamalar və şəkillərin emalı
- 13Süni intellekt və PyTorch
Verilənlər strukturları
OrtaAdlar, istinadlar və dəyişkənlik
Dərsə keçFunksiyalar və modullar
OrtaFunksiyalar
Dərsə keçBurada
- F
- Farenheyt dərəcəsi ilə temperatur
- C
- Selsi dərəcəsi ilə temperatur
Bu düsturu funksiyaya çevirək
Rekursiya: özünü çağıran funksiyalar
Dərsə keçBurada
- n
- natural ədəd
- n!
- 1 · 2 · … · n hasili
Qaydada eyni əməl daha kiçik ədəd üçün təkrarlanır (rekursiv addım) və hesablamadan bildiyimiz qiymət var (baza halı).
Burada
- S(n)
- n ədədinin rəqəmlərinin cəmi
- n % 10
- 10-a bölünmədən qalıq — son rəqəm
- n // 10
- tam bölmə — son rəqəmi atır
S(2026) = 6 + S(202) = 6 + 2 + S(20) = 6 + 2 + 0 + S(2) = 10.
Burada
- F(n)
- n-ci Fibonaççi ədədi
Addım iki həddi geriyə baxdığı üçün iki baza halı lazımdır.
Burada
- calls(n)
- sadə
fib(n)-in etdiyi çağırışların sayı
n = 20 üçün F(21) = 10946, deməli 2 · 10946 − 1 = 21891 çağırış — aşağıdakı proqram da məhz bu qədər sayır.
Python dərindən
İrəliİteratorlar və generatorlar
Dərsə keçDekoratorlar və qapanmalar
Dərsə keçKontekst menecerləri və with operatoru
Dərsə keçTip annotasiyaları və dataclass-lar
Dərsə keçQabaqcıl OYP: xüsusi metodlar, xassələr və MRO
Dərsə keçStrukturlu şablon uyğunluğu: match-case
Dərsə keçRequlyar ifadələr: re modulu
Dərsə keçAsinxron Python: async və await
Dərsə keçPaketlər, modullar və virtual mühitlər
Dərsə keçPerformans, Big-O və collections modulu
Dərsə keçStandart kitabxana dərindən
İrəliTarix və vaxt: datetime və saat qurşaqları
Dərsə keçBurada
- datetime
- zaman oxunda bir an (və ya
date— bir gün) - timedelta
- iki an arasındakı müddət
Tarixləri toplamaq olmaz (date + date xətadır), amma onları çıxmaq və müqayisə etmək olar. Ay və il timedelta-da yoxdur, çünki onların uzunluğu dəyişir.
Unicode, kodlaşdırmalar və bytes
Dərsə keçBurada
- c
smətninin hər simvolu (kod nöqtəsi)- bytes(c)
- 1 bayt: U+0000…U+007F (ASCII: Latın hərfləri, rəqəmlər); 2 bayt: U+07FF-ə qədər (
ə,ı,ş,ğ, kiril hərfləri); 3 bayt: U+FFFF-ə qədər (€, Çin heroqlifləri); 4 bayt: daha böyük nömrələr (emoji)
UTF-8 ASCII ilə uyğundur: ingiliscə mətn bayt-bayt eynidir. Ona görə len(s) bayt sayına yalnız ASCII mətndə bərabərdir.
Sıralama, bisect və heapq
Dərsə keçBurada
- key
- açar funksiyası; verilməyibsə, elementin özü
- reverse=True
- müqayisəni tərsinə çevirir, amma bərabər açarlı elementlərin sırası yenə saxlanır
Sıralama O(n log n) müqayisə tələb edir, açar isə cəmi n dəfə hesablanır.
Burada
- a
- artan sıra ilə sıralanmış siyahı
- lo, hi
- aralığın sərhədləri (hər ikisi daxil)
bisect_right(a, x) − bisect_left(a, x) isə x-in neçə dəfə təkrarlandığını verir — count() kimi, amma O(n) əvəzinə O(log n).
Burada
- h
- yığın kimi saxlanan siyahı
- k
- indeks (uşaq indeksi siyahının uzunluğundan kiçik olduqca)
Misal: [3, 7, 11, 42, 25, 19] — 3 ≤ 7 və 3 ≤ 11; 7 ≤ 42 və 7 ≤ 25; 11 ≤ 19. Şərt ödənir, halbuki siyahı sıralanmayıb.
Konfiqurasiya faylları və mühit dəyişənləri
Dərsə keçBurada
- arqumentlər
- yalnız bu dəfəlik işə salınma üçün (
--port 7000) - mühit
- server və ya konteyner üçün; sirlər üçün əsas yer
- fayl
- layihənin ümumi parametrləri (TOML, INI)
Susmaya görə dəyərlər kodda olur və bütün açarların siyahısını müəyyən edir.
Skriptlər və komanda sətri alətləri
İrəliFayl sistemi: pathlib və shutil
Dərsə keçJurnal yazmaq: logging modulu
Dərsə keçBurada
- level(record)
- mesajın səviyyəsi:
log.info→ 20 - level(logger)
- logger-in effektiv səviyyəsi (özününkü və ya ən yaxın valideyninki)
- level(handler)
- mesajı çıxaran handler-in səviyyəsi
Səviyyə həddi aşağı salındıqca daha çox mesaj görünür. Root logger-in susmaya görə səviyyəsi WARNING-dir, ona görə konfiqurasiyasız info görünmür.
Komanda sətri tətbiqləri: argparse və click
Dərsə keçKod keyfiyyəti, testlər və paketləmə
İrəliTestlərdə əvəzləyicilər: unittest.mock
Dərsə keçVeb və avtomatlaşdırma
İrəliJSON və CSV ilə işləmək
Dərsə keçPython-da verilənlər bazası: sqlite3
Dərsə keçVeb API-lər və requests kitabxanası
Dərsə keçPydantic: verilənlərin yoxlanması
Dərsə keçFastAPI ilə veb servis
Dərsə keçSQLAlchemy: ORM ilə verilənlər bazası
Dərsə keçAvtomatlaşdırma skriptləri
Dərsə keçopenpyxl ilə Excel-in avtomatlaşdırılması
Dərsə keçBurada
- A … Z
- hərfin qiyməti 1 … 26
- 26ᵏ
- sağdan k-cı hərfin çəkisi (k = 0, 1, 2)
Sütun hərfləri «sıfırsız» 26-lıq say sistemidir. XFD — Excel-in son, 16 384-cü sütunu. openpyxl-də: get_column_letter(28) → 'AB', column_index_from_string('AB') → 28.
Flask və FastAPI ilə veb tətbiqlər
İrəliFlask: ilk veb tətbiq
Dərsə keçFlask: formalar, sessiyalar və verilənlər bazası
Dərsə keçFastAPI: asılılıqlar və verilənlər bazası
Dərsə keçDjango
İrəliDjango: layihə, tətbiqlər və ilk səhifə
Dərsə keçDjango: modellər, miqrasiyalar və admin paneli
Dərsə keçVeb skreypinq və brauzerin avtomatlaşdırılması
İrəliHTML-in təhlili: BeautifulSoup
Dərsə keçVerilənlər elmi: NumPy, pandas, matplotlib
UniversitetNumPy-ın əsasları: massivlər
Dərsə keçBurada
- n
- oxların sayı (
ndim) - dₖ
- k-cı ox üzrə uzunluq (
shape-in elementi) - itemsize
- bir elementin bayt ilə ölçüsü:
float64vəint64üçün 8,float32vəint32üçün 4,boolvəint8üçün 1
Forması (2, 3) olan m üçün size = 2 · 3 = 6. temps üçün nbytes = 4 · 8 = 32 bayt.
Burada
- h
linspacenöqtələri arasındakı addım- n
arangemassivindəki elementlərin sayı- ⌈ ⌉
- yuxarı yuvarlaqlaşdırma
np.linspace(0, 1, 5): h = 1 / 4 = 0,25. np.arange(0, 10, 2): n = ⌈10 / 2⌉ = 5 element.
Burada
- x̄
- ədədi orta (
mean) - n
- qiymətlərin sayı
- σ
- standart meyl (
std), qiymətlərin ortadan orta hesabla nə qədər uzaqlaşdığı - ddof
- 0 — baş məcmu üçün (NumPy-da susmaya görə), 1 — seçmə üçün (sürüşməsiz dispersiya)
np.std susmaya görə n-ə bölür, statistika dərslikləri və pandas-dakı Series.std isə n − 1-ə. Eyni nəticə üçün ddof=1 ötür.
NumPy: vektorlaşdırma və xətti cəbr
Dərsə keçBurada
- xᵢⱼ
- i-ci nümunənin j-ci əlaməti
- μⱼ, σⱼ
- j-ci sütunun ortası və standart meyli
- zᵢⱼ
- standartlaşdırılmış qiymət (z-bal): ortası 0, standart meyli 1
Burada
- aᵢₖ
- A matrisinin i-ci sətir, k-cı sütundakı elementi
- bₖⱼ
- B matrisinin k-cı sətir, j-ci sütundakı elementi
- n
- A-nın sütunlarının və B-nin sətirlərinin ortaq sayı
Burada
- det A
- determinant; 0-dırsa, matris cırlaşmışdır və tərsi yoxdur
- A⁻¹
- tərs matris: A · A⁻¹ = I (vahid matris)
Burada
- v
- məxsusi vektor (v ≠ 0)
- λ
- məxsusi qiymət
- I
- vahid matris
İkinci bərabərlik xarakteristik tənlikdir: (A − λI)v = 0 sisteminin sıfırdan fərqli həlli yalnız determinant 0 olanda var.
Burada
- X
- n × d əlamətlər matrisi (birinci sütun birlərdir)
- y
- hədəf qiymətlər vektoru
- w
- kvadratik xətaların cəmini minimuma endirən əmsallar
pandas-ın əsasları: Series və DataFrame
Dərsə keçBurada
- q
- səviyyə: 0,25 (birinci kvartil), 0,5 (median), 0,75 (üçüncü kvartil)
- x₍ₖ₎
- artan sıra ilə düzülmüş qiymətlərdən k-cısı (0-dan saymaqla)
- h
- sıralanmış verilənlərdə «kəsr mövqe»
pandas və NumPy susmaya görə kvantilləri iki qonşu qiymət arasında xətti interpolyasiya ilə hesablayır.
pandas ilə verilənlərin analizi
Dərsə keçBurada
- xᵢ
- i-ci qrupun ortası (məsələn, orta çek)
- wᵢ
- qrupun çəkisi — adətən müşahidələrin sayı
Çəkili orta. pandas-da: np.average(x, weights=w) və ya sadəcə ümumi cəmi ümumi saya bölmək.
Burada
- xₜ
- cari dövrün göstəricisi
- xₜ₋₁
- əvvəlki dövrün göstəricisi
Artım tempi; pandas-da pct_change() bunu hesablayır (100-ə vurmadan). Birinci dövr üçün əvvəlki qiymət yoxdur, ona görə NaN alınır.
matplotlib ilə vizuallaşdırma
Dərsə keçBurada
- k
- intervalların sayı (Sturges qaydası)
- h
- intervalın eni (Freedman–Diaconis qaydası), verilənlərin vahidi ilə
- n
- müşahidələrin sayı
- IQR
- kvartillərarası məsafə Q3 − Q1
Sturges normal paylanmaya yaxın və çox böyük olmayan verilənlər üçün yaxşıdır; Freedman–Diaconis kənar qiymətlərə davamlıdır. ax.hist(x, bins='fd') ikincisini avtomatik tətbiq edir.
Burada
- nᵢ
- i-ci intervala düşən müşahidələr
- fᵢ
- sütunun hündürlüyü
density=Truerejimində (sıxlıq) - h
- intervalın eni
ax.hist(x, density=True) sütunların sahələrinin cəmini 1 edir — belə histoqramı ehtimal sıxlığının əyrisi ilə müqayisə etmək olar.
Python ilə statistika
Dərsə keçBurada
- n
- seçmənin həcmi
- s²
- seçmə dispersiyası (vahidi — verilənlərin vahidinin kvadratı)
- s
- seçmə standart meyli (verilənlərlə eyni vahiddə); NumPy-da
std(ddof=1)
Burada
- Q1, Q3
- birinci və üçüncü kvartil (25% və 75%)
- IQR
- Q3 − Q1, verilənlərin ortadakı yarısının eni
Tükinin qaydası: bu intervaldan kənardakı qiymətlər kənar qiymət (outlier) sayılır. Burada: 14,75 + 1,5 · 1,75 = 17,375, deməli, 45 kənar qiymətdir.
Burada
- μ
- paylanmanın ortası
- σ
- standart meyl (σ > 0)
- f(x)
- ehtimal sıxlığı; P(a < X < b) — əyri altında a ilə b arasındakı sahədir
- z
- z-bal: standart normal paylanmada (μ = 0, σ = 1) mövqe
Burada
- SE
- ortanın standart xətası
- σ, s
- baş məcmunun və seçmənin standart meyli
Burada
- t*
- t-paylanmasının kritik qiyməti; 95% üçün α = 0,05
- n − 1
- sərbəstlik dərəcələrinin sayı
Orta üçün 95% etibarlılıq intervalı. stats.t.ppf(0.975, df=n - 1) t*-ı, stats.t.interval isə bütün intervalı qaytarır.
Burada
- x̄₁, x̄₂
- qrupların ortaları
- s₁², s₂²
- qrupların seçmə dispersiyaları
- n₁, n₂
- qrupların həcmi
Uelç t-statistikası: ortaların fərqi, onun standart xətasına bölünür. |t| nə qədər böyükdürsə, p o qədər kiçikdir.
Burada
- r
- −1 ≤ r ≤ 1; işarə istiqaməti, |r| gücü göstərir
- x̄, ȳ
- hər dəyişənin ortası
scikit-learn ilə maşın öyrənməsi
Dərsə keçBurada
- yᵢ, ŷᵢ
- həqiqi qiymət və proqnoz
- RMSE
- hədəflə eyni vahiddə orta xəta (burada min manat)
- R²
- izah olunan variasiyanın payı: 1 — ideal, 0 — həmişə ortanı proqnozlaşdıran model səviyyəsi
Model əmsalları 1,48 və 11,06 tapıb — həqiqi 1,5 və 12-yə yaxındır. RMSE ≈ 9,8 verilənlərə qatdığımız küyün (σ = 10) səviyyəsidir: model siqnalı tam tutub, küyü isə proqnozlaşdırmaq mümkün deyil.
Burada
- σ(z)
- sigmoid: istənilən ədədi (0; 1) aralığına salır, σ(0) = 0,5
- p
- nümunənin müsbət sinfə aid olma ehtimalı; p ≥ 0,5 olanda «1» proqnozlaşdırılır
Burada
- pₖ
- düyündə k sinfinin payı
- G
- 0 — düyün təmizdir (bir sinif), iki sinif üçün maksimum 0,5
- nL, nR
- sol və sağ övlad düyünlərdəki nümunələrin sayı
Burada
- Precision
- «spam» dediklərimizin neçə faizi həqiqətən spamdır
- Recall
- bütün spamın neçə faizini tuta bildik
- F1
- precision və recall-un harmonik ortası
- N
- bütün nümunələrin sayı
Burada
- k
- qatların sayı, adətən 5 və ya 10
- scoreᵢ
- i-ci qat test olanda alınan nəticə
Elmi hesablamalar və şəkillərin emalı
UniversitetSciPy ilə elmi hesablamalar
Dərsə keçBurada
- A(r)
- bankanın tam səthinin sahəsi (sm²)
- r
- oturacağın radiusu (sm)
- V
- həcm (sm³; 330 ml = 330 sm³)
- h
- hündürlük (sm)
Minimumda törəmə sıfıra bərabərdir; ən qənaətli bankanın hündürlüyü diametrinə bərabərdir (h = 2r).
Burada
- a, b
- parçanın ucları (
brentq(f, a, b)) - c
- axtarılan kök
Yarıya bölmə parçanı ikiyə bölür və işarənin dəyişdiyi yarını saxlayır; Brent üsulu (brentq) daha sürətlidir, amma bu zəmanəti qoruyur.
Burada
- F
- ibtidai funksiya: F′(x) = f(x)
- a, b
- inteqrallamanın sərhədləri
Nyuton–Leybnis düsturu. quad üçün F lazım deyil: o, sahəni ədədi hesablayır (adaptiv Qauss–Kronrod kvadraturu) və xətanın qiymətləndirməsini də qaytarır.
Burada
- T
- çayın temperaturu (°C)
- Tₘ
- mühitin (otağın) temperaturu
- k
- soyuma əmsalı (1/dəq)
- T₀
- t = 0 anındakı temperatur
Nyutonun soyuma qanunu: otaqla fərq nə qədər böyükdürsə, çay o qədər tez soyuyur. Dəqiq həll ədədi həlli yoxlamağa imkan verir.
Burada
- (x₀; y₀), (x₁; y₁)
- x-in hər iki tərəfindəki iki ölçmə
- x
- qiymətin lazım olduğu nöqtə
İki qonşu nöqtə arasında xətti interpolyasiya — np.interp məhz bunu edir.
Burada
- n
- sınaqların (sualların) sayı
- m
- uğurların sayı
- p
- bir sınaqda uğurun ehtimalı (burada 1/4)
- C(n, m)
- birləşmələrin sayı: n! / (m! · (n − m)!)
Binomial paylanma — stats.binom(n, p).
Burada
- (tᵢ; Tᵢ)
- ölçmələr: zaman və temperatur
- T(t; T₀, k)
- modelin qiyməti
- S
- xətaların kvadratları cəmi
curve_fit(model, t, T, p0) ən yaxşı parametrləri və onların kovariasiya matrisini qaytarır; diaqonalın kvadrat kökü parametrlərin standart xətalarıdır.
SymPy: simvolik riyaziyyat
Dərsə keçBurada
- a, b
- istənilən ədəd və ya ifadə
Qısa vurma düsturları. expand onları soldan sağa (mötərizələri açır), factor sağdan sola (vuruqlara ayırır) tətbiq edir.
Burada
- a, b, c
- əmsallar, a ≠ 0
- D
- diskriminant: D > 0 — iki kök, D = 0 — bir kök, D < 0 — həqiqi kök yoxdur
SymPy bu düsturu özü çıxarır: solve(a*x**2 + b*x + c, x) (kodun son sətri).
Burada
- u, v
- x-dən asılı funksiyalar
- k
- sabit
Hasilin törəməsi, mürəkkəb funksiyanın törəməsi və sin x-in Teylor sırası. diff, integrate, limit, series bu qaydaları özü tətbiq edir.
Burada
- a
- toxunma nöqtəsinin absisi
- f′(a)
- toxunanın bucaq əmsalı
Funksiyanın qrafikinə x = a nöqtəsində toxunanın tənliyi.
Pillow və OpenCV ilə şəkillərin emalı
Dərsə keçBurada
- R, G, B
- pikselin qırmızı, yaşıl və mavi qiymətləri (0–255)
- L
- boz rəngdə parlaqlıq (0–255)
Pillow-un convert('L') və OpenCV-nin COLOR_BGR2GRAY çevrilməsi bu düsturla işləyir (ITU-R 601). Göz yaşıla ən həssasdır, ona görə onun çəkisi ən böyükdür.
Burada
- w, h
- ilkin en və hündürlük (piksel)
- w′, h′
- yeni ölçülər
- k
thumbnail((W_max, H_max))üçün miqyas: şəkil hər iki çərçivəyə sığmalıdır
Nisbəti saxlamaqla ölçünü dəyişmək: resize istənilən ölçünü qəbul edir (nisbəti sən hesablayırsan), thumbnail isə nisbəti özü saxlayır və şəkli yerində kiçildir.
Süni intellekt və PyTorch
UniversitetMaşın öyrənməsinin əsas anlayışları
Dərsə keçBurada
- n
- nümunələrin sayı
- yᵢ
- i-ci nümunənin həqiqi qiyməti (etiket)
- ŷᵢ
- modelin proqnozu
Orta kvadratik xəta (mean squared error). Kvadrata yüksəltmə böyük səhvləri daha ağır cəzalandırır; vahidi etiketin vahidinin kvadratıdır.
Burada
- K
- siniflərin sayı
- yₖ
- k sinfi düzgündürsə 1, əks halda 0 (one-hot)
- pₖ
- modelin k sinfinə verdiyi ehtimal
- pₜ
- düzgün sinfin ehtimalı
Çarpaz entropiya (cross-entropy). İki sinif üçün: BCE = −[y · ln p + (1 − y) · ln(1 − p)]. Düzgün sinfin ehtimalı 1-ə yaxınlaşdıqca itki 0-a yaxınlaşır.
Burada
- θ
- modelin bütün parametrləri (çəkilər və sürüşmələr)
- η
- öyrənmə sürəti, adətən 0,0001–0,1
- ∇L(θ)
- itkinin hər parametrə görə xüsusi törəmələrindən ibarət qradiyent vektoru
Qradiyent enişinin yeniləmə qaydası. Hər təkrar bir addımdır; bütün öyrədici dəstdən bir dəfə keçməyə epoxa deyilir.
Burada
- w, b
- xəttin bucaq əmsalı (çəki) və sərbəst həddi (sürüşmə)
- ŷᵢ − yᵢ
- i-ci nümunədə səhv
Burada
- f̂(x)
- təsadüfi öyrədici dəstdən öyrədilmiş modelin proqnozu
- Bias
- sistematik xəta: modelin çox sadə fərziyyələrindən yaranan orta səhv
- Var
- dispersiya: proqnozun konkret öyrədici dəstdən nə qədər asılı olduğu
- σ²
- verilənlərdəki aradan qaldırılmayan küy
MSE üçün sistematik xəta–dispersiya ayrılışı. Model mürəkkəbləşdikcə sistematik xəta azalır, dispersiya artır; ən yaxşı model cəmi minimuma endirir.
Burada
- λ
- requlyarlaşdırma gücü (hiperparametr, validasiya ilə seçilir)
- ∑ⱼ θⱼ²
- çəkilərin kvadratları cəmi — böyük çəkiləri cəzalandırır
L2 requlyarlaşdırma (weight decay): model daha «hamar» funksiyalar seçir və küyü əzbərləməyə daha az meyl edir.
PyTorch: tenzorlar
Dərsə keçBurada
- d₁ … dₖ
- shape-in ölçüləri
- numel
- elementlərin sayı (
x.numel()) - s
- bir elementin ölçüsü, bayt (
x.element_size())
Burada
- A, B
- ölçüləri m × n və n × p olan matrislər
- n
- daxili ölçü — hər iki matrisdə eyni olmalıdır
- Cᵢⱼ
- A-nın i-ci sətri ilə B-nin j-ci sütununun skalyar hasili
Matris hasili neyron şəbəkələrin əsas əməliyyatıdır: (N, D) ölçülü girişləri (D, K) çəkilər matrisinə vurmaqla bütün paketi bir anda emal edirik. Daha çox ölçülü tenzorlarda @ son iki oxa tətbiq olunur, qalan oxlar isə paket oxları sayılır.
PyTorch: autograd və avtomatik törəmə
Dərsə keçBurada
- L
- itki (qrafın kökü)
- y, ŷ
- aralıq qiymətlər (qrafın daxili düyünləri)
- x, w
- yarpaqlar: girişlər və parametrlər
Mürəkkəb funksiyanın törəməsi lokal törəmələrin hasilinə bərabərdir. Bir dəyişən bir neçə yolla itkiyə təsir edirsə, bütün yollar üzrə hasillər toplanır: ∂L/∂x = ∑ₖ ∂L/∂yₖ · ∂yₖ/∂x.
Burada
- σ(z)
- siqmoid funksiyası, qiymətləri (0; 1) aralığında
- σ′(z)
- onun törəməsi; ən böyük qiyməti z = 0-da 0,25-dir
İsbat: σ′(z) = e⁻ᶻ / (1 + e⁻ᶻ)² = σ(z) · e⁻ᶻ / (1 + e⁻ᶻ), sonuncu kəsr isə 1 − σ(z)-dir.
PyTorch: neyron şəbəkələrin qurulması
Dərsə keçBurada
- x
- giriş vektoru (n əlamət)
- w
- çəkilər — hər girişin əhəmiyyəti
- b
- sürüşmə (bias) — aktivləşmə həddini sürüşdürür
- φ
- aktivasiya funksiyası (ReLU, siqmoid…)
- a
- neyronun çıxışı (aktivasiya)
Burada
- ReLU
- mənfi qiymətləri sıfırlayır; törəməsi z > 0 üçün 1, z < 0 üçün 0
- σ
- siqmoid: qiymətlər (0; 1) aralığında, ehtimal kimi şərh olunur
- tanh
- hiperbolik tangens: qiymətlər (−1; 1) aralığında, sıfıra görə simmetrik
Burada
- z
- K sinif üçün xam ballar (logitlər)
- softmax(z)ᵢ
- i sinfinin ehtimalı; hamısı müsbətdir və cəmi 1-dir
Softmax çoxsinifli təsnifatda son qatın logitlərini ehtimallar paylanmasına çevirir.
Burada
- X
- girişlər paketi, forma (N, nin)
- W
- çəkilər, forma (nout, nin) —
layer.weight - b
- sürüşmələr, forma (nout,) —
layer.bias - Y
- çıxışlar, forma (N, nout)
Hər çıxış neyronunun nin çəkisi və bir sürüşməsi var, buna görə tam əlaqəli qatda (nin + 1) · nout parametr olur.
PyTorch: modelin öyrədilməsi dövrü
Dərsə keçBurada
- N
- öyrədici dəstdəki nümunələrin sayı
- B
- paketin ölçüsü (batch size)
- ⌈ ⌉
- yuxarı yuvarlaqlaşdırma: son natamam paket də bir addımdır
Burada
- z
- modelin xam logitləri
- t
- düzgün sinfin nömrəsi
nn.CrossEntropyLoss log-softmax ilə çarpaz entropiyanı birləşdirir: −ln softmax(z)ₜ = −zₜ + ln ∑ eᶻʲ. Paket üçün itkilərin orta qiyməti götürülür.
Burada
- gₜ
- t addımındakı qradiyent
- mₜ, vₜ
- qradiyentin və onun kvadratının sürüşən orta qiymətləri (impuls və miqyas)
- m̂ₜ, v̂ₜ
- başlanğıc sürüşməsi düzəldilmiş qiymətlər: mₜ/(1 − β₁ᵗ), vₜ/(1 − β₂ᵗ)
- β₁, β₂, ε, η
- PyTorch-da susmaya görə 0,9; 0,999; 10⁻⁸; 0,001
Adam optimallaşdırıcısı. Hər parametr öz addım ölçüsünü alır: qradiyenti daim böyük olan parametr ehtiyatla, kiçik olan isə daha cəsarətlə yenilənir. SGD-nin impulslu (momentum) variantı isə v ← μ·v + g, θ ← θ − η·v düsturu ilə işləyir.
Burada
- argmax(zᵢ)
- i-ci nümunə üçün ən böyük logitin sinfi — proqnoz
- [ … ]
- şərt doğrudursa 1, əks halda 0
Konvolyusiya neyron şəbəkələri (CNN)
Dərsə keçBurada
- x
- [0; 1] aralığındakı piksel qiyməti
- μ, σ
- kanalın öyrədici dəst üzrə orta qiyməti və standart meyli (MNIST üçün 0,1307 və 0,3081)
Normallaşdırmadan sonra girişlər təxminən sıfır ətrafında və vahid miqyasdadır — bu, qradiyent enişini sürətləndirir.
Burada
- X
- giriş şəkli (və ya əvvəlki qatın xəritəsi)
- K
- K × K ölçülü filtr — öyrədilən çəkilər
- b
- filtrin sürüşməsi
- Y[i, j]
- əlamətlər xəritəsinin (i, j) elementi
Bir kanal üçün 2D konvolyusiya. Bir neçə giriş kanalı olanda cəm kanallar üzrə də aparılır.
Burada
- W
- girişin eni (və ya hündürlüyü), piksel
- K
- filtrin ölçüsü
- P
- doldurma (padding): kənarlara əlavə olunan sıfır piksellər
- S
- addım (stride): filtr neçə piksel sürüşür
- O
- çıxışın eni; ⌊ ⌋ aşağı yuvarlaqlaşdırmadır
Çıxış ölçüsü düsturu. Hündürlük üçün də eynidir. Pooling üçün adətən P = 0 və S = K götürülür.
Burada
- Cin, Cout
- giriş və çıxış kanallarının sayı
Konvolyusiya qatının parametrləri şəklin ölçüsündən asılı deyil — çəkilər bütün mövqelərdə paylaşılır.
Transformerlər və böyük dil modelləri
Dərsə keçBurada
- X
- (T, d) ölçülü tokenlərin vektorları
- WQ, WK, WV
- öyrədilən (d, dₖ) matrislər
Burada
- Q · Kᵀ
- (T, T) ballar matrisi: hər sorğunun hər açarla oxşarlığı
- √dₖ
- miqyas əmsalı, dₖ — açar vektorunun ölçüsü
- softmax
- hər sətirdə tətbiq olunur: diqqət çəkiləri müsbətdir və cəmi 1-dir
- V
- qiymətlər; nəticə onların çəkili ortasıdır
Miqyaslı skalyar hasil diqqəti (scaled dot-product attention).
Burada
- h
- başların sayı; hər başın ölçüsü d / h-dir
- WO
- başların birləşmiş çıxışını qarışdıran (d, d) matris
Hər baş fərqli münasibətə «diqqət yetirməyi» öyrənə bilər: biri qrammatik əlaqələrə, digəri əvəzliyin kimə aid olduğuna. Parametrlər: WQ, WK, WV, WO üçün 4 · d² çəki və 4 · d sürüşmə.
Burada
- pos
- tokenin mövqeyi: 0, 1, 2, …
- i
- vektor komponentləri cütünün nömrəsi; kiçik i — sürətli, böyük i — yavaş rəqs
- d
- embeddinqin ölçüsü
Burada
- xₜ
- mətndəki t-ci token
- p(xₜ₊₁ | x₁, …, xₜ)
- əvvəlki tokenlərə görə modelin düzgün növbəti tokenə verdiyi ehtimal
- PPL
- perpleksiya; nə qədər kiçikdirsə, model bir o qədər yaxşıdır
Burada
- τ
- temperatur: τ < 1 — daha əmin və təkrarlanan, τ > 1 — daha müxtəlif və riskli mətn
Temperaturlu softmax ilə növbəti tokenin seçilməsi.