Verilənlər strukturları

Orta

Adlar, istinadlar və dəyişkənlik

Dərsə keç

Funksiyalar və modullar

Orta

Funksiyalar

Dərsə keç
F = C · 9/5 + 32F = C · 9/5 + 32

Burada

F
Farenheyt dərəcəsi ilə temperatur
C
Selsi dərəcəsi ilə temperatur

Bu düsturu funksiyaya çevirək

Rekursiya: özünü çağıran funksiyalar

Dərsə keç
n! = n · (n − 1)!0! = 1! = 1

Burada

n
natural ədəd
n!
1 · 2 · … · n hasili

Qaydada eyni əməl daha kiçik ədəd üçün təkrarlanır (rekursiv addım) və hesablamadan bildiyimiz qiymət var (baza halı).

S(n) = n % 10 + S(n // 10)S(n) = n, if n < 10

Burada

S(n)
n ədədinin rəqəmlərinin cəmi
n % 10
10-a bölünmədən qalıq — son rəqəm
n // 10
tam bölmə — son rəqəmi atır

S(2026) = 6 + S(202) = 6 + 2 + S(20) = 6 + 2 + 0 + S(2) = 10.

F(n) = F(n − 1) + F(n − 2)F(0) = 0F(1) = 1

Burada

F(n)
n-ci Fibonaççi ədədi

Addım iki həddi geriyə baxdığı üçün iki baza halı lazımdır.

calls(n) = 2 · F(n + 1) − 1

Burada

calls(n)
sadə fib(n)-in etdiyi çağırışların sayı

n = 20 üçün F(21) = 10946, deməli 2 · 10946 − 1 = 21891 çağırış — aşağıdakı proqram da məhz bu qədər sayır.

Python dərindən

İrəli

İteratorlar və generatorlar

Dərsə keç

Dekoratorlar və qapanmalar

Dərsə keç

Kontekst menecerləri və with operatoru

Dərsə keç

Tip annotasiyaları və dataclass-lar

Dərsə keç

Qabaqcıl OYP: xüsusi metodlar, xassələr və MRO

Dərsə keç

Strukturlu şablon uyğunluğu: match-case

Dərsə keç

Requlyar ifadələr: re modulu

Dərsə keç

Asinxron Python: async və await

Dərsə keç

Paketlər, modullar və virtual mühitlər

Dərsə keç

Performans, Big-O və collections modulu

Dərsə keç

Standart kitabxana dərindən

İrəli

Tarix və vaxt: datetime və saat qurşaqları

Dərsə keç
datetime ± timedelta = datetimedatetime − datetime = timedelta

Burada

datetime
zaman oxunda bir an (və ya date — bir gün)
timedelta
iki an arasındakı müddət

Tarixləri toplamaq olmaz (date + date xətadır), amma onları çıxmaq və müqayisə etmək olar. Ay və il timedelta-da yoxdur, çünki onların uzunluğu dəyişir.

Unicode, kodlaşdırmalar və bytes

Dərsə keç
len(s.encode('utf-8')) = Σ bytes(c)

Burada

c
s mətninin hər simvolu (kod nöqtəsi)
bytes(c)
1 bayt: U+0000…U+007F (ASCII: Latın hərfləri, rəqəmlər); 2 bayt: U+07FF-ə qədər (ə, ı, ş, ğ, kiril hərfləri); 3 bayt: U+FFFF-ə qədər (€, Çin heroqlifləri); 4 bayt: daha böyük nömrələr (emoji)

UTF-8 ASCII ilə uyğundur: ingiliscə mətn bayt-bayt eynidir. Ona görə len(s) bayt sayına yalnız ASCII mətndə bərabərdir.

Sıralama, bisect və heapq

Dərsə keç
a, b-dən əvvəl ⇔ key(a) < key(b)key(a) = key(b) ⇒ ilkin sıra saxlanır

Burada

key
açar funksiyası; verilməyibsə, elementin özü
reverse=True
müqayisəni tərsinə çevirir, amma bərabər açarlı elementlərin sırası yenə saxlanır

Sıralama O(n log n) müqayisə tələb edir, açar isə cəmi n dəfə hesablanır.

count(lo ≤ x ≤ hi) = bisect_right(a, hi) − bisect_left(a, lo)

Burada

a
artan sıra ilə sıralanmış siyahı
lo, hi
aralığın sərhədləri (hər ikisi daxil)

bisect_right(a, x) − bisect_left(a, x) isə x-in neçə dəfə təkrarlandığını verir — count() kimi, amma O(n) əvəzinə O(log n).

h[k] ≤ h[2k + 1]h[k] ≤ h[2k + 2]

Burada

h
yığın kimi saxlanan siyahı
k
indeks (uşaq indeksi siyahının uzunluğundan kiçik olduqca)

Misal: [3, 7, 11, 42, 25, 19] — 3 ≤ 7 və 3 ≤ 11; 7 ≤ 42 və 7 ≤ 25; 11 ≤ 19. Şərt ödənir, halbuki siyahı sıralanmayıb.

Konfiqurasiya faylları və mühit dəyişənləri

Dərsə keç
dəyər(açar) = açarı olan birinci lay: arqumentlər → mühit → fayl → susmaya görə

Burada

arqumentlər
yalnız bu dəfəlik işə salınma üçün (--port 7000)
mühit
server və ya konteyner üçün; sirlər üçün əsas yer
fayl
layihənin ümumi parametrləri (TOML, INI)

Susmaya görə dəyərlər kodda olur və bütün açarların siyahısını müəyyən edir.

Skriptlər və komanda sətri alətləri

İrəli

Fayl sistemi: pathlib və shutil

Dərsə keç

Jurnal yazmaq: logging modulu

Dərsə keç
record is shown ⇔ level(record) ≥ level(logger) and level(record) ≥ level(handler)

Burada

level(record)
mesajın səviyyəsi: log.info → 20
level(logger)
logger-in effektiv səviyyəsi (özününkü və ya ən yaxın valideyninki)
level(handler)
mesajı çıxaran handler-in səviyyəsi

Səviyyə həddi aşağı salındıqca daha çox mesaj görünür. Root logger-in susmaya görə səviyyəsi WARNING-dir, ona görə konfiqurasiyasız info görünmür.

Komanda sətri tətbiqləri: argparse və click

Dərsə keç

Kod keyfiyyəti, testlər və paketləmə

İrəli

Testlərdə əvəzləyicilər: unittest.mock

Dərsə keç

Veb və avtomatlaşdırma

İrəli

JSON və CSV ilə işləmək

Dərsə keç

Python-da verilənlər bazası: sqlite3

Dərsə keç

Veb API-lər və requests kitabxanası

Dərsə keç

Pydantic: verilənlərin yoxlanması

Dərsə keç

FastAPI ilə veb servis

Dərsə keç

SQLAlchemy: ORM ilə verilənlər bazası

Dərsə keç

Avtomatlaşdırma skriptləri

Dərsə keç

openpyxl ilə Excel-in avtomatlaşdırılması

Dərsə keç
AB = 1 · 26 + 2 = 28XFD = 24 · 26² + 6 · 26 + 4 = 16384

Burada

A … Z
hərfin qiyməti 1 … 26
26ᵏ
sağdan k-cı hərfin çəkisi (k = 0, 1, 2)

Sütun hərfləri «sıfırsız» 26-lıq say sistemidir. XFD — Excel-in son, 16 384-cü sütunu. openpyxl-də: get_column_letter(28) → 'AB', column_index_from_string('AB') → 28.

Flask və FastAPI ilə veb tətbiqlər

İrəli

Flask: ilk veb tətbiq

Dərsə keç

Flask: formalar, sessiyalar və verilənlər bazası

Dərsə keç

FastAPI: asılılıqlar və verilənlər bazası

Dərsə keç

Django

İrəli

Django: layihə, tətbiqlər və ilk səhifə

Dərsə keç

Django: modellər, miqrasiyalar və admin paneli

Dərsə keç

Veb skreypinq və brauzerin avtomatlaşdırılması

İrəli

HTML-in təhlili: BeautifulSoup

Dərsə keç

Verilənlər elmi: NumPy, pandas, matplotlib

Universitet

NumPy-ın əsasları: massivlər

Dərsə keç
size = d₁ · d₂ · … · dₙnbytes = size · itemsize

Burada

n
oxların sayı (ndim)
dₖ
k-cı ox üzrə uzunluq (shape-in elementi)
itemsize
bir elementin bayt ilə ölçüsü: float64 və int64 üçün 8, float32 və int32 üçün 4, bool və int8 üçün 1

Forması (2, 3) olan m üçün size = 2 · 3 = 6. temps üçün nbytes = 4 · 8 = 32 bayt.

h = (stop − start) / (num − 1)n = ⌈(stop − start) / step⌉h = (stop − start) / (num − 1)n = ⌈(stop − start) / step⌉

Burada

h
linspace nöqtələri arasındakı addım
n
arange massivindəki elementlərin sayı
⌈ ⌉
yuxarı yuvarlaqlaşdırma

np.linspace(0, 1, 5): h = 1 / 4 = 0,25. np.arange(0, 10, 2): n = ⌈10 / 2⌉ = 5 element.

x̄ = (1/n) · ∑ xᵢσ = √( ∑ (xᵢ − x̄)² / (n − ddof) )x̄ = (1/n) · ∑ xᵢσ = √( ∑ (xᵢ − x̄)² / (n − ddof) )

Burada

x̄
ədədi orta (mean)
n
qiymətlərin sayı
σ
standart meyl (std), qiymətlərin ortadan orta hesabla nə qədər uzaqlaşdığı
ddof
0 — baş məcmu üçün (NumPy-da susmaya görə), 1 — seçmə üçün (sürüşməsiz dispersiya)

np.std susmaya görə n-ə bölür, statistika dərslikləri və pandas-dakı Series.std isə n − 1-ə. Eyni nəticə üçün ddof=1 ötür.

NumPy: vektorlaşdırma və xətti cəbr

Dərsə keç
zᵢⱼ = (xᵢⱼ − μⱼ) / σⱼzᵢⱼ = (xᵢⱼ − μⱼ) / σⱼ

Burada

xᵢⱼ
i-ci nümunənin j-ci əlaməti
μⱼ, σⱼ
j-ci sütunun ortası və standart meyli
zᵢⱼ
standartlaşdırılmış qiymət (z-bal): ortası 0, standart meyli 1
cᵢⱼ = ∑ₖ₌₁ⁿ aᵢₖ · bₖⱼ(m × n) @ (n × p) → (m × p)

Burada

aᵢₖ
A matrisinin i-ci sətir, k-cı sütundakı elementi
bₖⱼ
B matrisinin k-cı sətir, j-ci sütundakı elementi
n
A-nın sütunlarının və B-nin sətirlərinin ortaq sayı
A = [[a, b], [c, d]]: det A = a·d − b·cA⁻¹ = (1 / det A) · [[d, −b], [−c, a]]A = [[a, b], [c, d]]: det A = a·d − b·cA⁻¹ = (1 / det A) · [[d, −b], [−c, a]]

Burada

det A
determinant; 0-dırsa, matris cırlaşmışdır və tərsi yoxdur
A⁻¹
tərs matris: A · A⁻¹ = I (vahid matris)
A · v = λ · vdet(A − λ · I) = 0

Burada

v
məxsusi vektor (v ≠ 0)
λ
məxsusi qiymət
I
vahid matris

İkinci bərabərlik xarakteristik tənlikdir: (A − λI)v = 0 sisteminin sıfırdan fərqli həlli yalnız determinant 0 olanda var.

w = (Xᵀ X)⁻¹ Xᵀ y

Burada

X
n × d əlamətlər matrisi (birinci sütun birlərdir)
y
hədəf qiymətlər vektoru
w
kvadratik xətaların cəmini minimuma endirən əmsallar

pandas-ın əsasları: Series və DataFrame

Dərsə keç
h = (n − 1) · qQ(q) = x₍ₖ₎ + (h − k) · (x₍ₖ₊₁₎ − x₍ₖ₎)k = ⌊h⌋

Burada

q
səviyyə: 0,25 (birinci kvartil), 0,5 (median), 0,75 (üçüncü kvartil)
x₍ₖ₎
artan sıra ilə düzülmüş qiymətlərdən k-cısı (0-dan saymaqla)
h
sıralanmış verilənlərdə «kəsr mövqe»

pandas və NumPy susmaya görə kvantilləri iki qonşu qiymət arasında xətti interpolyasiya ilə hesablayır.

pandas ilə verilənlərin analizi

Dərsə keç
x̄_w = ∑ wᵢ · xᵢ / ∑ wᵢx̄_w = ∑ wᵢ · xᵢ / ∑ wᵢ

Burada

xᵢ
i-ci qrupun ortası (məsələn, orta çek)
wᵢ
qrupun çəkisi — adətən müşahidələrin sayı

Çəkili orta. pandas-da: np.average(x, weights=w) və ya sadəcə ümumi cəmi ümumi saya bölmək.

Δ% = (xₜ − xₜ₋₁) / xₜ₋₁ · 100%Δ% = (xₜ − xₜ₋₁) / xₜ₋₁ · 100%

Burada

xₜ
cari dövrün göstəricisi
xₜ₋₁
əvvəlki dövrün göstəricisi

Artım tempi; pandas-da pct_change() bunu hesablayır (100-ə vurmadan). Birinci dövr üçün əvvəlki qiymət yoxdur, ona görə NaN alınır.

matplotlib ilə vizuallaşdırma

Dərsə keç
k = ⌈log₂ n⌉ + 1h = 2 · IQR · n^(−1/3)

Burada

k
intervalların sayı (Sturges qaydası)
h
intervalın eni (Freedman–Diaconis qaydası), verilənlərin vahidi ilə
n
müşahidələrin sayı
IQR
kvartillərarası məsafə Q3 − Q1

Sturges normal paylanmaya yaxın və çox böyük olmayan verilənlər üçün yaxşıdır; Freedman–Diaconis kənar qiymətlərə davamlıdır. ax.hist(x, bins='fd') ikincisini avtomatik tətbiq edir.

fᵢ = nᵢ / (n · h)∑ fᵢ · h = 1fᵢ = nᵢ / (n · h)∑ fᵢ · h = 1

Burada

nᵢ
i-ci intervala düşən müşahidələr
fᵢ
sütunun hündürlüyü density=True rejimində (sıxlıq)
h
intervalın eni

ax.hist(x, density=True) sütunların sahələrinin cəmini 1 edir — belə histoqramı ehtimal sıxlığının əyrisi ilə müqayisə etmək olar.

Python ilə statistika

Dərsə keç
x̄ = (1/n) · ∑ xᵢs² = ∑ (xᵢ − x̄)² / (n − 1)s = √s²x̄ = (1/n) · ∑ xᵢs² = ∑ (xᵢ − x̄)² / (n − 1)s = √s²

Burada

n
seçmənin həcmi
s²
seçmə dispersiyası (vahidi — verilənlərin vahidinin kvadratı)
s
seçmə standart meyli (verilənlərlə eyni vahiddə); NumPy-da std(ddof=1)
[Q1 − 1,5 · IQR; Q3 + 1,5 · IQR]

Burada

Q1, Q3
birinci və üçüncü kvartil (25% və 75%)
IQR
Q3 − Q1, verilənlərin ortadakı yarısının eni

Tükinin qaydası: bu intervaldan kənardakı qiymətlər kənar qiymət (outlier) sayılır. Burada: 14,75 + 1,5 · 1,75 = 17,375, deməli, 45 kənar qiymətdir.

f(x) = 1 / (σ · √(2π)) · e^(−(x − μ)² / (2σ²))z = (x − μ) / σf(x) = 1 / (σ · √(2π)) · e^(−(x − μ)² / (2σ²))z = (x − μ) / σ

Burada

μ
paylanmanın ortası
σ
standart meyl (σ > 0)
f(x)
ehtimal sıxlığı; P(a < X < b) — əyri altında a ilə b arasındakı sahədir
z
z-bal: standart normal paylanmada (μ = 0, σ = 1) mövqe
SE = σ / √n ≈ s / √nSE = σ / √n ≈ s / √n

Burada

SE
ortanın standart xətası
σ, s
baş məcmunun və seçmənin standart meyli
x̄ ± t* · s / √nt* = t₁₋α/₂(n − 1)x̄ ± t* · s / √nt* = t₁₋α/₂(n − 1)

Burada

t*
t-paylanmasının kritik qiyməti; 95% üçün α = 0,05
n − 1
sərbəstlik dərəcələrinin sayı

Orta üçün 95% etibarlılıq intervalı. stats.t.ppf(0.975, df=n - 1) t*-ı, stats.t.interval isə bütün intervalı qaytarır.

t = (x̄₁ − x̄₂) / √(s₁²/n₁ + s₂²/n₂)t = (x̄₁ − x̄₂) / √(s₁²/n₁ + s₂²/n₂)

Burada

x̄₁, x̄₂
qrupların ortaları
s₁², s₂²
qrupların seçmə dispersiyaları
n₁, n₂
qrupların həcmi

Uelç t-statistikası: ortaların fərqi, onun standart xətasına bölünür. |t| nə qədər böyükdürsə, p o qədər kiçikdir.

r = ∑ (xᵢ − x̄)(yᵢ − ȳ) / √( ∑ (xᵢ − x̄)² · ∑ (yᵢ − ȳ)² )r = ∑ (xᵢ − x̄)(yᵢ − ȳ) / √( ∑ (xᵢ − x̄)² · ∑ (yᵢ − ȳ)² )

Burada

r
−1 ≤ r ≤ 1; işarə istiqaməti, |r| gücü göstərir
x̄, ȳ
hər dəyişənin ortası

scikit-learn ilə maşın öyrənməsi

Dərsə keç
MSE = (1/n) · ∑ (yᵢ − ŷᵢ)²RMSE = √MSER² = 1 − ∑ (yᵢ − ŷᵢ)² / ∑ (yᵢ − ȳ)²MSE = (1/n) · ∑ (yᵢ − ŷᵢ)²RMSE = √MSER² = 1 − ∑ (yᵢ − ŷᵢ)² / ∑ (yᵢ − ȳ)²

Burada

yᵢ, ŷᵢ
həqiqi qiymət və proqnoz
RMSE
hədəflə eyni vahiddə orta xəta (burada min manat)
R²
izah olunan variasiyanın payı: 1 — ideal, 0 — həmişə ortanı proqnozlaşdıran model səviyyəsi

Model əmsalları 1,48 və 11,06 tapıb — həqiqi 1,5 və 12-yə yaxındır. RMSE ≈ 9,8 verilənlərə qatdığımız küyün (σ = 10) səviyyəsidir: model siqnalı tam tutub, küyü isə proqnozlaşdırmaq mümkün deyil.

p = σ(z) = 1 / (1 + e^(−z))z = w · x + bp = σ(z) = 1 / (1 + e^(−z))z = w · x + b

Burada

σ(z)
sigmoid: istənilən ədədi (0; 1) aralığına salır, σ(0) = 0,5
p
nümunənin müsbət sinfə aid olma ehtimalı; p ≥ 0,5 olanda «1» proqnozlaşdırılır
G = 1 − ∑ₖ pₖ²Gsplit = (nL / n) · GL + (nR / n) · GRG = 1 − ∑ₖ pₖ²Gsplit = (nL / n) · GL + (nR / n) · GR

Burada

pₖ
düyündə k sinfinin payı
G
0 — düyün təmizdir (bir sinif), iki sinif üçün maksimum 0,5
nL, nR
sol və sağ övlad düyünlərdəki nümunələrin sayı
Accuracy = (TP + TN) / NPrecision = TP / (TP + FP)Recall = TP / (TP + FN)F1 = 2 · P · R / (P + R)Accuracy = (TP + TN) / NPrecision = TP / (TP + FP)Recall = TP / (TP + FN)F1 = 2 · P · R / (P + R)

Burada

Precision
«spam» dediklərimizin neçə faizi həqiqətən spamdır
Recall
bütün spamın neçə faizini tuta bildik
F1
precision və recall-un harmonik ortası
N
bütün nümunələrin sayı
CV = (1/k) · ∑ᵢ₌₁ᵏ scoreᵢCV = (1/k) · ∑ᵢ₌₁ᵏ scoreᵢ

Burada

k
qatların sayı, adətən 5 və ya 10
scoreᵢ
i-ci qat test olanda alınan nəticə

Elmi hesablamalar və şəkillərin emalı

Universitet

SciPy ilə elmi hesablamalar

Dərsə keç
A(r) = 2πr² + 2V/rA′(r) = 4πr − 2V/r² = 0 ⇒ r = ∛(V/(2π))h = 2rA(r) = 2πr² + 2V/rA′(r) = 4πr − 2V/r² = 0 ⇒ r = ∛(V/(2π))h = 2r

Burada

A(r)
bankanın tam səthinin sahəsi (sm²)
r
oturacağın radiusu (sm)
V
həcm (sm³; 330 ml = 330 sm³)
h
hündürlük (sm)

Minimumda törəmə sıfıra bərabərdir; ən qənaətli bankanın hündürlüyü diametrinə bərabərdir (h = 2r).

f(a) · f(b) < 0 ⇒ f(c) = 0, c ∈ (a; b)

Burada

a, b
parçanın ucları (brentq(f, a, b))
c
axtarılan kök

Yarıya bölmə parçanı ikiyə bölür və işarənin dəyişdiyi yarını saxlayır; Brent üsulu (brentq) daha sürətlidir, amma bu zəmanəti qoruyur.

∫ₐᵇ f(x) dx = F(b) − F(a)

Burada

F
ibtidai funksiya: F′(x) = f(x)
a, b
inteqrallamanın sərhədləri

Nyuton–Leybnis düsturu. quad üçün F lazım deyil: o, sahəni ədədi hesablayır (adaptiv Qauss–Kronrod kvadraturu) və xətanın qiymətləndirməsini də qaytarır.

dT/dt = −k · (T − Tₘ)T(t) = Tₘ + (T₀ − Tₘ) · e^(−kt)dT/dt = −k · (T − Tₘ)T(t) = Tₘ + (T₀ − Tₘ) · e^(−kt)

Burada

T
çayın temperaturu (°C)
Tₘ
mühitin (otağın) temperaturu
k
soyuma əmsalı (1/dəq)
T₀
t = 0 anındakı temperatur

Nyutonun soyuma qanunu: otaqla fərq nə qədər böyükdürsə, çay o qədər tez soyuyur. Dəqiq həll ədədi həlli yoxlamağa imkan verir.

y = y₀ + (y₁ − y₀) · (x − x₀)/(x₁ − x₀)y = y₀ + (y₁ − y₀) · (x − x₀)/(x₁ − x₀)

Burada

(x₀; y₀), (x₁; y₁)
x-in hər iki tərəfindəki iki ölçmə
x
qiymətin lazım olduğu nöqtə

İki qonşu nöqtə arasında xətti interpolyasiya — np.interp məhz bunu edir.

P(X = m) = C(n, m) · pᵐ · (1 − p)ⁿ⁻ᵐE(X) = npσ = √(np(1 − p))

Burada

n
sınaqların (sualların) sayı
m
uğurların sayı
p
bir sınaqda uğurun ehtimalı (burada 1/4)
C(n, m)
birləşmələrin sayı: n! / (m! · (n − m)!)

Binomial paylanma — stats.binom(n, p).

S(T₀, k) = ∑ (Tᵢ − T(tᵢ; T₀, k))² → min

Burada

(tᵢ; Tᵢ)
ölçmələr: zaman və temperatur
T(t; T₀, k)
modelin qiyməti
S
xətaların kvadratları cəmi

curve_fit(model, t, T, p0) ən yaxşı parametrləri və onların kovariasiya matrisini qaytarır; diaqonalın kvadrat kökü parametrlərin standart xətalarıdır.

SymPy: simvolik riyaziyyat

Dərsə keç
(a + b)² = a² + 2ab + b²a² − b² = (a − b)(a + b)a³ − b³ = (a − b)(a² + ab + b²)

Burada

a, b
istənilən ədəd və ya ifadə

Qısa vurma düsturları. expand onları soldan sağa (mötərizələri açır), factor sağdan sola (vuruqlara ayırır) tətbiq edir.

ax² + bx + c = 0D = b² − 4acx₁,₂ = (−b ± √D)/(2a)ax² + bx + c = 0D = b² − 4acx₁,₂ = (−b ± √D)/(2a)

Burada

a, b, c
əmsallar, a ≠ 0
D
diskriminant: D > 0 — iki kök, D = 0 — bir kök, D < 0 — həqiqi kök yoxdur

SymPy bu düsturu özü çıxarır: solve(a*x**2 + b*x + c, x) (kodun son sətri).

(u · v)′ = u′ · v + u · v′(e^(kx))′ = k · e^(kx)sin x = x − x³/3! + x⁵/5! − x⁷/7! + …(u · v)′ = u′ · v + u · v′(e^(kx))′ = k · e^(kx)sin x = x − x³/3! + x⁵/5! − x⁷/7! + …

Burada

u, v
x-dən asılı funksiyalar
k
sabit

Hasilin törəməsi, mürəkkəb funksiyanın törəməsi və sin x-in Teylor sırası. diff, integrate, limit, series bu qaydaları özü tətbiq edir.

y = f(a) + f′(a) · (x − a)

Burada

a
toxunma nöqtəsinin absisi
f′(a)
toxunanın bucaq əmsalı

Funksiyanın qrafikinə x = a nöqtəsində toxunanın tənliyi.

Pillow və OpenCV ilə şəkillərin emalı

Dərsə keç
L = 0,299 · R + 0,587 · G + 0,114 · B

Burada

R, G, B
pikselin qırmızı, yaşıl və mavi qiymətləri (0–255)
L
boz rəngdə parlaqlıq (0–255)

Pillow-un convert('L') və OpenCV-nin COLOR_BGR2GRAY çevrilməsi bu düsturla işləyir (ITU-R 601). Göz yaşıla ən həssasdır, ona görə onun çəkisi ən böyükdür.

h′ = h · w′/wk = min(Wmax/w; Hmax/h)h′ = h · w′/wk = min(Wmax/w; Hmax/h)

Burada

w, h
ilkin en və hündürlük (piksel)
w′, h′
yeni ölçülər
k
thumbnail((W_max, H_max)) üçün miqyas: şəkil hər iki çərçivəyə sığmalıdır

Nisbəti saxlamaqla ölçünü dəyişmək: resize istənilən ölçünü qəbul edir (nisbəti sən hesablayırsan), thumbnail isə nisbəti özü saxlayır və şəkli yerində kiçildir.

Süni intellekt və PyTorch

Universitet

Maşın öyrənməsinin əsas anlayışları

Dərsə keç
MSE = (1/n) · ∑ᵢ₌₁ⁿ (yᵢ − ŷᵢ)²MSE = (1/n) · ∑ᵢ₌₁ⁿ (yᵢ − ŷᵢ)²

Burada

n
nümunələrin sayı
yᵢ
i-ci nümunənin həqiqi qiyməti (etiket)
ŷᵢ
modelin proqnozu

Orta kvadratik xəta (mean squared error). Kvadrata yüksəltmə böyük səhvləri daha ağır cəzalandırır; vahidi etiketin vahidinin kvadratıdır.

CE = −∑ₖ₌₁ᴷ yₖ · ln pₖ = −ln pₜ

Burada

K
siniflərin sayı
yₖ
k sinfi düzgündürsə 1, əks halda 0 (one-hot)
pₖ
modelin k sinfinə verdiyi ehtimal
pₜ
düzgün sinfin ehtimalı

Çarpaz entropiya (cross-entropy). İki sinif üçün: BCE = −[y · ln p + (1 − y) · ln(1 − p)]. Düzgün sinfin ehtimalı 1-ə yaxınlaşdıqca itki 0-a yaxınlaşır.

θ ← θ − η · ∇L(θ)

Burada

θ
modelin bütün parametrləri (çəkilər və sürüşmələr)
η
öyrənmə sürəti, adətən 0,0001–0,1
∇L(θ)
itkinin hər parametrə görə xüsusi törəmələrindən ibarət qradiyent vektoru

Qradiyent enişinin yeniləmə qaydası. Hər təkrar bir addımdır; bütün öyrədici dəstdən bir dəfə keçməyə epoxa deyilir.

∂L/∂w = (2/n) · ∑ᵢ (ŷᵢ − yᵢ) · xᵢ∂L/∂b = (2/n) · ∑ᵢ (ŷᵢ − yᵢ)∂L/∂w = (2/n) · ∑ᵢ (ŷᵢ − yᵢ) · xᵢ∂L/∂b = (2/n) · ∑ᵢ (ŷᵢ − yᵢ)

Burada

w, b
xəttin bucaq əmsalı (çəki) və sərbəst həddi (sürüşmə)
ŷᵢ − yᵢ
i-ci nümunədə səhv
E[(y − f̂(x))²] = Bias[f̂(x)]² + Var[f̂(x)] + σ²

Burada

f̂(x)
təsadüfi öyrədici dəstdən öyrədilmiş modelin proqnozu
Bias
sistematik xəta: modelin çox sadə fərziyyələrindən yaranan orta səhv
Var
dispersiya: proqnozun konkret öyrədici dəstdən nə qədər asılı olduğu
σ²
verilənlərdəki aradan qaldırılmayan küy

MSE üçün sistematik xəta–dispersiya ayrılışı. Model mürəkkəbləşdikcə sistematik xəta azalır, dispersiya artır; ən yaxşı model cəmi minimuma endirir.

J(θ) = L(θ) + λ · ∑ⱼ θⱼ²

Burada

λ
requlyarlaşdırma gücü (hiperparametr, validasiya ilə seçilir)
∑ⱼ θⱼ²
çəkilərin kvadratları cəmi — böyük çəkiləri cəzalandırır

L2 requlyarlaşdırma (weight decay): model daha «hamar» funksiyalar seçir və küyü əzbərləməyə daha az meyl edir.

PyTorch: tenzorlar

Dərsə keç
numel = d₁ · d₂ · … · dₖmemory = numel · s

Burada

d₁ … dₖ
shape-in ölçüləri
numel
elementlərin sayı (x.numel())
s
bir elementin ölçüsü, bayt (x.element_size())
C = A @ BCᵢⱼ = ∑ₖ Aᵢₖ · Bₖⱼ(m × n) @ (n × p) → (m × p)

Burada

A, B
ölçüləri m × n və n × p olan matrislər
n
daxili ölçü — hər iki matrisdə eyni olmalıdır
Cᵢⱼ
A-nın i-ci sətri ilə B-nin j-ci sütununun skalyar hasili

Matris hasili neyron şəbəkələrin əsas əməliyyatıdır: (N, D) ölçülü girişləri (D, K) çəkilər matrisinə vurmaqla bütün paketi bir anda emal edirik. Daha çox ölçülü tenzorlarda @ son iki oxa tətbiq olunur, qalan oxlar isə paket oxları sayılır.

PyTorch: autograd və avtomatik törəmə

Dərsə keç
dL/dx = dL/dy · dy/dx∂L/∂w = ∂L/∂ŷ · ∂ŷ/∂wdL/dx = dL/dy · dy/dx∂L/∂w = ∂L/∂ŷ · ∂ŷ/∂w

Burada

L
itki (qrafın kökü)
y, ŷ
aralıq qiymətlər (qrafın daxili düyünləri)
x, w
yarpaqlar: girişlər və parametrlər

Mürəkkəb funksiyanın törəməsi lokal törəmələrin hasilinə bərabərdir. Bir dəyişən bir neçə yolla itkiyə təsir edirsə, bütün yollar üzrə hasillər toplanır: ∂L/∂x = ∑ₖ ∂L/∂yₖ · ∂yₖ/∂x.

σ(z) = 1 / (1 + e⁻ᶻ)σ′(z) = σ(z) · (1 − σ(z))σ(z) = 1 / (1 + e⁻ᶻ)σ′(z) = σ(z) · (1 − σ(z))

Burada

σ(z)
siqmoid funksiyası, qiymətləri (0; 1) aralığında
σ′(z)
onun törəməsi; ən böyük qiyməti z = 0-da 0,25-dir

İsbat: σ′(z) = e⁻ᶻ / (1 + e⁻ᶻ)² = σ(z) · e⁻ᶻ / (1 + e⁻ᶻ), sonuncu kəsr isə 1 − σ(z)-dir.

PyTorch: neyron şəbəkələrin qurulması

Dərsə keç
z = w · x + b = ∑ᵢ₌₁ⁿ wᵢxᵢ + ba = φ(z)

Burada

x
giriş vektoru (n əlamət)
w
çəkilər — hər girişin əhəmiyyəti
b
sürüşmə (bias) — aktivləşmə həddini sürüşdürür
φ
aktivasiya funksiyası (ReLU, siqmoid…)
a
neyronun çıxışı (aktivasiya)
ReLU(z) = max(0, z)σ(z) = 1 / (1 + e⁻ᶻ)tanh(z) = (eᶻ − e⁻ᶻ) / (eᶻ + e⁻ᶻ)ReLU(z) = max(0, z)σ(z) = 1 / (1 + e⁻ᶻ)tanh(z) = (eᶻ − e⁻ᶻ) / (eᶻ + e⁻ᶻ)

Burada

ReLU
mənfi qiymətləri sıfırlayır; törəməsi z > 0 üçün 1, z < 0 üçün 0
σ
siqmoid: qiymətlər (0; 1) aralığında, ehtimal kimi şərh olunur
tanh
hiperbolik tangens: qiymətlər (−1; 1) aralığında, sıfıra görə simmetrik
softmax(z)ᵢ = eᶻⁱ / ∑ⱼ₌₁ᴷ eᶻʲsoftmax(z)ᵢ = eᶻⁱ / ∑ⱼ₌₁ᴷ eᶻʲ

Burada

z
K sinif üçün xam ballar (logitlər)
softmax(z)ᵢ
i sinfinin ehtimalı; hamısı müsbətdir və cəmi 1-dir

Softmax çoxsinifli təsnifatda son qatın logitlərini ehtimallar paylanmasına çevirir.

Y = X · Wᵀ + bparams = (nin + 1) · nout

Burada

X
girişlər paketi, forma (N, nin)
W
çəkilər, forma (nout, nin) — layer.weight
b
sürüşmələr, forma (nout,) — layer.bias
Y
çıxışlar, forma (N, nout)

Hər çıxış neyronunun nin çəkisi və bir sürüşməsi var, buna görə tam əlaqəli qatda (nin + 1) · nout parametr olur.

PyTorch: modelin öyrədilməsi dövrü

Dərsə keç
steps per epoch = ⌈N / B⌉updates = epochs · ⌈N / B⌉steps per epoch = ⌈N / B⌉updates = epochs · ⌈N / B⌉

Burada

N
öyrədici dəstdəki nümunələrin sayı
B
paketin ölçüsü (batch size)
⌈ ⌉
yuxarı yuvarlaqlaşdırma: son natamam paket də bir addımdır
L = −zₜ + ln ∑ⱼ₌₁ᴷ eᶻʲ

Burada

z
modelin xam logitləri
t
düzgün sinfin nömrəsi

nn.CrossEntropyLoss log-softmax ilə çarpaz entropiyanı birləşdirir: −ln softmax(z)ₜ = −zₜ + ln ∑ eᶻʲ. Paket üçün itkilərin orta qiyməti götürülür.

mₜ = β₁·mₜ₋₁ + (1 − β₁)·gₜvₜ = β₂·vₜ₋₁ + (1 − β₂)·gₜ²θₜ = θₜ₋₁ − η · m̂ₜ / (√v̂ₜ + ε)mₜ = β₁·mₜ₋₁ + (1 − β₁)·gₜvₜ = β₂·vₜ₋₁ + (1 − β₂)·gₜ²θₜ = θₜ₋₁ − η · m̂ₜ / (√v̂ₜ + ε)

Burada

gₜ
t addımındakı qradiyent
mₜ, vₜ
qradiyentin və onun kvadratının sürüşən orta qiymətləri (impuls və miqyas)
m̂ₜ, v̂ₜ
başlanğıc sürüşməsi düzəldilmiş qiymətlər: mₜ/(1 − β₁ᵗ), vₜ/(1 − β₂ᵗ)
β₁, β₂, ε, η
PyTorch-da susmaya görə 0,9; 0,999; 10⁻⁸; 0,001

Adam optimallaşdırıcısı. Hər parametr öz addım ölçüsünü alır: qradiyenti daim böyük olan parametr ehtiyatla, kiçik olan isə daha cəsarətlə yenilənir. SGD-nin impulslu (momentum) variantı isə v ← μ·v + g, θ ← θ − η·v düsturu ilə işləyir.

accuracy = (1/N) · ∑ᵢ [argmax(zᵢ) = yᵢ]accuracy = (1/N) · ∑ᵢ [argmax(zᵢ) = yᵢ]

Burada

argmax(zᵢ)
i-ci nümunə üçün ən böyük logitin sinfi — proqnoz
[ … ]
şərt doğrudursa 1, əks halda 0

Konvolyusiya neyron şəbəkələri (CNN)

Dərsə keç
x′ = (x − μ) / σx′ = (x − μ) / σ

Burada

x
[0; 1] aralığındakı piksel qiyməti
μ, σ
kanalın öyrədici dəst üzrə orta qiyməti və standart meyli (MNIST üçün 0,1307 və 0,3081)

Normallaşdırmadan sonra girişlər təxminən sıfır ətrafında və vahid miqyasdadır — bu, qradiyent enişini sürətləndirir.

Y[i, j] = ∑ₘ ∑ₙ X[i + m, j + n] · K[m, n] + b

Burada

X
giriş şəkli (və ya əvvəlki qatın xəritəsi)
K
K × K ölçülü filtr — öyrədilən çəkilər
b
filtrin sürüşməsi
Y[i, j]
əlamətlər xəritəsinin (i, j) elementi

Bir kanal üçün 2D konvolyusiya. Bir neçə giriş kanalı olanda cəm kanallar üzrə də aparılır.

O = ⌊(W − K + 2P) / S⌋ + 1O = ⌊(W − K + 2P) / S⌋ + 1

Burada

W
girişin eni (və ya hündürlüyü), piksel
K
filtrin ölçüsü
P
doldurma (padding): kənarlara əlavə olunan sıfır piksellər
S
addım (stride): filtr neçə piksel sürüşür
O
çıxışın eni; ⌊ ⌋ aşağı yuvarlaqlaşdırmadır

Çıxış ölçüsü düsturu. Hündürlük üçün də eynidir. Pooling üçün adətən P = 0 və S = K götürülür.

params = (K · K · Cin + 1) · Cout

Burada

Cin, Cout
giriş və çıxış kanallarının sayı

Konvolyusiya qatının parametrləri şəklin ölçüsündən asılı deyil — çəkilər bütün mövqelərdə paylaşılır.

Transformerlər və böyük dil modelləri

Dərsə keç
Q = X · WQK = X · WKV = X · WV

Burada

X
(T, d) ölçülü tokenlərin vektorları
WQ, WK, WV
öyrədilən (d, dₖ) matrislər
Attention(Q, K, V) = softmax(Q · Kᵀ / √dₖ) · VAttention(Q, K, V) = softmax(Q · Kᵀ / √dₖ) · V

Burada

Q · Kᵀ
(T, T) ballar matrisi: hər sorğunun hər açarla oxşarlığı
√dₖ
miqyas əmsalı, dₖ — açar vektorunun ölçüsü
softmax
hər sətirdə tətbiq olunur: diqqət çəkiləri müsbətdir və cəmi 1-dir
V
qiymətlər; nəticə onların çəkili ortasıdır

Miqyaslı skalyar hasil diqqəti (scaled dot-product attention).

MultiHead(X) = Concat(head₁, …, headₕ) · WOheadᵢ = Attention(X·WQⁱ, X·WKⁱ, X·WVⁱ)

Burada

h
başların sayı; hər başın ölçüsü d / h-dir
WO
başların birləşmiş çıxışını qarışdıran (d, d) matris

Hər baş fərqli münasibətə «diqqət yetirməyi» öyrənə bilər: biri qrammatik əlaqələrə, digəri əvəzliyin kimə aid olduğuna. Parametrlər: WQ, WK, WV, WO üçün 4 · d² çəki və 4 · d sürüşmə.

PE(pos, 2i) = sin(pos / 10000^(2i/d))PE(pos, 2i + 1) = cos(pos / 10000^(2i/d))PE(pos, 2i) = sin(pos / 10000^(2i/d))PE(pos, 2i + 1) = cos(pos / 10000^(2i/d))

Burada

pos
tokenin mövqeyi: 0, 1, 2, …
i
vektor komponentləri cütünün nömrəsi; kiçik i — sürətli, böyük i — yavaş rəqs
d
embeddinqin ölçüsü
L = −(1/T) · ∑ₜ₌₁ᵀ ln p(xₜ₊₁ | x₁, …, xₜ)PPL = eᴸL = −(1/T) · ∑ₜ₌₁ᵀ ln p(xₜ₊₁ | x₁, …, xₜ)PPL = eᴸ

Burada

xₜ
mətndəki t-ci token
p(xₜ₊₁ | x₁, …, xₜ)
əvvəlki tokenlərə görə modelin düzgün növbəti tokenə verdiyi ehtimal
PPL
perpleksiya; nə qədər kiçikdirsə, model bir o qədər yaxşıdır
pᵢ = exp(zᵢ / τ) / ∑ⱼ exp(zⱼ / τ)pᵢ = exp(zᵢ / τ) / ∑ⱼ exp(zⱼ / τ)

Burada

τ
temperatur: τ < 1 — daha əmin və təkrarlanan, τ > 1 — daha müxtəlif və riskli mətn

Temperaturlu softmax ilə növbəti tokenin seçilməsi.