Maşın öyrənməsinin əsas anlayışları

Təsəvvür et ki, Bakıda mənzilin qiymətini onun sahəsinə, otaq sayına və rayonuna görə proqnozlaşdıran proqram yazmalısan. Bütün qaydaları əl ilə yazmaq mümkün deyil: «əgər Nəsimi rayonudursa və sahə 80 m²-dən böyükdürsə...» kimi şərtlərin sonu görünmür. Maşın öyrənməsi başqa yol təklif edir: kompüterə satılmış mənzillərin minlərlə nümunəsini veririk, o isə qaydanı verilənlərdən özü öyrənir. Bu dərs bütün modulun, yəni neyron şəbəkələrin, CNN-lərin və transformerlərin riyazi bünövrəsidir.

Öyrənmənin növləri, əlamətlər və etiketlər

Hər nümunə əlamətlər (features) vektoru x ilə təsvir olunur: mənzil üçün sahə, otaq sayı, mərtəbə. Proqnozlaşdırmaq istədiyimiz kəmiyyət etiketdir (label) y: qiymət. n nümunə və d əlamət olanda verilənlər n × d ölçülü X matrisi və uzunluğu n olan y vektoru kimi saxlanılır. Etiket ədəddirsə, tapşırıq reqressiya, sinifdirsə (spam / spam deyil) — təsnifat adlanır.

Verilənlərin bölünməsi: öyrədici, validasiya və test dəstləri

Modelin əsl yoxlaması onun görmədiyi verilənlərdir. Buna görə verilənləri təsadüfi qarışdırıb üç hissəyə bölürük (tipik nisbət 70/15/15 və ya 80/10/10):

• Öyrədici dəst (training set) — parametrlər yalnız bunun üzərində öyrədilir.
• Validasiya dəsti — hiperparametrləri (öyrənmə sürəti, modelin ölçüsü) seçmək və öyrənməni vaxtında dayandırmaq üçün.
• Test dəsti — ən sonda, bir dəfə: modelin real dünyadakı keyfiyyətinin qərəzsiz qiymətləndirilməsi.

import numpy as np

rng = np.random.default_rng(42)
idx = rng.permutation(10)
train, val, test = idx[:6], idx[6:8], idx[8:]
print('train:', train)
print('val:  ', val)
print('test: ', test)

train: [5 6 0 7 3 2]
val:   [4 9]
test:  [1 8]

İtki funksiyaları

Modelin nə qədər səhv etdiyini bir ədədlə ölçmək lazımdır — bu ədədi itki funksiyası L verir. Öyrənmə itkini minimuma endirən parametrləri axtarmaqdır. Reqressiyada adətən orta kvadratik xəta, təsnifatda isə çarpaz entropiya işlədilir.

import numpy as np

y = np.array([3.0, 5.0, 2.5])
y_hat = np.array([2.5, 5.0, 3.5])
mse = np.mean((y - y_hat) ** 2)
print(f'MSE = {mse:.4f}')

p = np.array([0.7, 0.2, 0.1])
print(f'CE (true class 0) = {-np.log(p[0]):.4f}')
print(f'CE (true class 2) = {-np.log(p[2]):.4f}')

MSE = 0.4167
CE (true class 0) = 0.3567
CE (true class 2) = 2.3026

Qradiyent enişi və öyrənmə sürəti

Dumanlı dağda aşağı enmək istədiyini təsəvvür et: ətrafı görmürsən, amma ayağının altındakı yamacı hiss edirsən. Ən dik eniş istiqamətində kiçik addım atırsan və bunu təkrarlayırsan. Qradiyent ∇L itkinin ən sürətlə artdığı istiqaməti göstərir, deməli, onun əksinə getmək lazımdır. Addımın uzunluğunu öyrənmə sürəti η müəyyən edir.

Xətti reqressiyada ŷᵢ = w · xᵢ + b və L = MSE-dir. Zəncir qaydası ilə törəmə alsaq, (ŷᵢ − yᵢ)² ifadəsinin w-yə görə törəməsi 2(ŷᵢ − yᵢ) · xᵢ, b-yə görə isə 2(ŷᵢ − yᵢ) olur. Bütün nümunələr üzrə orta qiymət götürürük:

İndi eyni ideyanı 50 nöqtəli sintetik verilənlərə tətbiq edək. Verilənlər y = 3x + 4 düzxəttindən küy əlavə etməklə yaradılıb; model w və b-ni heç nə bilmədən, sıfırdan başlayaraq tapmalıdır. Kodu işə sal — itki qrafiki avtomatik göstəriləcək.

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(42)
x = rng.uniform(0, 5, size=50)
y = 3 * x + 4 + rng.normal(0, 1, size=50)

w, b, lr = 0.0, 0.0, 0.05
losses = []
for epoch in range(500):
    error = (w * x + b) - y
    losses.append(np.mean(error ** 2))
    dw = 2 * np.mean(error * x)
    db = 2 * np.mean(error)
    w -= lr * dw
    b -= lr * db
    if epoch % 100 == 0:
        print(f'epoch {epoch:3d}  loss {losses[-1]:.4f}')

print(f'w = {w:.3f}, b = {b:.3f}')
plt.plot(losses)
plt.yscale('log')
plt.xlabel('epoch')
plt.ylabel('MSE loss')
plt.show()

epoch   0  loss 158.9249
epoch 100  loss 0.6019
epoch 200  loss 0.5740
epoch 300  loss 0.5735
epoch 400  loss 0.5735
w = 3.024, b = 3.769

Praktikada qradiyent hər addımda bütün verilənlər üzrə deyil, B ölçülü kiçik paket (mini-batch, məsələn, B = 32) üzrə hesablanır. Buna stoxastik qradiyent enişi (SGD) deyilir: addımlar daha küylü, amma çox ucuzdur, küy isə bəzən pis lokal minimumlardan çıxmağa kömək edir.

Həddən artıq uyğunlaşma, zəif uyğunlaşma və sistematik xəta–dispersiya

Çox sadə model verilənlərdəki qanunauyğunluğu tuta bilmir — bu zəif uyğunlaşmadır (underfitting). Çox mürəkkəb model isə qanunauyğunluqla birlikdə təsadüfi küyü də əzbərləyir: öyrədici dəstdə səhvi demək olar ki, sıfırdır, yeni verilənlərdə isə böyükdür — bu həddən artıq uyğunlaşmadır (overfitting). Aşağıdakı kodda sin(2πx) funksiyasından 15 küylü nöqtəyə müxtəlif dərəcəli çoxhədlilər uyğunlaşdırılır:

import numpy as np
from numpy.polynomial import Polynomial

rng = np.random.default_rng(1)
x_train = np.sort(rng.uniform(0, 1, 15))
x_val = np.sort(rng.uniform(0, 1, 15))
f = lambda x: np.sin(2 * np.pi * x)
y_train = f(x_train) + rng.normal(0, 0.2, 15)
y_val = f(x_val) + rng.normal(0, 0.2, 15)

for deg in [1, 3, 9, 12]:
    model = Polynomial.fit(x_train, y_train, deg)
    train_mse = np.mean((model(x_train) - y_train) ** 2)
    val_mse = np.mean((model(x_val) - y_val) ** 2)
    print(f'degree {deg:2d}: train {train_mse:.3f}, validation {val_mse:.3f}')

degree  1: train 0.264, validation 0.235
degree  3: train 0.032, validation 0.037
degree  9: train 0.008, validation 1.894
degree 12: train 0.005, validation 67.532