Как машинное обучение учится на данных

Как ты научился отличать кошку от собаки? Никто не давал тебе список правил вроде «если уши острые, а усы длинные — это кошка». Ты просто видел много кошек и собак, кто-то говорил, где кто, а мозг сам нашёл различия. Машинное обучение работает удивительно похоже: вместо того чтобы писать правила, мы показываем компьютеру примеры и позволяем ему самому найти закономерность.

Данные: признаки и метки

Допустим, мы хотим предсказывать стоимость поездки на такси в Баку. Каждая прошлая поездка — это пример. То, что мы знаем до поездки, — расстояние, время суток, день недели — это признаки. То, что мы хотим предсказать, — стоимость — это метка. Таблица таких примеров называется обучающими данными.

Три вида обучения

Большая часть ИИ, с которым ты сталкиваешься каждый день, использует обучение с учителем. Чат-ассистенты сочетают несколько методов — это ты увидишь в следующем уроке.

Как учится модель: угадай, проверь, поправь

Наша модель — прямая: стоимость = w · км + b. Здесь w — цена километра, b — стоимость посадки; это два параметра. Сначала модель ничего не знает: w = 0 и b = 0, и все её прогнозы неверны. Обучение — это цикл:

1. 1
   Угадай

   Модель предсказывает стоимость каждой поездки из обучающих данных.

2. 2
   Проверь

   Сравнивает каждый прогноз с настоящей стоимостью и вычисляет среднюю ошибку (здесь — среднее квадратов разностей).

3. 3
   Поправь

   Чуть-чуть меняет w и b в ту сторону, где ошибка меньше. Размер этого шага называется скоростью обучения.

4. 4
   Повтори

   Повторяет цикл сотни или тысячи раз, пока ошибка не перестанет уменьшаться.

km = [1, 2, 3, 4, 5]
fare = [2.0, 2.6, 3.0, 3.4, 4.0]

w, b = 0.0, 0.0   # the model: fare = w * km + b
lr = 0.02         # learning rate: the size of each small step

for step in range(2001):
    grad_w = grad_b = 0.0
    for x, y in zip(km, fare):
        error = (w * x + b) - y
        grad_w += 2 * error * x / len(km)
        grad_b += 2 * error / len(km)
    w -= lr * grad_w
    b -= lr * grad_b
    if step % 500 == 0:
        loss = sum((w * x + b - y) ** 2 for x, y in zip(km, fare)) / len(km)
        print(f'step {step:4d}: w = {w:.3f}, b = {b:.3f}, error = {loss:.4f}')

print(f'Prediction for 8 km: {w * 8 + b:.2f} manat')

step    0: w = 0.398, b = 0.120, error = 2.8551
step  500: w = 0.492, b = 1.516, error = 0.0036
step 1000: w = 0.480, b = 1.559, error = 0.0032
step 1500: w = 0.480, b = 1.560, error = 0.0032
step 2000: w = 0.480, b = 1.560, error = 0.0032
Prediction for 8 km: 5.40 manat

Модель открыла правило, спрятанное в данных: примерно 0,48 маната за километр плюс 1,56 маната за посадку. Это правило никто не писал — оно получено из примеров. Теперь модель может предсказать поездку, которой никогда не видела: 8 км → 5,40 маната. Весь современный ИИ, от спам-фильтра до чат-ассистента, учится по тому же циклу — просто с гораздо большим числом параметров и данных.

Нейронные сети и глубокое обучение

У прямой два параметра: для такси этого хватает, но не для распознавания лица или написания предложения. Для таких задач используют нейронные сети — множество простых элементов (искусственных нейронов), расположенных слоями. Каждый элемент умножает входные значения на веса, складывает их и передаёт результат дальше. Сеть с большим числом слоёв называют глубокой, отсюда и термин глубокое обучение. Веса подбираются тем же циклом «угадай — проверь — поправь».

Качество данных и переобучение

Модель не может быть лучше своих данных. Если все поездки-примеры были днём, модель не узнает, что ночью цены могут быть другими. Если в данных есть ошибки или в них в основном примеры одного типа, модель выучит и эти ошибки.

Training photos for a 'cat' detector:

20 photos
all of orange cats
all taken indoors, on a sofa

→ the model learns: orange + sofa = cat
→ a grey cat in a garden: 'not a cat'

Training photos for a 'cat' detector:

20 000 photos
cats of every colour and breed
indoors and outdoors, day and night
+ many photos without cats

→ the model learns ears, eyes, whiskers, shape
→ a grey cat in a garden: 'cat'

Ещё одна ловушка — переобучение: модель запоминает обучающие примеры вместо того, чтобы уловить общую закономерность, — как ученик, который выучил наизусть ответы прошлогодней контрольной и провалил новую. Чтобы это заметить, часть данных всегда откладывают в тестовую выборку и проверяют модель на примерах, которых она никогда не видела.

Практика

km = [1, 2, 3, 4, 5]
fare = [2.0, 2.6, 3.0, 3.4, 4.0]
w, b = 0.5, 1.5
total = 0
# add the squared error of every trip to total,
# then print total / len(km) with 4 decimals

0.0040