Как работают большие языковые модели

Токены, предсказание следующего токена, обучение и инференс, контекстное окно и причины галлюцинаций — простой взгляд внутрь чат-ассистентов.

  • Начальный
  • 16 мин
  • 10 вопросов
  • Урок 3 из 16

В этом уроке ты узнаешь

  • Объяснять, что такое токен и как модель создаёт текст
  • Отличать обучение от инференса
  • Понимать, на что влияют контекстное окно и дата среза знаний
  • Объяснять причины галлюцинаций и уметь их проверять

Когда ты набираешь сообщение на телефоне, клавиатура подсказывает следующее слово: пишешь «До», и она предлагает «завтра». Большая языковая модель — это, по сути, гораздо более мощная версия той же идеи. В этом уроке ты заглянешь внутрь ChatGPT, Claude, Gemini, Copilot и похожих ассистентов и поймёшь и их силу, и их типичные ошибки.

Большая языковая модель (LLM)Определение

Нейронная сеть с миллиардами параметров, обученная на огромном объёме текста предсказывать следующий фрагмент текста. На таких моделях построены чат-ассистенты.

Токены: как модель читает текст

Модель читает не буквы и не целые слова, а токены — фрагменты текста. Токеном может быть частое слово, часть длинного слова, слово вместе с пробелом перед ним или знак препинания. Каждый токен превращается в число, и нейронная сеть работает с этими числами.

Text
Text:    Tokenization is unbelievably useful!
Tokens:  Token | ization | is | un | believ | ably | useful | !
         → 8 tokens for 4 words and 1 sign
IDs:     each token becomes a number, e.g. 'useful' → 5505
Примерное разбиение. У каждого семейства моделей свой токенизатор, поэтому точные фрагменты и номера различаются.

В английском языке один токен в среднем равен примерно трём четвертям слова. Слова в азербайджанском, русском и турецком языках часто делятся на большее число частей, поэтому один и тот же текст на этих языках обычно занимает больше токенов. Это важно: лимиты и цены моделей измеряются в токенах.

Чтобы читать дальше, зарегистрируйся бесплатно

Остальные разделы урока, тест и заметки открываются с аккаунтом Educora. Регистрация занимает минуту, а прогресс сохраняется на всех твоих устройствах.

Единственная задача: предсказать следующий токен

Всё, что делает большая языковая модель, вытекает из одного умения. Глядя на уже имеющиеся токены, она вычисляет вероятность каждого возможного следующего токена, выбирает один, добавляет его к тексту и повторяет. Так, по кусочку, возникает даже длинный, хорошо выстроенный ответ.

Возможный следующий токенВероятность
Баку92 %
город4 %
все остальные токены4 %
Условные числа для текста «Столица Азербайджана — …».

Модель не всегда берёт самый вероятный токен. Параметр температура добавляет управляемую долю случайности: при низкой температуре ответы предсказуемые и повторяемые, при высокой — более разнообразные и творческие. Поэтому на один и тот же вопрос можно получить разные ответы.

Python
text = 'the cat sat on the mat . the cat ate . the dog sat .'
words = text.split()

counts = {}
for current, following in zip(words, words[1:]):
    counts.setdefault(current, {})
    counts[current][following] = counts[current].get(following, 0) + 1

def next_word_probs(word):
    options = counts[word]
    total = sum(options.values())
    return {w: c / total for w, c in options.items()}

for w, p in next_word_probs('the').items():
    print(f'the -> {w}: {p:.0%}')

sentence = ['the']
for _ in range(5):
    probs = next_word_probs(sentence[-1])
    sentence.append(max(probs, key=probs.get))
print(' '.join(sentence))
Ожидаемый результат
the -> cat: 50%
the -> mat: 25%
the -> dog: 25%
the cat sat on the cat
Крошечная «языковая модель», которая лишь считает, какое слово за каким идёт. Она смотрит только на одно предыдущее слово, поэтому быстро начинает ходить по кругу. Настоящая LLM с помощью механизма внимания (attention) трансформера учитывает тысячи предыдущих токенов сразу.

Обучение и инференс

ЭтапЧто происходитПараметры
Предобучение (pre-training)Модель читает огромный объём текста — книги, сайты, код — и учится предсказывать следующий токен. Это занимает недели и даже месяцы на больших кластерах специализированных чипов.Меняются
Дообучение (fine-tuning)Люди показывают модели хорошие примеры и оценивают её ответы (обучение с подкреплением на основе отзывов людей, RLHF). Модель учится следовать инструкциям, быть полезной и отказываться от вредных запросов.Меняются
Инференс (применение)Ты отправляешь сообщение, готовая модель вычисляет ответ токен за токеном.Не меняются

Отсюда два важных следствия. Во-первых, знания модели заканчиваются на дате среза знаний (knowledge cutoff) — дате, на которой обрываются обучающие данные. Некоторые ассистенты умеют искать в интернете или читать загруженные тобой файлы — так в разговор попадает свежая информация. Во-вторых, во время разговора модель у тебя не учится: её параметры остаются прежними. Будут ли разговоры потом использоваться для обучения будущих моделей, зависит от сервиса и твоих настроек.

Контекстное окно

Контекстное окно — максимальное число токенов, которое модель может учитывать одновременно: твои сообщения, её ответы и добавленные документы. У современных моделей оно составляет от десятков тысяч до примерно миллиона токенов. Когда разговор становится длиннее окна, самые ранние части выпадают или сокращаются, и модель фактически их «забывает». Новый чат начинается с чистого листа, если только у сервиса нет функции памяти, которая сохраняет заметки и добавляет их в контекст.

Почему модели галлюцинируют

Галлюцинация — гладкий и уверенный, но ложный ответ: несуществующая книга, неверная дата, выдуманная цитата или ссылка. Это происходит потому, что модель создаёт самое правдоподобное продолжение, а не проверенный факт. Даже если в обучающих данных было мало сведений по теме, модель всё равно пишет связный текст вместо «я не знаю». Больше всего рискуют редкие факты, точные числа, цитаты, ссылки на источники и недавние события.

Провоцирует галлюцинацию

Prompt:
Give me 3 research articles about AI in
Azerbaijani schools, with authors and links.

Answer:
1. J. Smith, K. Lee (2019). AI in Baku
   classrooms. Journal of Educational AI, 12(3).
   https://doi.org/...

→ looks real, but may not exist at all

Более безопасный запрос

Prompt:
Where can I search for research on AI in
Azerbaijani schools? Suggest databases and
search terms. Do not invent references;
say when you are not sure.

Answer:
Try Google Scholar with terms such as ...

→ you find and check the real sources yourself
Чаще всего модель выдумывает детали, когда у неё просят точные ссылки. Спрашивай, где искать источники, а затем проверяй их сам.

Практика: испытай ассистента

  1. Спроси о том, что хорошо знаешь

    Например, о своём городе, школе или любимом предмете. Отметь каждую ошибку, даже мелкую.

  2. Задай один вопрос дважды

    Открой два новых чата и сравни ответы. Различия показывают, что текст генерируется, а не берётся из готовой базы.

  3. Спроси о совсем недавнем событии

    Посмотри, упомянет ли ассистент дату среза знаний или поищет в интернете.

  4. Попроси источники и проверь их

    Найди каждую названную книгу или статью. Отметь, какие существуют на самом деле.

  5. Напиши короткий вывод

    Где ассистент был надёжен, а где галлюцинировал?

Запомни

  • Большая языковая модель делит текст на токены и пишет ответ, раз за разом предсказывая следующий токен.
  • Параметры меняются при обучении и не меняются во время разговора (инференса).
  • Знания модели заканчиваются на дате среза; поиск в интернете и загруженные файлы могут добавить свежие сведения.
  • Контекстное окно — предел токенов, которые модель видит сразу; всё, что за ним, «забывается».
  • Галлюцинация — правдоподобный, но ложный ответ; всегда проверяй ссылки и числа.
Заметил ошибку или неточность в уроке?

Проверь себя

Вопросов: 10. Каждый правильный ответ приносит XP.

Вопрос 1 / 10

Вопрос 1 / 10. Что делает большая языковая модель на каждом шаге, когда пишет ответ?