Когда ты набираешь сообщение на телефоне, клавиатура подсказывает следующее слово: пишешь «До», и она предлагает «завтра». Большая языковая модель — это, по сути, гораздо более мощная версия той же идеи. В этом уроке ты заглянешь внутрь ChatGPT, Claude, Gemini, Copilot и похожих ассистентов и поймёшь и их силу, и их типичные ошибки.
Большая языковая модель (LLM)Определение
Нейронная сеть с миллиардами параметров, обученная на огромном объёме текста предсказывать следующий фрагмент текста. На таких моделях построены чат-ассистенты.
Токены: как модель читает текст
Модель читает не буквы и не целые слова, а токены — фрагменты текста. Токеном может быть частое слово, часть длинного слова, слово вместе с пробелом перед ним или знак препинания. Каждый токен превращается в число, и нейронная сеть работает с этими числами.
Text: Tokenization is unbelievably useful!
Tokens: Token | ization | is | un | believ | ably | useful | !
→ 8 tokens for 4 words and 1 sign
IDs: each token becomes a number, e.g. 'useful' → 5505В английском языке один токен в среднем равен примерно трём четвертям слова. Слова в азербайджанском, русском и турецком языках часто делятся на большее число частей, поэтому один и тот же текст на этих языках обычно занимает больше токенов. Это важно: лимиты и цены моделей измеряются в токенах.
Чтобы читать дальше, зарегистрируйся бесплатно
Остальные разделы урока, тест и заметки открываются с аккаунтом Educora. Регистрация занимает минуту, а прогресс сохраняется на всех твоих устройствах.
Единственная задача: предсказать следующий токен
Всё, что делает большая языковая модель, вытекает из одного умения. Глядя на уже имеющиеся токены, она вычисляет вероятность каждого возможного следующего токена, выбирает один, добавляет его к тексту и повторяет. Так, по кусочку, возникает даже длинный, хорошо выстроенный ответ.
| Возможный следующий токен | Вероятность |
|---|---|
| Баку | 92 % |
| город | 4 % |
| все остальные токены | 4 % |
Модель не всегда берёт самый вероятный токен. Параметр температура добавляет управляемую долю случайности: при низкой температуре ответы предсказуемые и повторяемые, при высокой — более разнообразные и творческие. Поэтому на один и тот же вопрос можно получить разные ответы.
text = 'the cat sat on the mat . the cat ate . the dog sat .'
words = text.split()
counts = {}
for current, following in zip(words, words[1:]):
counts.setdefault(current, {})
counts[current][following] = counts[current].get(following, 0) + 1
def next_word_probs(word):
options = counts[word]
total = sum(options.values())
return {w: c / total for w, c in options.items()}
for w, p in next_word_probs('the').items():
print(f'the -> {w}: {p:.0%}')
sentence = ['the']
for _ in range(5):
probs = next_word_probs(sentence[-1])
sentence.append(max(probs, key=probs.get))
print(' '.join(sentence))Ожидаемый результат
the -> cat: 50% the -> mat: 25% the -> dog: 25% the cat sat on the cat
Обучение и инференс
| Этап | Что происходит | Параметры |
|---|---|---|
| Предобучение (pre-training) | Модель читает огромный объём текста — книги, сайты, код — и учится предсказывать следующий токен. Это занимает недели и даже месяцы на больших кластерах специализированных чипов. | Меняются |
| Дообучение (fine-tuning) | Люди показывают модели хорошие примеры и оценивают её ответы (обучение с подкреплением на основе отзывов людей, RLHF). Модель учится следовать инструкциям, быть полезной и отказываться от вредных запросов. | Меняются |
| Инференс (применение) | Ты отправляешь сообщение, готовая модель вычисляет ответ токен за токеном. | Не меняются |
Отсюда два важных следствия. Во-первых, знания модели заканчиваются на дате среза знаний (knowledge cutoff) — дате, на которой обрываются обучающие данные. Некоторые ассистенты умеют искать в интернете или читать загруженные тобой файлы — так в разговор попадает свежая информация. Во-вторых, во время разговора модель у тебя не учится: её параметры остаются прежними. Будут ли разговоры потом использоваться для обучения будущих моделей, зависит от сервиса и твоих настроек.
Контекстное окно
Контекстное окно — максимальное число токенов, которое модель может учитывать одновременно: твои сообщения, её ответы и добавленные документы. У современных моделей оно составляет от десятков тысяч до примерно миллиона токенов. Когда разговор становится длиннее окна, самые ранние части выпадают или сокращаются, и модель фактически их «забывает». Новый чат начинается с чистого листа, если только у сервиса нет функции памяти, которая сохраняет заметки и добавляет их в контекст.
Почему модели галлюцинируют
Галлюцинация — гладкий и уверенный, но ложный ответ: несуществующая книга, неверная дата, выдуманная цитата или ссылка. Это происходит потому, что модель создаёт самое правдоподобное продолжение, а не проверенный факт. Даже если в обучающих данных было мало сведений по теме, модель всё равно пишет связный текст вместо «я не знаю». Больше всего рискуют редкие факты, точные числа, цитаты, ссылки на источники и недавние события.
Провоцирует галлюцинацию
Prompt:
Give me 3 research articles about AI in
Azerbaijani schools, with authors and links.
Answer:
1. J. Smith, K. Lee (2019). AI in Baku
classrooms. Journal of Educational AI, 12(3).
https://doi.org/...
→ looks real, but may not exist at allБолее безопасный запрос
Prompt:
Where can I search for research on AI in
Azerbaijani schools? Suggest databases and
search terms. Do not invent references;
say when you are not sure.
Answer:
Try Google Scholar with terms such as ...
→ you find and check the real sources yourselfПрактика: испытай ассистента
Спроси о том, что хорошо знаешь
Например, о своём городе, школе или любимом предмете. Отметь каждую ошибку, даже мелкую.
Задай один вопрос дважды
Открой два новых чата и сравни ответы. Различия показывают, что текст генерируется, а не берётся из готовой базы.
Спроси о совсем недавнем событии
Посмотри, упомянет ли ассистент дату среза знаний или поищет в интернете.
Попроси источники и проверь их
Найди каждую названную книгу или статью. Отметь, какие существуют на самом деле.
Напиши короткий вывод
Где ассистент был надёжен, а где галлюцинировал?
Запомни
- Большая языковая модель делит текст на токены и пишет ответ, раз за разом предсказывая следующий токен.
- Параметры меняются при обучении и не меняются во время разговора (инференса).
- Знания модели заканчиваются на дате среза; поиск в интернете и загруженные файлы могут добавить свежие сведения.
- Контекстное окно — предел токенов, которые модель видит сразу; всё, что за ним, «забывается».
- Галлюцинация — правдоподобный, но ложный ответ; всегда проверяй ссылки и числа.