Кодирование текстовой информации

Когда ты набираешь на клавиатуре «Salam», компьютер запоминает не буквы, а числа: 83, 97, 108, 97, 109. На экране снова видны буквы, потому что программа рисует знак, соответствующий каждому числу. Но иногда в тексте от друга вместо азербайджанской буквы «ə» появляются странные значки вроде «É™». В этом уроке разберёмся, как компьютер кодирует текст и откуда берутся такие ошибки.

В уроке «Измерение информации: бит, байт и единицы измерения» мы изучили формулу I = K · i, а теперь применим её к настоящим текстам. Тема часто встречается на вступительном экзамене: в четырёх вступительных экзаменах 2025–2026 годов пять заданий касались кодирования текста (объёмы в ASCII и UNICODE, мощность алфавита, слова в 64-символьном алфавите, передача текста в UNICODE по каналу), а в одном задании на обработку текста слова выбирались по их объёму в UNICODE.

Кодовая таблица: каждому символу — число

ASCII: один символ — один байт

ASCII (Американский стандартный код для обмена информацией) создан в 1963 году. В нём 128 кодов (0–127): 0–31 — управляющие символы (например, переход на новую строку), 32 — пробел, 48–57 — цифры, 65–90 — заглавные, 97–122 — строчные латинские буквы. В компьютере каждый символ ASCII занимает 1 байт (8 бит). Коды 128–255 использовали для национальных букв: для кириллицы появились таблицы Windows-1251 и KOI8-R, для турецкого языка — Windows-1254.

word = "INFO"
print([ord(c) for c in word])
print(chr(66) + chr(73) + chr(84))
print(ord("a") - ord("A"), ord("ə"))

[73, 78, 70, 79]
BIT
32 601

UNICODE: все языки в одной таблице

8-битные таблицы разных стран не совпадали: один и тот же код в одной таблице означал одну букву, а в другой — другую. Поэтому в 1991 году был создан стандарт UNICODE. В нём отдельный номер получают буквы всех письменностей мира, математические знаки и даже эмодзи — сегодня более 150 тысяч символов. Первые 128 кодов совпадают с ASCII: «A» по-прежнему 65, а номер буквы «ə» — U+0259, то есть 601.

В школьных задачах и заданиях DİM «UNICODE» означает 16 бит (2 байта) на символ: 2¹⁶ = 65 536 различных символов. Это соответствует основному случаю кодировки UTF-16. В реальных файлах и в интернете чаще всего используют UTF-8: в ней символ занимает от 1 до 4 байт — латинские буквы 1 байт, особые азербайджанские буквы (ə, ş, ç, ğ, ı, ö, ü) и кириллица — 2, знак € и большинство китайских иероглифов — 3, эмодзи — 4 байта.

1. 1
   Посчитай буквы

   Посчитай буквы в каждом слове и сложи.

2. 2
   Добавь пробелы

   Если между словами по одному пробелу, пробелов на один меньше, чем слов.

3. 3
   Не забудь знаки препинания

   Точки, запятые, вопросительные и восклицательные знаки, кавычки, тире, цифры — всё это символы.

4. 4
   Умножь и переведи

   Умножь K на 8 (ASCII) или 16 (UNICODE) бит, затем переведи в нужные единицы.

s = "Small steps lead to big results."
print(len(s))                    # spaces and the dot included
print(len(s) * 8, len(s) * 16)   # bits in ASCII and in UNICODE
for w in ["Salam", "Gəncə", "Баку", "€"]:
    print(w, len(w.encode("utf-8")))   # real size in UTF-8, bytes

32
256 512
Salam 5
Gəncə 7
Баку 8
€ 3

Документы, мощность алфавита и передача

В документе из нескольких страниц число символов K = страницы · строки · символы в строке. В экзаменационных задачах числа обычно являются степенями двойки (32 строки, 64 символа), поэтому удобно считать через показатели. И наоборот: если объём известен, можно найти число бит на символ и мощность алфавита.

Когда текст передаётся по каналу связи, работает формула I = v · t из урока «Измерение информации: бит, байт и единицы измерения»: объём текста в битах = скорость · время.

s = "Bakı is the capital of Azerbaijan."
# print the UNICODE volume in bits

544

В следующем уроке, «Компьютерная графика: кодирование растровых и векторных изображений», узнаем, как кодируются изображения; формула N = 2ⁱ играет главную роль и там.