Unicode, kodlaşdırmalar və bytes

Kod nöqtələri, `ord` və `chr`, `str` ilə `bytes` fərqi, UTF-8 ilə `encode`/`decode`, `errors=` strategiyaları və pozulmuş mətn (mojibake), NFC/NFD normallaşdırması, `İ`/`ı` registr tələləri və `casefold`, `bytearray`, faylları düzgün kodlaşdırma ilə oxumaq və BOM.

  • İrəli
  • 23 dəq
  • 12 sual
  • 66 dərsdən 29-cusu

Bu dərsdə öyrənəcəksən

  • Kod nöqtəsini izah etmək, str ilə bytes arasında encode və decode ilə çevirmək
  • Mətnin UTF-8-də neçə bayt tutduğunu hesablamaq, pozulmuş mətni tanımaq və errors= strategiyası seçmək
  • Mətni NFC formasına salmaq və Azərbaycan sözlərini İ/ı nəzərə alınmaqla registrdən asılı olmadan müqayisə etmək
  • Faylları düzgün kodlaşdırma ilə oxumaq və BOM-u utf-8-sig ilə aradan qaldırmaq

Leyla köhnə proqramdan şagirdlərin siyahısını ixrac edir və onu Python ilə açır: «Bakı» əvəzinə ekranda Bakı görünür. Daha qəribəsi: axtarış ilkin sözünü siyahıdakı İLKİN ilə tapmır, halbuki ikisi eyni addır. Hər iki səhvin kökü eynidir: simvollar ilə baytlar qarışdırılır, hərf registrinin qaydaları isə dildən asılıdır. İnformatika fənnindəki «Mətn informasiyasının kodlaşdırılması» dərsində ASCII və Unicode nəzəriyyəsini öyrəndin, «Sətirlər və f-sətirlər» dərsində isə str ilə işlədin. İndi Python-da mətnin «içinə» baxacağıq.

Simvollar və kod nöqtələri

Unicode və kod nöqtəsiTərif

Unicode dünyadakı yazı sistemlərinin bütün simvollarını nömrələyən standartdır. Simvolun nömrəsi kod nöqtəsi adlanır və 16-lıq say sistemində U+0259 kimi yazılır: ə — U+0259, € — U+20AC. Python-da str kod nöqtələrinin ardıcıllığıdır: ord(ch) simvolun nömrəsini, chr(n) isə nömrəyə görə simvolu verir, len() isə kod nöqtələrini sayır.

Python
import unicodedata

for ch in 'aəğıİş€':
    print(ch, ord(ch), f'U+{ord(ch):04X}', unicodedata.name(ch))
print(chr(399), chr(0x259), 'ə' == 'ə', '\N{LATIN SMALL LETTER SCHWA}')
print(len('Gəncə'), len('🙂'), f'U+{ord("🙂"):04X}')
Gözlənilən nəticə
a 97 U+0061 LATIN SMALL LETTER A
ə 601 U+0259 LATIN SMALL LETTER SCHWA
ğ 287 U+011F LATIN SMALL LETTER G WITH BREVE
ı 305 U+0131 LATIN SMALL LETTER DOTLESS I
İ 304 U+0130 LATIN CAPITAL LETTER I WITH DOT ABOVE
ş 351 U+015F LATIN SMALL LETTER S WITH CEDILLA
€ 8364 U+20AC EURO SIGN
Ə ə True ə
5 1 U+1F642
Kod nöqtəsini mətndə '\u0259' (4 rəqəm), '\U0001F642' (8 rəqəm) və ya '\N{LATIN SMALL LETTER SCHWA}' (rəsmi ad) kimi yazmaq olar; adı unicodedata.name() verir. Emoji də bir kod nöqtəsidir, ona görə len('🙂') 1-ə bərabərdir.

Davamını oxumaq üçün pulsuz qeydiyyatdan keç

Dərsin qalan bölmələri, test və qeydlər Educora hesabı ilə açılır. Qeydiyyat bir dəqiqə çəkir; irəliləyişin bütün cihazlarında saxlanılır.

str və bytes: UTF-8 kodlaşdırması

Kodlaşdırma və bytesTərif

Disk, şəbəkə və fayllar simvolları yox, baytları (0–255 arası ədədləri) saxlayır. Kodlaşdırma kod nöqtələrini baytlara çevirmə qaydasıdır. Python-da baytlar dəyişməyən bytes tipidir (b'Baku'). str.encode('utf-8') mətni baytlara çevirir (kodlaşdırır), bytes.decode('utf-8') isə baytlardan mətni bərpa edir (dekodlaşdırır). UTF-8 bu gün veb və fayllar üçün əsas kodlaşdırmadır: o, hər simvolu 1–4 baytla yazır.

len(s.encode('utf-8')) = Σ bytes(c)

Burada

c
s mətninin hər simvolu (kod nöqtəsi)
bytes(c)
1 bayt: U+0000…U+007F (ASCII: Latın hərfləri, rəqəmlər); 2 bayt: U+07FF-ə qədər (ə, ı, ş, ğ, kiril hərfləri); 3 bayt: U+FFFF-ə qədər (€, Çin heroqlifləri); 4 bayt: daha böyük nömrələr (emoji)

UTF-8 ASCII ilə uyğundur: ingiliscə mətn bayt-bayt eynidir. Ona görə len(s) bayt sayına yalnız ASCII mətndə bərabərdir.

Nümunələr: neçə bayt?

Məsələ

UTF-8-də neçə bayt tutur?
1) 'Bakı'
2) 'Gəncə'
3) '€5'

Həllini göstərHəllini gizlət

Həll

1) B, a, k — 1 baytdan, ı (U+0131) — 2 bayt: 1 + 1 + 1 + 2 = 5.
2) G, n, c — 1 baytdan, iki ə (U+0259) — 2 baytdan: 3 + 4 = 7.
3) € (U+20AC > U+07FF) — 3 bayt, 5 — 1 bayt: 4. Simvol sayı isə 4, 5 və 2-dir.
Python
for word in ['Baku', 'Bakı', 'Gəncə', '€5', '🙂']:
    data = word.encode('utf-8')
    print(f'{word!r:8} chars={len(word)} bytes={len(data)}: {data.hex(" ")}')

data = 'Şəki'.encode('utf-8')
print(data, type(data).__name__, data[0], list(data[:3]))
print(data.decode('utf-8'), b'Baku'.decode('ascii'))
try:
    'Bakı ' + data
except TypeError as e:
    print('TypeError:', e)
Gözlənilən nəticə
'Baku'   chars=4 bytes=4: 42 61 6b 75
'Bakı'   chars=4 bytes=5: 42 61 6b c4 b1
'Gəncə'  chars=5 bytes=7: 47 c9 99 6e 63 c9 99
'€5'     chars=2 bytes=4: e2 82 ac 35
'🙂'      chars=1 bytes=4: f0 9f 99 82
b'\xc5\x9e\xc9\x99ki' bytes 197 [197, 158, 201]
Şəki Baku
TypeError: can only concatenate str (not "bytes") to str
bytes elementinin dəyəri simvol yox, ədəddir (data[0] = 197). str və bytes avtomatik qarışmır — TypeError: Python kodlaşdırmanı təxmin etmir, onu sən seçirsən.

UTF-8-dən əvvəl hər dil üçün ayrıca bir baytlıq kod səhifələri işlədilirdi: cp1252 (Qərbi Avropa), cp1254 (Türk dili: ı, ş, ğ var, amma ə yoxdur), cp1251 (kiril). Baytları səhv kodlaşdırma ilə oxuyanda mojibake (pozulmuş mətn) alınır: ı kimi cütlər UTF-8 baytlarının cp1252 kimi oxunduğunu göstərir. Məlumat itməyibsə, səhvi tərsinə təkrarlamaqla mətni düzəltmək olar:

Python
word = 'Bakı'
print(word.encode('cp1254'), word.encode('utf-8'))
broken = word.encode('utf-8').decode('cp1252')      # bytes read with the wrong encoding
print(broken)
print(broken.encode('cp1252').decode('utf-8'))      # undo the mistake
try:
    'Gəncə'.encode('cp1254')
except UnicodeEncodeError as e:
    print('UnicodeEncodeError:', e.reason, repr(e.object[e.start:e.end]))
Gözlənilən nəticə
b'Bak\xfd' b'Bak\xc4\xb1'
Bakı
Bakı
UnicodeEncodeError: character maps to <undefined> 'ə'
cp1254-də ı bir baytdır (\xfd), UTF-8-də isə iki. ə hərfi isə bu kod səhifəsində ümumiyyətlə yoxdur — Azərbaycan mətnini etibarlı saxlamaq üçün UTF-8 seçməyin daha bir səbəbi.

errors=: baytlar kodlaşdırmaya uyğun gəlməyəndə

Susmaya görə encode və decode sərtdir (errors='strict'): uyğunsuz bayt və ya simvol görən kimi UnicodeDecodeError/UnicodeEncodeError verir. Bu, adətən düzgün davranışdır — xətanı gizlətməkdənsə görmək yaxşıdır. Amma bəzən zədələnmiş faylı ən azı oxumaq lazımdır; onda errors= arqumenti seçilir:

errors=decode zamanıencode zamanı
'strict'xəta (susmaya görə)xəta (susmaya görə)
'replace'� (U+FFFD) qoyur? qoyur
'ignore'pis baytı atırsimvolu atır
'backslashreplace'\xc9\u0259
'xmlcharrefreplace'—&#601;
'surrogateescape'pis baytları xüsusi kod nöqtələrində gizlədirhəmin baytları olduğu kimi qaytarır
Python
raw = 'Gəncə'.encode('utf-8')[:-1]          # the last byte was lost
print(raw)
try:
    raw.decode('utf-8')
except UnicodeDecodeError as e:
    print('strict ->', e.reason, 'at byte', e.start)
for handler in ['replace', 'ignore', 'backslashreplace']:
    print(f'{handler:17}', raw.decode('utf-8', errors=handler))

text = 'Şəki – 5 €'
for handler in ['replace', 'ignore', 'xmlcharrefreplace', 'backslashreplace']:
    print(f'{handler:17}', text.encode('ascii', errors=handler))
Gözlənilən nəticə
b'G\xc9\x99nc\xc9'
strict -> unexpected end of data at byte 5
replace           Gənc�
ignore            Gənc
backslashreplace  Gənc\xc9
replace           b'??ki ? 5 ?'
ignore            b'ki  5 '
xmlcharrefreplace b'&#350;&#601;ki &#8211; 5 &#8364;'
backslashreplace  b'\\u015e\\u0259ki \\u2013 5 \\u20ac'
Faylın son baytı itib: strict dəqiq yeri (5-ci bayt) deyir, replace problemi � ilə görünən edir, ignore isə onu səssizcə yox edir. Kodlaşdırmada xmlcharrefreplace HTML/XML üçün, backslashreplace jurnal üçün rahatdır.

Normallaşdırma və hərf registri

Normallaşdırma: NFC və NFDTərif

Bəzi hərfləri Unicode-da iki üsulla yazmaq olar: hazır bir kod nöqtəsi ilə (ş = U+015F) və ya əsas hərf + birləşən işarə ilə (s + U+0327 «cedilla»). Ekranda eyni görünürlər, amma == onları fərqli sayır. NFC (birləşdirilmiş forma) hazır simvolları seçir, NFD (parçalanmış forma) isə hərfi hissələrə ayırır; unicodedata.normalize('NFC', s) mətni bir formaya gətirir. Klaviatura adətən NFC yazır, köhnə macOS fayl sistemi (HFS+) isə fayl adlarını NFD-də saxlayırdı.

Python
import unicodedata as ud

typed = 'Şəki'                          # typed on a keyboard: NFC
other = ud.normalize('NFD', typed)      # the same word in NFD form
print(typed, other, typed == other, len(typed), len(other))
print([f'U+{ord(c):04X}' for c in other])
print(ud.normalize('NFC', other) == typed)
print('  '.join(f'{ch} {len(ud.normalize("NFD", ch))}' for ch in 'əğıİşçöü'))
Gözlənilən nəticə
Şəki Şəki False 4 5
['U+0053', 'U+0327', 'U+0259', 'U+006B', 'U+0069']
True
ə 1  ğ 2  ı 1  İ 2  ş 2  ç 2  ö 2  ü 2
ğ, ş, ç, ö, ü və İ NFD-də iki kod nöqtəsinə parçalanır, ə və ı isə parçalanmır: Unicode-da onlar ayrıca hərflərdir. Fərqli mənbələrdən gələn mətni müqayisə etməzdən və ya lüğət açarı etməzdən əvvəl NFC-yə gətir.

İndi registr. Python-un lower() və upper() metodları dildən asılı olmayan ümumi Unicode qaydalarını işlədir: 'I'.lower() → 'i' (Azərbaycan dilində isə ı olmalıdır), 'i'.upper() → 'I' (İ olmalıdır), 'İ'.lower() isə i + U+0307 (üstdə nöqtə) — iki kod nöqtəsi verir. casefold() müqayisə üçün daha güclü kiçiltmədir (alman ß → ss), amma o da Azərbaycan və türk I/ı qaydasını bilmir. Həll: registri dəyişməzdən əvvəl bu iki hərfi özün əvəz et.

Python
city = 'İSMAYILLI'
print(city.lower(), len(city), len(city.lower()), city.lower() == 'ismayıllı')
print('ismayıllı'.upper(), 'Straße'.lower(), 'Straße'.casefold())


def az_lower(s):
    return s.replace('I', 'ı').replace('İ', 'i').lower()


def az_upper(s):
    return s.replace('i', 'İ').replace('ı', 'I').upper()


print(az_lower(city), az_upper('ismayıllı, şəki'))
print(az_lower('İSMAYILLI') == az_lower('İsmayıllı'))
Gözlənilən nəticə
i̇smayilli 9 10 False
ISMAYILLI straße strasse
ismayıllı İSMAYILLI, ŞƏKİ
True
'İSMAYILLI'.lower() 10 kod nöqtəsi verdi və 'ismayıllı'-ya bərabər deyil. az_lower və az_upper əvvəlcə I/İ (və ya i/ı) hərflərini düzgün cütə çevirir, sonra adi lower()/upper() çağırır.

Fayllar: kodlaşdırma və BOM

open() və read_text() kodlaşdırma göstərilmədikdə sistemin «üstün tutulan» kodlaşdırmasını götürür: Linux və macOS-da adətən UTF-8, Windows-da isə çox vaxt köhnə kod səhifəsi (cp1252, cp1254...). Ona görə eyni proqram bir kompüterdə işləyir, digərində xəta verir — həmişə encoding= yaz. Bəzi fayllar BOM (Byte Order Mark, U+FEFF) ilə başlayır: UTF-8-də bu EF BB BF baytlarıdır və Excel «CSV UTF-8» saxlayanda onu yazır. 'utf-8' ilə oxuyanda BOM birinci sətirdə '\ufeff' kimi qalır və başlıq 'name' əvəzinə '\ufeffname' olur; 'utf-8-sig' isə onu atır (BOM yoxdursa, adi UTF-8 kimi işləyir).

Python
from pathlib import Path

Path('scores.csv').write_bytes('name,score\nAysel,95\n'.encode('utf-8'))
raw = Path('scores.csv').read_bytes()
print(raw[:7], raw.startswith(b'\xef\xbb\xbf'))
print(repr(Path('scores.csv').read_text(encoding='utf-8').splitlines()[0]))
print(repr(Path('scores.csv').read_text(encoding='utf-8-sig').splitlines()[0]))

Path('old.txt').write_bytes('Kış ayı'.encode('cp1254'))     # a file from an old Turkish Windows
try:
    Path('old.txt').read_text(encoding='utf-8')
except UnicodeDecodeError as e:
    print('UnicodeDecodeError:', e.reason)
print(Path('old.txt').read_text(encoding='cp1254'))
Gözlənilən nəticə
b'\xef\xbb\xbfname' True
'\ufeffname,score'
'name,score'
UnicodeDecodeError: invalid start byte
Kış ayı
BOM görünməzdir, amma csv.DictReader-də row['name'] KeyError verərdi. Köhnə faylın kodlaşdırmasını bilirsənsə, onu açıq yaz (cp1254); bilmirsənsə, əvvəl UTF-8 ilə yoxla — etibarlı avtomatik təyinetmə yoxdur, üçüncü tərəf charset-normalizer kimi kitabxanalar yalnız təxmin edir.

bytes dəyişməzdir. Baytları hissə-hissə yığmaq (məsələn, ikilik faylın başlığını düzəltmək) lazımdırsa, dəyişən qardaşı bytearray işlədilir: elementlərini dəyişmək, sona əlavə etmək və sonda bytes(buf) və ya buf.decode() ilə çevirmək olar.

Python
frozen = b'PNG?'
try:
    frozen[3] = 33
except TypeError as e:
    print('TypeError:', e)

buf = bytearray(frozen)
buf[3] = 33                     # 33 is the code of '!'
buf.extend('ə'.encode('utf-8'))
print(buf, len(buf), buf.decode('utf-8'))
Gözlənilən nəticə
TypeError: 'bytes' object does not support item assignment
bytearray(b'PNG!\xc9\x99') 6 PNG!ə

Mini-layihə: Azərbaycan adları ilə axtarış

Leylanın problemini həll edək. Excel-dən gələn CSV BOM ilə başlayır, adlar müxtəlif registrdə yazılıb, bir ad isə başqa proqramdan NFD formasında gəlib. Sadə lower() ilə qurulan lüğət heç bir sorğunu tapmır. az_key funksiyası öyrəndiyimiz üç addımı birləşdirir: NFC, I/İ əvəzləməsi, lower(). Fayl 'utf-8-sig' ilə dekodlaşdırılır, sonra csv.DictReader sətirləri lüğətlərə çevirir (bax: «JSON və CSV ilə işləmək»).

Python
import csv
import io
import unicodedata as ud


def az_key(s):
    s = ud.normalize('NFC', s).strip()
    return s.replace('I', 'ı').replace('İ', 'i').lower()


data = ('name,score\nİLKİN,91\nIşıq,95\n'
        + ud.normalize('NFD', 'Gülşən') + ',88\n').encode('utf-8')
rows = list(csv.DictReader(io.StringIO(data.decode('utf-8-sig'))))
naive = {r['name'].lower(): r['score'] for r in rows}
smart = {az_key(r['name']): r['score'] for r in rows}
for query in ['ilkin', 'IŞIQ', 'gülşən', 'Murad']:
    print(f'{query:7} naive: {naive.get(query.lower(), "-"):3} az_key: {smart.get(az_key(query), "-")}')
Gözlənilən nəticə
ilkin   naive: -   az_key: 91
IŞIQ    naive: -   az_key: 95
gülşən  naive: -   az_key: 88
Murad   naive: -   az_key: -
Sadə yanaşma üç səhvə düşdü: İLKİN → i̇lki̇n (artıq nöqtələr), IŞIQ → işiq (ı əvəzinə i), NFD Gülşən NFC sorğuya bərabər deyil. az_key hər üç halı düzəldir; olmayan ad (Murad) düzgün olaraq tapılmır.

Tapşırıq

Hər söz üçün sözü, simvol sayını və UTF-8-də bayt sayını bir sətirdə çap et.

Tapşırıq · Python
words = ['Salam', 'Gəncə', 'Şəki', 'çay']
for word in words:
    # print the word, its number of characters and its number of bytes in UTF-8
    pass
Gözlənilən nəticə
Salam 5 5
Gəncə 5 7
Şəki 4 6
çay 3 4

Tapşırıq

az_upper(s) funksiyasını düzəlt: ilkin → İLKİN, ışıq → IŞIQ olmalıdır. Adi upper() hər iki i-ni I edir.

Tapşırıq · Python
def az_upper(s):
    # str.upper() turns both i and ı into I; fix the two letters first
    return s.upper()


for word in ['ilkin', 'ışıq', 'şəki', 'qız']:
    print(az_upper(word))
Gözlənilən nəticə
İLKİN
IŞIQ
ŞƏKİ
QIZ

Yadda saxla

  • str — kod nöqtələrinin ardıcıllığı (ord/chr), bytes — 0–255 ədədlərinin ardıcıllığı; aralarında yalnız encode/decode ilə keçilir.
  • UTF-8 simvolu 1–4 baytla yazır: ASCII 1, ə, ı, ş 2, € 3, emoji 4 bayt; bayt sayı len(s.encode('utf-8'))-dir.
  • Səhv kodlaşdırma mojibake yaradır (Bakı); errors= strategiyasını şüurlu seç, ignore məlumatı itirir.
  • Müqayisədən əvvəl NFC-yə gətir; Azərbaycan dilində registr üçün I/İ və i/ı hərflərini əvvəlcə özün əvəz et.
  • Fayllarda həmişə encoding= yaz; Excel CSV-sinin BOM-unu utf-8-sig atır.
Dərsdə səhv və ya qeyri-dəqiqlik gördün?

Özünü yoxla

12 sual. Hər düzgün cavab XP qazandırır.

Sual 1 / 12

Sual 1 / 12. ord('ə') nəyə bərabərdir?