Leyla köhnə proqramdan şagirdlərin siyahısını ixrac edir və onu Python ilə açır: «Bakı» əvəzinə ekranda Bakı görünür. Daha qəribəsi: axtarış ilkin sözünü siyahıdakı İLKİN ilə tapmır, halbuki ikisi eyni addır. Hər iki səhvin kökü eynidir: simvollar ilə baytlar qarışdırılır, hərf registrinin qaydaları isə dildən asılıdır. İnformatika fənnindəki «Mətn informasiyasının kodlaşdırılması» dərsində ASCII və Unicode nəzəriyyəsini öyrəndin, «Sətirlər və f-sətirlər» dərsində isə str ilə işlədin. İndi Python-da mətnin «içinə» baxacağıq.
Simvollar və kod nöqtələri
Unicode və kod nöqtəsiTərif
Unicode dünyadakı yazı sistemlərinin bütün simvollarını nömrələyən standartdır. Simvolun nömrəsi kod nöqtəsi adlanır və 16-lıq say sistemində U+0259 kimi yazılır: ə — U+0259, € — U+20AC. Python-da str kod nöqtələrinin ardıcıllığıdır: ord(ch) simvolun nömrəsini, chr(n) isə nömrəyə görə simvolu verir, len() isə kod nöqtələrini sayır.
import unicodedata
for ch in 'aəğıİş€':
print(ch, ord(ch), f'U+{ord(ch):04X}', unicodedata.name(ch))
print(chr(399), chr(0x259), 'ə' == 'ə', '\N{LATIN SMALL LETTER SCHWA}')
print(len('Gəncə'), len('🙂'), f'U+{ord("🙂"):04X}')Gözlənilən nəticə
a 97 U+0061 LATIN SMALL LETTER A ə 601 U+0259 LATIN SMALL LETTER SCHWA ğ 287 U+011F LATIN SMALL LETTER G WITH BREVE ı 305 U+0131 LATIN SMALL LETTER DOTLESS I İ 304 U+0130 LATIN CAPITAL LETTER I WITH DOT ABOVE ş 351 U+015F LATIN SMALL LETTER S WITH CEDILLA € 8364 U+20AC EURO SIGN Ə ə True ə 5 1 U+1F642
'\u0259' (4 rəqəm), '\U0001F642' (8 rəqəm) və ya '\N{LATIN SMALL LETTER SCHWA}' (rəsmi ad) kimi yazmaq olar; adı unicodedata.name() verir. Emoji də bir kod nöqtəsidir, ona görə len('🙂') 1-ə bərabərdir.Davamını oxumaq üçün pulsuz qeydiyyatdan keç
Dərsin qalan bölmələri, test və qeydlər Educora hesabı ilə açılır. Qeydiyyat bir dəqiqə çəkir; irəliləyişin bütün cihazlarında saxlanılır.
str və bytes: UTF-8 kodlaşdırması
Kodlaşdırma və bytesTərif
Disk, şəbəkə və fayllar simvolları yox, baytları (0–255 arası ədədləri) saxlayır. Kodlaşdırma kod nöqtələrini baytlara çevirmə qaydasıdır. Python-da baytlar dəyişməyən bytes tipidir (b'Baku'). str.encode('utf-8') mətni baytlara çevirir (kodlaşdırır), bytes.decode('utf-8') isə baytlardan mətni bərpa edir (dekodlaşdırır). UTF-8 bu gün veb və fayllar üçün əsas kodlaşdırmadır: o, hər simvolu 1–4 baytla yazır.
Burada
- c
smətninin hər simvolu (kod nöqtəsi)- bytes(c)
- 1 bayt: U+0000…U+007F (ASCII: Latın hərfləri, rəqəmlər); 2 bayt: U+07FF-ə qədər (
ə,ı,ş,ğ, kiril hərfləri); 3 bayt: U+FFFF-ə qədər (€, Çin heroqlifləri); 4 bayt: daha böyük nömrələr (emoji)
UTF-8 ASCII ilə uyğundur: ingiliscə mətn bayt-bayt eynidir. Ona görə len(s) bayt sayına yalnız ASCII mətndə bərabərdir.
Nümunələr: neçə bayt?
Məsələ
UTF-8-də neçə bayt tutur?
1) 'Bakı'
2) 'Gəncə'
3) '€5'
Həllini göstərHəllini gizlət
Həll
B, a, k — 1 baytdan, ı (U+0131) — 2 bayt: 1 + 1 + 1 + 2 = 5.2)
G, n, c — 1 baytdan, iki ə (U+0259) — 2 baytdan: 3 + 4 = 7.3)
€ (U+20AC > U+07FF) — 3 bayt, 5 — 1 bayt: 4. Simvol sayı isə 4, 5 və 2-dir.for word in ['Baku', 'Bakı', 'Gəncə', '€5', '🙂']:
data = word.encode('utf-8')
print(f'{word!r:8} chars={len(word)} bytes={len(data)}: {data.hex(" ")}')
data = 'Şəki'.encode('utf-8')
print(data, type(data).__name__, data[0], list(data[:3]))
print(data.decode('utf-8'), b'Baku'.decode('ascii'))
try:
'Bakı ' + data
except TypeError as e:
print('TypeError:', e)Gözlənilən nəticə
'Baku' chars=4 bytes=4: 42 61 6b 75 'Bakı' chars=4 bytes=5: 42 61 6b c4 b1 'Gəncə' chars=5 bytes=7: 47 c9 99 6e 63 c9 99 '€5' chars=2 bytes=4: e2 82 ac 35 '🙂' chars=1 bytes=4: f0 9f 99 82 b'\xc5\x9e\xc9\x99ki' bytes 197 [197, 158, 201] Şəki Baku TypeError: can only concatenate str (not "bytes") to str
bytes elementinin dəyəri simvol yox, ədəddir (data[0] = 197). str və bytes avtomatik qarışmır — TypeError: Python kodlaşdırmanı təxmin etmir, onu sən seçirsən.UTF-8-dən əvvəl hər dil üçün ayrıca bir baytlıq kod səhifələri işlədilirdi: cp1252 (Qərbi Avropa), cp1254 (Türk dili: ı, ş, ğ var, amma ə yoxdur), cp1251 (kiril). Baytları səhv kodlaşdırma ilə oxuyanda mojibake (pozulmuş mətn) alınır: ı kimi cütlər UTF-8 baytlarının cp1252 kimi oxunduğunu göstərir. Məlumat itməyibsə, səhvi tərsinə təkrarlamaqla mətni düzəltmək olar:
word = 'Bakı'
print(word.encode('cp1254'), word.encode('utf-8'))
broken = word.encode('utf-8').decode('cp1252') # bytes read with the wrong encoding
print(broken)
print(broken.encode('cp1252').decode('utf-8')) # undo the mistake
try:
'Gəncə'.encode('cp1254')
except UnicodeEncodeError as e:
print('UnicodeEncodeError:', e.reason, repr(e.object[e.start:e.end]))Gözlənilən nəticə
b'Bak\xfd' b'Bak\xc4\xb1' Bakı Bakı UnicodeEncodeError: character maps to <undefined> 'ə'
cp1254-də ı bir baytdır (\xfd), UTF-8-də isə iki. ə hərfi isə bu kod səhifəsində ümumiyyətlə yoxdur — Azərbaycan mətnini etibarlı saxlamaq üçün UTF-8 seçməyin daha bir səbəbi.errors=: baytlar kodlaşdırmaya uyğun gəlməyəndə
Susmaya görə encode və decode sərtdir (errors='strict'): uyğunsuz bayt və ya simvol görən kimi UnicodeDecodeError/UnicodeEncodeError verir. Bu, adətən düzgün davranışdır — xətanı gizlətməkdənsə görmək yaxşıdır. Amma bəzən zədələnmiş faylı ən azı oxumaq lazımdır; onda errors= arqumenti seçilir:
errors= | decode zamanı | encode zamanı |
|---|---|---|
'strict' | xəta (susmaya görə) | xəta (susmaya görə) |
'replace' | � (U+FFFD) qoyur | ? qoyur |
'ignore' | pis baytı atır | simvolu atır |
'backslashreplace' | \xc9 | \u0259 |
'xmlcharrefreplace' | — | ə |
'surrogateescape' | pis baytları xüsusi kod nöqtələrində gizlədir | həmin baytları olduğu kimi qaytarır |
raw = 'Gəncə'.encode('utf-8')[:-1] # the last byte was lost
print(raw)
try:
raw.decode('utf-8')
except UnicodeDecodeError as e:
print('strict ->', e.reason, 'at byte', e.start)
for handler in ['replace', 'ignore', 'backslashreplace']:
print(f'{handler:17}', raw.decode('utf-8', errors=handler))
text = 'Şəki – 5 €'
for handler in ['replace', 'ignore', 'xmlcharrefreplace', 'backslashreplace']:
print(f'{handler:17}', text.encode('ascii', errors=handler))Gözlənilən nəticə
b'G\xc9\x99nc\xc9' strict -> unexpected end of data at byte 5 replace Gənc� ignore Gənc backslashreplace Gənc\xc9 replace b'??ki ? 5 ?' ignore b'ki 5 ' xmlcharrefreplace b'Şəki – 5 €' backslashreplace b'\\u015e\\u0259ki \\u2013 5 \\u20ac'
strict dəqiq yeri (5-ci bayt) deyir, replace problemi � ilə görünən edir, ignore isə onu səssizcə yox edir. Kodlaşdırmada xmlcharrefreplace HTML/XML üçün, backslashreplace jurnal üçün rahatdır.Normallaşdırma və hərf registri
Normallaşdırma: NFC və NFDTərif
Bəzi hərfləri Unicode-da iki üsulla yazmaq olar: hazır bir kod nöqtəsi ilə (ş = U+015F) və ya əsas hərf + birləşən işarə ilə (s + U+0327 «cedilla»). Ekranda eyni görünürlər, amma == onları fərqli sayır. NFC (birləşdirilmiş forma) hazır simvolları seçir, NFD (parçalanmış forma) isə hərfi hissələrə ayırır; unicodedata.normalize('NFC', s) mətni bir formaya gətirir. Klaviatura adətən NFC yazır, köhnə macOS fayl sistemi (HFS+) isə fayl adlarını NFD-də saxlayırdı.
import unicodedata as ud
typed = 'Şəki' # typed on a keyboard: NFC
other = ud.normalize('NFD', typed) # the same word in NFD form
print(typed, other, typed == other, len(typed), len(other))
print([f'U+{ord(c):04X}' for c in other])
print(ud.normalize('NFC', other) == typed)
print(' '.join(f'{ch} {len(ud.normalize("NFD", ch))}' for ch in 'əğıİşçöü'))Gözlənilən nəticə
Şəki Şəki False 4 5 ['U+0053', 'U+0327', 'U+0259', 'U+006B', 'U+0069'] True ə 1 ğ 2 ı 1 İ 2 ş 2 ç 2 ö 2 ü 2
ğ, ş, ç, ö, ü və İ NFD-də iki kod nöqtəsinə parçalanır, ə və ı isə parçalanmır: Unicode-da onlar ayrıca hərflərdir. Fərqli mənbələrdən gələn mətni müqayisə etməzdən və ya lüğət açarı etməzdən əvvəl NFC-yə gətir.İndi registr. Python-un lower() və upper() metodları dildən asılı olmayan ümumi Unicode qaydalarını işlədir: 'I'.lower() → 'i' (Azərbaycan dilində isə ı olmalıdır), 'i'.upper() → 'I' (İ olmalıdır), 'İ'.lower() isə i + U+0307 (üstdə nöqtə) — iki kod nöqtəsi verir. casefold() müqayisə üçün daha güclü kiçiltmədir (alman ß → ss), amma o da Azərbaycan və türk I/ı qaydasını bilmir. Həll: registri dəyişməzdən əvvəl bu iki hərfi özün əvəz et.
city = 'İSMAYILLI'
print(city.lower(), len(city), len(city.lower()), city.lower() == 'ismayıllı')
print('ismayıllı'.upper(), 'Straße'.lower(), 'Straße'.casefold())
def az_lower(s):
return s.replace('I', 'ı').replace('İ', 'i').lower()
def az_upper(s):
return s.replace('i', 'İ').replace('ı', 'I').upper()
print(az_lower(city), az_upper('ismayıllı, şəki'))
print(az_lower('İSMAYILLI') == az_lower('İsmayıllı'))Gözlənilən nəticə
i̇smayilli 9 10 False ISMAYILLI straße strasse ismayıllı İSMAYILLI, ŞƏKİ True
'İSMAYILLI'.lower() 10 kod nöqtəsi verdi və 'ismayıllı'-ya bərabər deyil. az_lower və az_upper əvvəlcə I/İ (və ya i/ı) hərflərini düzgün cütə çevirir, sonra adi lower()/upper() çağırır.Fayllar: kodlaşdırma və BOM
open() və read_text() kodlaşdırma göstərilmədikdə sistemin «üstün tutulan» kodlaşdırmasını götürür: Linux və macOS-da adətən UTF-8, Windows-da isə çox vaxt köhnə kod səhifəsi (cp1252, cp1254...). Ona görə eyni proqram bir kompüterdə işləyir, digərində xəta verir — həmişə encoding= yaz. Bəzi fayllar BOM (Byte Order Mark, U+FEFF) ilə başlayır: UTF-8-də bu EF BB BF baytlarıdır və Excel «CSV UTF-8» saxlayanda onu yazır. 'utf-8' ilə oxuyanda BOM birinci sətirdə '\ufeff' kimi qalır və başlıq 'name' əvəzinə '\ufeffname' olur; 'utf-8-sig' isə onu atır (BOM yoxdursa, adi UTF-8 kimi işləyir).
from pathlib import Path
Path('scores.csv').write_bytes('name,score\nAysel,95\n'.encode('utf-8'))
raw = Path('scores.csv').read_bytes()
print(raw[:7], raw.startswith(b'\xef\xbb\xbf'))
print(repr(Path('scores.csv').read_text(encoding='utf-8').splitlines()[0]))
print(repr(Path('scores.csv').read_text(encoding='utf-8-sig').splitlines()[0]))
Path('old.txt').write_bytes('Kış ayı'.encode('cp1254')) # a file from an old Turkish Windows
try:
Path('old.txt').read_text(encoding='utf-8')
except UnicodeDecodeError as e:
print('UnicodeDecodeError:', e.reason)
print(Path('old.txt').read_text(encoding='cp1254'))Gözlənilən nəticə
b'\xef\xbb\xbfname' True '\ufeffname,score' 'name,score' UnicodeDecodeError: invalid start byte Kış ayı
csv.DictReader-də row['name'] KeyError verərdi. Köhnə faylın kodlaşdırmasını bilirsənsə, onu açıq yaz (cp1254); bilmirsənsə, əvvəl UTF-8 ilə yoxla — etibarlı avtomatik təyinetmə yoxdur, üçüncü tərəf charset-normalizer kimi kitabxanalar yalnız təxmin edir.bytes dəyişməzdir. Baytları hissə-hissə yığmaq (məsələn, ikilik faylın başlığını düzəltmək) lazımdırsa, dəyişən qardaşı bytearray işlədilir: elementlərini dəyişmək, sona əlavə etmək və sonda bytes(buf) və ya buf.decode() ilə çevirmək olar.
frozen = b'PNG?'
try:
frozen[3] = 33
except TypeError as e:
print('TypeError:', e)
buf = bytearray(frozen)
buf[3] = 33 # 33 is the code of '!'
buf.extend('ə'.encode('utf-8'))
print(buf, len(buf), buf.decode('utf-8'))Gözlənilən nəticə
TypeError: 'bytes' object does not support item assignment bytearray(b'PNG!\xc9\x99') 6 PNG!ə
Mini-layihə: Azərbaycan adları ilə axtarış
Leylanın problemini həll edək. Excel-dən gələn CSV BOM ilə başlayır, adlar müxtəlif registrdə yazılıb, bir ad isə başqa proqramdan NFD formasında gəlib. Sadə lower() ilə qurulan lüğət heç bir sorğunu tapmır. az_key funksiyası öyrəndiyimiz üç addımı birləşdirir: NFC, I/İ əvəzləməsi, lower(). Fayl 'utf-8-sig' ilə dekodlaşdırılır, sonra csv.DictReader sətirləri lüğətlərə çevirir (bax: «JSON və CSV ilə işləmək»).
import csv
import io
import unicodedata as ud
def az_key(s):
s = ud.normalize('NFC', s).strip()
return s.replace('I', 'ı').replace('İ', 'i').lower()
data = ('name,score\nİLKİN,91\nIşıq,95\n'
+ ud.normalize('NFD', 'Gülşən') + ',88\n').encode('utf-8')
rows = list(csv.DictReader(io.StringIO(data.decode('utf-8-sig'))))
naive = {r['name'].lower(): r['score'] for r in rows}
smart = {az_key(r['name']): r['score'] for r in rows}
for query in ['ilkin', 'IŞIQ', 'gülşən', 'Murad']:
print(f'{query:7} naive: {naive.get(query.lower(), "-"):3} az_key: {smart.get(az_key(query), "-")}')Gözlənilən nəticə
ilkin naive: - az_key: 91 IŞIQ naive: - az_key: 95 gülşən naive: - az_key: 88 Murad naive: - az_key: -
İLKİN → i̇lki̇n (artıq nöqtələr), IŞIQ → işiq (ı əvəzinə i), NFD Gülşən NFC sorğuya bərabər deyil. az_key hər üç halı düzəldir; olmayan ad (Murad) düzgün olaraq tapılmır.Tapşırıq
Hər söz üçün sözü, simvol sayını və UTF-8-də bayt sayını bir sətirdə çap et.
words = ['Salam', 'Gəncə', 'Şəki', 'çay']
for word in words:
# print the word, its number of characters and its number of bytes in UTF-8
passGözlənilən nəticə
Salam 5 5 Gəncə 5 7 Şəki 4 6 çay 3 4
Tapşırıq
az_upper(s) funksiyasını düzəlt: ilkin → İLKİN, ışıq → IŞIQ olmalıdır. Adi upper() hər iki i-ni I edir.
def az_upper(s):
# str.upper() turns both i and ı into I; fix the two letters first
return s.upper()
for word in ['ilkin', 'ışıq', 'şəki', 'qız']:
print(az_upper(word))Gözlənilən nəticə
İLKİN IŞIQ ŞƏKİ QIZ
Yadda saxla
str— kod nöqtələrinin ardıcıllığı (ord/chr),bytes— 0–255 ədədlərinin ardıcıllığı; aralarında yalnızencode/decodeilə keçilir.- UTF-8 simvolu 1–4 baytla yazır: ASCII 1,
ə,ı,ş2,€3, emoji 4 bayt; bayt sayılen(s.encode('utf-8'))-dir. - Səhv kodlaşdırma mojibake yaradır (
Bakı);errors=strategiyasını şüurlu seç,ignoreməlumatı itirir. - Müqayisədən əvvəl NFC-yə gətir; Azərbaycan dilində registr üçün
I/İvəi/ıhərflərini əvvəlcə özün əvəz et. - Fayllarda həmişə
encoding=yaz; Excel CSV-sinin BOM-unuutf-8-sigatır.