Mətn informasiyasının kodlaşdırılması

Klaviaturada «Salam» yazanda kompüter hərfləri deyil, ədədləri yadda saxlayır: 83, 97, 108, 97, 109. Ekranda isə yenidən hərflər görünür, çünki proqram hər ədədə uyğun işarəni çəkir. Bəzən dostunun göndərdiyi mətndə «ə» əvəzinə «É™» kimi qəribə işarələr çıxır. Bu dərsdə kompüterin mətni necə kodlaşdırdığını və belə səhvlərin haradan yarandığını öyrənəcəyik.

«İnformasiyanın ölçülməsi: bit, bayt və vahidlər» dərsində I = K · i düsturunu öyrəndik, indi onu real mətnlərə tətbiq edəcəyik. Mövzu qəbul imtahanında tez-tez rast gəlinir: 2025–2026-cı illərin dörd qəbul imtahanında beş tapşırıq mətnin kodlaşdırılmasına aid idi (ASCII və UNICODE həcmləri, əlifbanın gücü, 64 simvollu əlifbada sözlər, UNICODE mətninin kanalla ötürülməsi), bir mətn emalı tapşırığında isə sözlər UNICODE həcminə görə seçilirdi.

Kod cədvəli: hər simvola bir ədəd

ASCII: bir simvol — bir bayt

ASCII (Amerika İnformasiya Mübadiləsi Standart Kodu) 1963-cü ildə yaradılıb. Onda 128 kod var (0–127): 0–31 idarəedici simvollardır (məsələn, yeni sətrə keçid), 32 — boşluq, 48–57 — rəqəmlər, 65–90 — böyük, 97–122 isə kiçik latın hərfləri. Kompüterdə hər ASCII simvolu 1 bayt (8 bit) tutur. 128–255 kodları milli hərflər üçün istifadə olunurdu: kiril hərfləri üçün Windows-1251 və KOI8-R, türk hərfləri üçün Windows-1254 cədvəlləri yaradıldı.

word = "INFO"
print([ord(c) for c in word])
print(chr(66) + chr(73) + chr(84))
print(ord("a") - ord("A"), ord("ə"))

[73, 78, 70, 79]
BIT
32 601

UNICODE: bütün dillər bir cədvəldə

Müxtəlif ölkələrin 8 bitlik cədvəlləri bir-birinə uyğun gəlmirdi: eyni kod bir cədvəldə bir hərf, digərində başqa hərf idi. Buna görə 1991-ci ildə UNICODE standartı yaradıldı. Onda dünyanın bütün yazılarının hərflərinə, riyazi işarələrə və hətta emoji-lərə ayrıca nömrə verilir — bu gün 150 mindən çox simvol. İlk 128 kod ASCII ilə eynidir: «A» yenə 65-dir, «ə» hərfinin nömrəsi isə U+0259, yəni 601-dir.

Məktəb məsələlərində və DİM-in tapşırıqlarında «UNICODE» — hər simvol üçün 16 bit (2 bayt) deməkdir: 2¹⁶ = 65 536 müxtəlif simvol. Bu, UTF-16 kodlaşdırmasının əsas halına uyğundur. Real fayllarda və internetdə isə ən çox UTF-8 işlədilir: orada simvol 1-dən 4-ə qədər bayt tutur — latın hərfləri 1, Azərbaycan dilinin xüsusi hərfləri (ə, ş, ç, ğ, ı, ö, ü) və kiril hərfləri 2, € işarəsi və Çin heroqliflərinin çoxu 3, emoji isə 4 bayt.

1. 1
   Hərfləri say

   Hər sözdəki hərfləri ayrıca say və topla.

2. 2
   Boşluqları əlavə et

   Sözlər arasında bir boşluq varsa, boşluqların sayı = sözlərin sayı − 1.

3. 3
   Durğu işarələrini unutma

   Nöqtə, vergül, sual və nida işarələri, dırnaqlar, tire, rəqəmlər — hamısı simvoldur.

4. 4
   Vur və çevir

   K-nı 8 (ASCII) və ya 16 (UNICODE) bitə vur, sonra lazım olan vahidə keç.

s = "Small steps lead to big results."
print(len(s))                    # spaces and the dot included
print(len(s) * 8, len(s) * 16)   # bits in ASCII and in UNICODE
for w in ["Salam", "Gəncə", "Баку", "€"]:
    print(w, len(w.encode("utf-8")))   # real size in UTF-8, bytes

32
256 512
Salam 5
Gəncə 7
Баку 8
€ 3

Sənədlər, əlifbanın gücü və ötürmə

Səhifələrdən ibarət sənəddə simvolların sayı K = səhifələr · sətirlər · bir sətirdəki simvollardır. İmtahan məsələlərində ədədlər adətən 2-nin qüvvətləri olur (32 sətir, 64 simvol), ona görə hesablamanı üstlərlə aparmaq rahatdır. Əksinə, həcm məlumdursa, bir simvolun bitlərinin sayını və əlifbanın gücünü tapmaq olar.

Mətn rabitə kanalı ilə ötürüləndə «İnformasiyanın ölçülməsi: bit, bayt və vahidlər» dərsindəki I = v · t düsturu işləyir: mətnin bitlə həcmi = sürət · vaxt.

s = "Bakı is the capital of Azerbaijan."
# print the UNICODE volume in bits

544

Növbəti dərsdə — «Kompüter qrafikası: rastr və vektor təsvirlərin kodlaşdırılması» — şəkillərin necə kodlaşdırıldığını öyrənəcəyik; orada da N = 2ⁱ düsturu əsas rol oynayır.