Metin bilgisinin kodlanması

Klavyede “Salam” yazdığında bilgisayar harfleri değil, sayıları saklar: 83, 97, 108, 97, 109. Ekranda yeniden harfler görünür, çünkü bir program her sayıya karşılık gelen işareti çizer. Bazen ise bir arkadaşının gönderdiği metinde Azerbaycan harfi ə yerine “É™” gibi garip işaretler çıkar. Bu derste bilgisayarın metni nasıl kodladığını ve böyle hataların nereden geldiğini öğreneceğiz.

“Bilginin ölçülmesi: bit, bayt ve birimler” dersinde I = K · i formülünü öğrendik; şimdi onu gerçek metinlere uygulayacağız. Konu giriş sınavında sık çıkar: 2025–2026’daki dört giriş sınavında beş soru metnin kodlanmasıyla ilgiliydi (ASCII ve UNICODE hacimleri, alfabenin gücü, 64 karakterli alfabede sözcükler, UNICODE metnin bir kanaldan iletilmesi); bir metin işleme sorusunda ise sözcükler UNICODE hacmine göre seçiliyordu.

Kod tablosu: her karaktere bir sayı

ASCII: bir karakter, bir bayt

ASCII (Bilgi Değişimi için Amerikan Standart Kodu) 1963’te oluşturuldu. İçinde 128 kod vardır (0–127): 0–31 denetim karakterleridir (örneğin yeni satıra geçiş), 32 boşluk, 48–57 rakamlar, 65–90 büyük, 97–122 ise küçük Latin harfleridir. Bilgisayarda her ASCII karakteri 1 bayt (8 bit) yer kaplar. 128–255 kodları ulusal harfler için kullanıldı: Kiril harfleri için Windows-1251 ve KOI8-R, Türkçe için Windows-1254 tabloları yapıldı.

word = "INFO"
print([ord(c) for c in word])
print(chr(66) + chr(73) + chr(84))
print(ord("a") - ord("A"), ord("ə"))

[73, 78, 70, 79]
BIT
32 601

UNICODE: bütün diller tek tabloda

Farklı ülkelerin 8 bitlik tabloları birbirini tutmuyordu: aynı kod bir tabloda bir harf, başka bir tabloda başka bir harf demekti. Bu yüzden 1991’de UNICODE standardı oluşturuldu. Bu standartta dünyadaki bütün yazıların harflerine, matematik işaretlerine ve hatta emojilere ayrı bir numara verilir — bugün 150.000’den fazla karakter. İlk 128 kod ASCII ile aynıdır: “A” yine 65’tir, ə harfinin numarası ise U+0259, yani 601’dir.

Okul sorularında ve DİM sınavlarında “UNICODE” karakter başına 16 bit (2 bayt) demektir: 2¹⁶ = 65.536 farklı karakter. Bu, UTF-16 kodlamasının temel durumuna uyar. Gerçek dosyalarda ve internette ise çoğunlukla UTF-8 kullanılır: burada bir karakter 1 ile 4 bayt arasında yer kaplar — Latin harfleri 1, Azerbaycan Türkçesinin özel harfleri (ə, ş, ç, ğ, ı, ö, ü) ve Kiril harfleri 2, € işareti ve Çince karakterlerin çoğu 3, emojiler ise 4 bayt.

1. 1
   Harfleri say

   Her sözcüğün harflerini ayrı ayrı say ve topla.

2. 2
   Boşlukları ekle

   Sözcükler arasında birer boşluk varsa boşluk sayısı = sözcük sayısı − 1.

3. 3
   Noktalama işaretlerini unutma

   Nokta, virgül, soru ve ünlem işaretleri, tırnaklar, tire ve rakamlar da karakterdir.

4. 4
   Çarp ve çevir

   K’yi 8 (ASCII) ya da 16 (UNICODE) bitle çarp, sonra istenen birime geç.

s = "Small steps lead to big results."
print(len(s))                    # spaces and the dot included
print(len(s) * 8, len(s) * 16)   # bits in ASCII and in UNICODE
for w in ["Salam", "Gəncə", "Баку", "€"]:
    print(w, len(w.encode("utf-8")))   # real size in UTF-8, bytes

32
256 512
Salam 5
Gəncə 7
Баку 8
€ 3

Belgeler, alfabenin gücü ve iletim

Birkaç sayfalık bir belgede karakter sayısı K = sayfa · satır · satırdaki karakter sayısıdır. Sınav sorularında sayılar genellikle ikinin kuvvetleridir (32 satır, 64 karakter), bu yüzden üslerle hesaplamak kolaydır. Tersine, hacim biliniyorsa karakter başına bit sayısı ve alfabenin gücü bulunabilir.

Bir metin iletişim kanalından gönderilirken “Bilginin ölçülmesi: bit, bayt ve birimler” dersindeki I = v · t formülü geçerlidir: metnin bit cinsinden hacmi = hız · süre.

s = "Bakı is the capital of Azerbaijan."
# print the UNICODE volume in bits

544

Bir sonraki derste, “Bilgisayar grafiği: raster ve vektör görüntülerin kodlanması”, resimlerin nasıl kodlandığını öğreneceğiz; orada da N = 2ⁱ formülü temel rol oynar.