İnternetdə axtarış: axtarış sistemləri və sorğular

Aysel Xəzər suitiləri haqqında layihə hazırlayır. Axtarış sisteminə «Xəzər» yazanda milyonlarla səhifə tapılır — hamısını oxumaq mümkün deyil. «Xəzər suitisi» yazanda nəticələr xeyli azalır, açar sözlərə «qorunması» sözünü də əlavə edəndə isə daha da azalır. Sorğunu düzgün qurmaq lazım olanı saatlarla yox, dəqiqələrlə tapmağa kömək edir. DİM-in qəbul imtahanında da bu mövzu yoxlanılır: 2025–2026-cı illərin dörd imtahanının üçündə kodlaşdırılan tapşırıq verilib — cədvəldə sorğular və tapılan səhifələrin sayı göstərilir, başqa bir sorğunun nəticəsini tapmaq lazımdır.

Axtarış sistemi necə işləyir

Sorğu verildiyi anda axtarış sistemi bütün interneti gəzmir — bu, saatlar, hətta günlər çəkərdi. O, əvvəlcədən hazırlanmış indeksdə axtarır. İş belə gedir:

1. 1
   Axtarış robotu səhifələri gəzir

   Xüsusi proqram — axtarış robotu («hörümçək», krauler) — səhifədən səhifəyə istinadlar vasitəsilə keçir və hər səhifənin mətnini yükləyir.

2. 2
   İndeksləmə

   Hər söz üçün həmin sözün rast gəlindiyi səhifələrin siyahısı tərtib olunur. Bu, kitabın sonundakı əlifba göstəricisinə bənzəyir: «Nizami — səh. 12, 48, 95».

3. 3
   Sorğunun emalı

   Sorğudakı açar sözlər indeksdə tapılır, onların səhifə siyahıları məntiqi əməllərə uyğun olaraq kəsişdirilir və ya birləşdirilir.

4. 4
   Sıralama

   Tapılan səhifələr sorğuya uyğunluğuna görə düzülür: açar söz başlıqdadırmı, səhifəyə neçə sayt istinad edir və s. Nəticə səhifəsində təxmini say da göstərilir, məsələn, «təxminən 120 000 nəticə».

Deməli, hər açar söz müəyyən səhifələr çoxluğu verir: bu sözün rast gəlindiyi bütün səhifələr. Sorğudakı məntiqi əməllər isə bu çoxluqlar üzərində əməllərdir. Dərsin qalan hissəsi bu sadə fikrə əsaslanır.

Sorğu dili: AND, OR, NOT

Açar sözləri məntiqi əməllərlə birləşdirmək olar. DİM tapşırıqlarında əməllər ingiliscə yazılır — AND, OR, NOT; bəzi kitablarda onların yerinə &, | və ~ işarələri işlədilir. Bu əməlləri «Məntiq əməliyyatları və məntiq elementləri» dərsindən tanıyırsınız: indi onlar mülahizələrə yox, səhifə çoxluqlarına tətbiq olunur.

Mötərizə olmayanda əvvəlcə NOT, sonra AND, ən sonda OR yerinə yetirilir. Məsələn, A OR B AND C sorğusu A OR (B AND C) deməkdir. Başqa ardıcıllıq lazımdırsa, mötərizə yazılır: (A OR B) AND C. Real axtarış sistemlərinin öz qaydaları da var: məsələn, Google-da boşluqla yazılan sözlər AND kimi birləşir, OR böyük hərflərlə yazılır, sözün qarşısındakı mənfi işarəsi (-reklam) həmin sözü istisna edir, dırnaq isə dəqiq ifadəni axtarır.

Eyler–Venn diaqramları: iki açar söz

Hər açar sözün tapdığı səhifələri dairə ilə göstərək. Dairələrin ortaq hissəsi hər iki sözün olduğu səhifələrdir (AND), iki dairənin birlikdə tutduğu bütün sahə OR-un nəticəsidir, dairənin digər dairəyə düşməyən hissəsi isə NOT ilə alınır. Belə şəkil Eyler–Venn diaqramı adlanır.

A OR B sorğusunun səhifələrini saymaq üçün n(A) və n(B)-ni toplayanda ortaq hissə iki dəfə sayılır: o, həm A dairəsinin, həm də B dairəsinin içindədir. Ona görə onu bir dəfə çıxırıq:

Üç açar söz: DİM tapşırıqları

Üç açar söz olanda üç dairə diaqramı 7 hissəyə bölür. Hissələri nömrələyək və hər hissədəki səhifələrin sayını N₁, N₂, …, N₇ ilə işarə edək. Hər sorğu bu hissələrin bəzilərinin cəmidir — tapşırığın bütün sirri bundadır.

1. 1
   Diaqram çəkin

   Açar sözlər qədər dairə çəkin və hissələri nömrələyin.

2. 2
   Cədvəli hissələrlə yazın

   Cədvəlin hər sətrini hissələrin cəmi kimi yazın, məsələn: n(B AND C) = N₆ + N₇.

3. 3
   Mərkəzdən başlayın

   Ən dar sorğudan (adətən üç sözün AND-i) başlayın və hissələri içəridən çölə doğru tapın.

4. 4
   Soruşulan sorğunu hissələrlə yazın

   Hansı hissələrin cəmi lazım olduğunu müəyyən edin və hesablayın.

5. 5
   Yoxlayın

   Heç bir hissə mənfi olmamalıdır; mümkünsə cavabı düsturla da yoxlayın.

Sorğu əməlləri Python-dakı çoxluq əməllərinə tam uyğundur: & — AND, | — OR, - — AND NOT. Kiçik nümunədə düsturu özünüz yoxlayın (səhifələr nömrələrlə göstərilib):

football = {1, 2, 3, 4, 5, 6, 7}
volleyball = {5, 6, 7, 8, 9}
basketball = {2, 7, 9, 10}

print('football AND volleyball:', sorted(football & volleyball))
print('football OR volleyball:', sorted(football | volleyball))
print('football AND NOT volleyball:', sorted(football - volleyball))
print('(football OR volleyball) AND basketball:',
      sorted((football | volleyball) & basketball))

# inclusion-exclusion: n(A OR B) = n(A) + n(B) - n(A AND B)
n_or = len(football) + len(volleyball) - len(football & volleyball)
print(n_or, len(football | volleyball))

football AND volleyball: [5, 6, 7]
football OR volleyball: [1, 2, 3, 4, 5, 6, 7, 8, 9]
football AND NOT volleyball: [1, 2, 3, 4]
(football OR volleyball) AND basketball: [2, 7, 9]
9 9