Поиск в интернете: поисковые системы и запросы

Айсель готовит проект о каспийских тюленях. По запросу «Каспий» поисковая система находит миллионы страниц — прочитать их все невозможно. По запросу «каспийский тюлень» результатов намного меньше, а если добавить слово «охрана», их станет ещё меньше. Правильно составленный запрос находит нужное за минуты, а не за часы. Эту тему проверяет и вступительный экзамен DİM: в трёх из четырёх экзаменов 2025–2026 годов было кодируемое задание — в таблице даны запросы и число найденных страниц, а нужно найти результат другого запроса.

Как работает поисковая система

В момент запроса поисковая система не обходит весь интернет — это заняло бы часы и даже дни. Она ищет в заранее подготовленном индексе. Работа идёт так:

1. 1
   Поисковый робот обходит страницы

   Специальная программа — поисковый робот («паук», краулер) — переходит со страницы на страницу по ссылкам и загружает текст каждой страницы.

2. 2
   Индексирование

   Для каждого слова составляется список страниц, на которых оно встречается. Это похоже на алфавитный указатель в конце книги: «Низами — с. 12, 48, 95».

3. 3
   Обработка запроса

   Ключевые слова запроса ищутся в индексе, а их списки страниц пересекаются или объединяются в соответствии с логическими операциями.

4. 4
   Ранжирование

   Найденные страницы упорядочиваются по соответствию запросу: есть ли слово в заголовке, сколько сайтов ссылается на страницу и т. д. На странице результатов показано и примерное число, например «около 120 000 результатов».

Итак, каждое ключевое слово задаёт множество страниц — все страницы, где встречается это слово. А логические операции в запросе — это операции над такими множествами. На этой простой идее построена вся остальная часть урока.

Язык запросов: AND, OR, NOT

Ключевые слова можно соединять логическими операциями. В заданиях DİM они пишутся по-английски — AND, OR, NOT; в некоторых книгах вместо них используют знаки &, | и ~. Эти операции вы знаете по уроку «Логические операции и логические элементы»: теперь они применяются не к высказываниям, а к множествам страниц.

Если скобок нет, сначала выполняется NOT, затем AND и последним OR. Например, запрос A OR B AND C означает A OR (B AND C). Если нужен другой порядок, ставят скобки: (A OR B) AND C. У настоящих поисковых систем есть и свои правила: например, в Google слова через пробел соединяются как AND, OR пишется заглавными буквами, минус перед словом (-реклама) исключает его, а кавычки ищут точную фразу.

Круги Эйлера — Венна: два ключевых слова

Изобразим страницы, найденные по каждому ключевому слову, кругом. Общая часть кругов — страницы, где есть оба слова (AND), вся площадь, занятая двумя кругами, — результат OR, а часть круга вне другого круга получается с помощью NOT. Такой рисунок называется кругами Эйлера — Венна.

Если сложить n(A) и n(B), чтобы сосчитать страницы запроса A OR B, общая часть будет учтена дважды: она лежит и в круге A, и в круге B. Поэтому её вычитают один раз:

Три ключевых слова: задания DİM

При трёх ключевых словах три круга делят диаграмму на 7 частей. Пронумеруем части и обозначим число страниц в каждой из них N₁, N₂, …, N₇. Любой запрос — это сумма некоторых из этих частей; в этом весь секрет задания.

1. 1
   Нарисуйте диаграмму

   Нарисуйте по кругу на каждое ключевое слово и пронумеруйте части.

2. 2
   Запишите таблицу через части

   Каждую строку таблицы запишите как сумму частей, например: n(B AND C) = N₆ + N₇.

3. 3
   Начните с центра

   Начните с самого узкого запроса (обычно AND всех трёх слов) и находите части изнутри наружу.

4. 4
   Выразите искомый запрос

   Определите, из каких частей состоит искомый запрос, и сложите их.

5. 5
   Проверьте

   Ни одна часть не может быть отрицательной; по возможности проверьте ответ и по формуле.

Операции запросов точно соответствуют операциям над множествами в Python: & — AND, | — OR, - — AND NOT. Проверьте формулу сами на маленьком примере (страницы обозначены номерами):

football = {1, 2, 3, 4, 5, 6, 7}
volleyball = {5, 6, 7, 8, 9}
basketball = {2, 7, 9, 10}

print('football AND volleyball:', sorted(football & volleyball))
print('football OR volleyball:', sorted(football | volleyball))
print('football AND NOT volleyball:', sorted(football - volleyball))
print('(football OR volleyball) AND basketball:',
      sorted((football | volleyball) & basketball))

# inclusion-exclusion: n(A OR B) = n(A) + n(B) - n(A AND B)
n_or = len(football) + len(volleyball) - len(football & volleyball)
print(n_or, len(football | volleyball))

football AND volleyball: [5, 6, 7]
football OR volleyball: [1, 2, 3, 4, 5, 6, 7, 8, 9]
football AND NOT volleyball: [1, 2, 3, 4]
(football OR volleyball) AND basketball: [2, 7, 9]
9 9