Web-страницы в Интернет

...

URL

Web-страницы

Заявки на индексирование страниц

ПМ (Search Engine)

Spider, (crowler, robot)

Пользователь

Рис. 1. Схема функционирования ПМ

Кроме создания индекса, некоторые ПМ сохраняют копии проиндексированных страниц (кэширование страниц). Эти копии используются, когда доступ к самой странице по какой-нибудь причине невозможен.

Следует отметить еще одно обстоятельство. Владельцы сайтов имеют возможность размещать на своих страницах платную рекламу, поэтому они заинтересованы в увеличении количества обращений к своим страницам. С этой целью недобросовестные создатели страниц включают в скрытом виде слова, на самом деле не нужные в документе, или пользуются другими приемами для увеличения популярности своих страниц. Для защиты от подобных действий некоторые ПМ при индексировании используют механизмы распознавания таких приемов и принимают меры вплоть до отказа от индексирования таких страниц.

Формирование запроса на поиск информации

Для начала работы с ПМ пользователь обращается к ней как к любой Web-странице, т.е. с помощью своего браузера. Обычно по адресу ПМ лежит ее главная страница, которая является (в терминах системы клиент-сервер) агентом ПМ, обеспечивающим пользовательский интерфейс ПМ. Эта страница содержит окна ввода запроса (обычно в главном окне представлен самый простой вариант синтаксиса запроса), а также ссылки для вызова страниц с окнами для ввода более сложных запросов, помощи и пр. Запрос представляет собой совокупность критериев, которым должны удовлетворять искомые страницы. В простейшем случае это просто ключевые слова, в более сложных - ключевые слова, связанные определенными соотношениями, например операторами булевой алгебры, и, кроме того, различные ограничители поиска и опции. Запрос отправляется в ПМ также через браузер в виде URL, который содержит, кроме адреса точки входа в программу ПМ, еще и все данные запроса.

Поиск и выдача результатов

Запрос, принятый ПМ, поступает в блок обработки запроса и формирования списка результатов, т.е. списка адресов страниц, соответствующих данному запросу. Кроме адресов, для каждой страницы могут выдаваться заголовок документа, краткое содержание и другие сведения. Совокупность сведений по каждой странице, которые предоставляются в списке результатов, будем называть результатом. В процессе выборки из индекса подходящих страниц, для каждой страницы вычисляется ее показатель релевантности (score), который является численным выражением степени соответствия страницы запросу. Пользователь получает список результатов, отсортированный по значениям показателей релевантности [4]. Результаты поиска предоставляются в виде Web-страниц, на которых располагается по 10 - 50 результатов. Пользователю предоставляется возможность последовательно просматривать страницы результатов. Некоторые ПМ позволяют вызывать страницы результатов по номерам этих страниц (прямой доступ).

II. Язык запроса

Под языком запроса ПМ будем понимать морфологию и синтаксис всех сведений, которые пользователь сообщает ПМ прежде, чем начнется процесс поиска.

С морфологической точки зрения данные, содержащиеся в запросе, можно разделить на следующие группы:

-критерии отбора страниц;

-технология выполнения поиска;

-параметры формы представления результатов.

Если обобщить и структурировать сведения, которые могут содержаться в запросах известных ПМ, то получим структуру "обобщенного" языка запросов, которая приведена на рис. 2.

Критерии отбора страниц

Параметры формы представления результатов

Критерии семантического отбора

Указатели элементов страниц

Указатели типов и форматов данных

Ограничения по дате создания страниц

Указатели области Web-пространства

Параметры сортировки

Повторный поиск

Количество результатов

Общие параметры формы списка результатов

Параметры представления информации о каждой странице

Рис. 2. Структура "обобщенного" языка запросов.