Начало данной публикации смотри в http://zhurnal.ape.relarn.ru/artides/2000/042.pdf Продолжение данной публикации смотри в http://zhurnal.ape.relarn.ru/articles/2000/045 .pdf

ТЕХНОЛОГИИ РАБОТЫ В WEB-ПРОСТРАНСТВЕ ИНТЕРНЕТ

Часть III. Средства метапоиска

Адамович И.М. (1), Заикин М.Ю. (1), Заусаев О.В. (2), Пешков А.Н. (1)

(peshkov@amsd.ru)

(1) Институт проблем информатики РАН, (2) ООО "АДВАНСЕД МАЛ-

ТИМЕДИА СИСТЕМ ДИЗАЙН"

Каждая конкретная поисковая машина, даже универсальная, охватывает индексацией, т.е. включает в сферу своего поиска, от нескольких десятков миллионов до 200-300 миллионов из почти миллиарда доступных для индексирования страниц. При этом степень перекрытия адресов для "равновеликих" ПМ, т.е. соизмеримых по количеству проиндексированных страниц, не превышает 60%. Появляется необходимость обращения с данным запросом в целях увеличения охватываемой поиском области WEB-пространства к нескольким поисковым машинам.

Инструменты поиска, реализующие такую возможность, принято называть метапоисковыми средствами. Они подразделяются на порталы (All-In-One Search Pages), метапоисковые машины (Meta Search Engines или Meta-crawlers) и метапоисковые утилиты (Meta Search Utilities).

Порталы, рассматриваемые в качестве метапоискового средства, предоставляют возможность пользователю с одной HTML страницы обращаться посредством ссылок ко многим ПМ, но при этом одновременно только к одной, выбранной им.

Некоторые из таких порталов обеспечивают пользователю предварительный выбор тематической категории, а затем предлагают перечень ПМ, наиболее полно охватывающих выбранную тему.

Пользовательский интерфейс, а также возможности по составлению запроса и формированию результата полностью соответствуют характеристикам той ПМ, к которой обратился пользователь.

В качестве дополнительной возможности отдельные порталы предлагают поле для записи ключевых слов, которые затем автоматически появляются в соответствующем поле агента актуализированной ПМ.

Никаких средств для обработки результатов, полученных от разных ПМ, порталы не предоставляют. Эта функция полностью возлагается на пользователя.

Таким образом, можно сделать вывод о том, что порталы не расширяют функциональности каждой конкретной ПМ. Они обеспечивают экономию ресурсов пользователя, повышая эффективность обращения с одним запросом к нескольким ПМ, когда такие обращения необходимы в силу специфики поиска или расширения охвата информационного пространства Web.

Характеристики наиболее известных порталов приведены в таблице 1.

Таблица 1

Метапоисковые машины, в отличие от отдельной ПМ, также работая в режиме on-line и являясь поисковыми серверами, сами не просматривают Web-пространство и не имеют собственного индекса.

Они обеспечивают пользователю через предоставляемый ими интерфейс возможность формировать единый запрос на поиск и передавать его на обработку нескольким поисковым машинам одновременно. При этом возможности языка формирования поискового выражения у МПМ, как правило, шире, чем у конкретной ПМ.

Если текущее поисковое выражение не превосходит возможностей той ПМ, которой оно направляется, оно только переводится в понятную ей форму. Если возможности ПМ не позволяют реализовать поисковое выражение, оно предварительно адаптируется с заменой или исключением некоторых

операций или операндов. Например, если ПМ не реализует операцию NEAR, она заменяется на операцию AND. Если ПМ не понимает операцию NOT, она исключается из поискового выражения. Возможны другие варианты преобразования поискового выражения.

Естественно, что при этом степень соответствия получаемых от ПМ результатов поисковому запросу, сформулированному пользователем, уменьшается.

Полученные от каждой из запрошенных поисковых машин результаты могут быть представлены или в виде единого списка, или в разрезе ПМ. Единый список сортируется в соответствии с пожеланиями пользователя по доменам, сайтам, релевантности и ряду других характеристик. Также удаляются дубликаты адресов документов (если страница найдена несколькими ПМ), и могут быть исключены «умершие» ссылки, т.е. ссылки на те документы, которые внутри периода индексации поискового пространства WEB, покрытого нашедшей их ПМ, перестали существовать. Эту последнюю операцию не реализует ни одна из проанализированных нами поисковых машин.

Необходимо сказать, что при создании единого списка результатов, отсортированного по релевантности, т.е. по степени семантического соответствия результата запросу, возникает проблема неоднозначности оценки релевантности различными ПМ. Каждая из них реализует свой алгоритм оценки и опирается при этом на собственные критерии. Корректно решить проблему можно только посредством проверки содержания страниц, представленных в списке результатов, на соответствие поисковому выражению с использованием единого алгоритма и критериев оценки релевантности. Это позволяют делать метапоисковые утилиты, обеспечивающие выполнение такой обработки на компьютере пользователя.

Дополнительной возможностью, предоставляемой рядом МПМ, является предварительный выбор тематической категории поиска и выдача перечня рекомендуемых по этой теме ПМ. Список рекомендуемых поисковых машин может быть отредактирован пользователем.

Следует заметить, что при использовании МПМ теряется целый ряд опциональных функций, которыми располагают поисковые машины. Например, актуализация по датам, поиск по содержанию ссылок и типу файлов, на которые имеются указания в тексте документа, наличию изображений в странице и т. д.

Характеристики наиболее популярных метапоисковых машин приведены в таблице 2.

Метапоисковые утилиты, подобно метапоисковым машинам, одновременно посылают запрос пользователя более чем к одной ПМ. Однако, в отличие от них, эти инструменты работают непосредственно на компьютере пользователя.

Результаты выполняемых поисковыми машинами запросов также поступают на компьютер пользователя, где могут быть подвергнуты дополнительной обработке - сортировке, исключению «мертвых» ссылок и дублей, актуализации по указанному временному интервалу. Могут быть получены и