Данный вопрос достаточно хорошо освещен в сети, как в принципе и любой другой. Но повторить теорию лишним я думаю не будет.
В поисковую систему входят следующие составляющие:
Spider (паук) – это программа на подобие браузера, при помощи которой скачиваются веб-страницы.
Indexer (индексатор) – программа при помощи которой анализируются веб-страницы скаченные пауком.
Crawler (краулер) – программа при помощи которой можно автоматически проходить по всем ссылкам, которые найдутся на странице.
База данных – это хранилище где хранятся скаченные и обработанные страницы.
Система выдачи результатов – программа при помощи, которой извлекаются результаты поиска из баз данных.
Веб-сервер – осуществляет взаимодействие между пользователями и остальными компонентами.

Реализация поисковых механизмов может быть разной (к примеру, связка Паук, Краулер и Индексатор может выполняться в виде одной программы, при помощи которой скачиваются известные веб-странциы, анализируются и по ссылкам ищутся новые ресурсы), но все поисковые системы обладают общими чертами.
Паук (Spider) – программа при помощи которой можно скачать веб-страницы таким же способом, что и браузер. Отличие заключается в том, что браузер показывает информацию, которая содержится на странице (текстовая, графическая и т.д.), в то время как у паука нет никаких визуальных компонентов и напрямую работает с html-текстом.
Краулер (Crawler) – заключается в выделении всех ссылок, присутствующих на странице. Его задачей является – определение, куда далее должен следовать паук, на основании ссылок или исходя из задуманного списка адресов. Краулер следует по найденным ссылкам и ищет новые документы, ещё неизвестные поисковым системам.
Индексатор. Индексатор разбирает страницы на части и затем анализирует их. Выделяет и анализирует элементы страницы (к примеру текст, html-теги, заголовки и т.д.).

База данных – хранит все данные, которые поисковые системы скачивают и анализируют. Базу данных иногда называют индексом поисковых систем.
Система выдачи результатов. Занимается упорядочиванием страниц. Также она отбирает какие страницы подходят под запрос пользователя и в какой последовательности они будут отсортированы. Происходит это благодаря алгоритмам упорядочивания поисковых систем. Эта информация является интересной для нас – и именно с этой составляющей поисковых систем работает оптимизатор, стараясь улучшить позиции сайтов при выдаче. Далее мы более подробно рассмотрим все факторы, которые влияют на упорядочивание результатов.
Веб-сервер. На сервере сущестувет html-страница с полем для ввода, куда пользователь может ввести интересующие его поисковые термины. Веб-сервер выдает результаты пользователям в виде html-страниц.

Для стабильной работы сайта и его индексации поисковиками рекомендуем арендовать сервер у качественного провайдера. Выбрать Вам поможет интернет и отзывы пользователей.

Рекомендую прочесть

• Бесплатный прогон по каталогам от меня! (125)
• ТИЦ 30, PR 2 (75)
• Продолжение моей акции “Бесплатный прогон по каталогам и доскам!” (60)
• С наступающим Новым Годом! Дарю подарки! (34)
• Теперь мне не нужно думать, на какую тему написать пост! (32)

Enter your email address: