Поисковая система состоит из следующих основных компонентов:

Indexer (индексатор) - программа, которая анализирует веб-страницы, скаченные пауками.

Database (база данных) – хранилище скачанных и обработанных страниц.

Search engine results engine (система выдачи результатов) – извлекает результаты поиска из базы данных.

Web server (веб-сервер) – веб-сервер, какой осуществляет взаимодействие между пользователем и остальными компонентами поисковой системы.

Spider (паук) - браузероподобная программа, которая скачивает веб-страницы.

Crawler (краулер, «путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице.

Spider. Паук - это программа, которая скачивает веб-страницы тем же способом, что и браузер пользователя. В чем отличие? Браузер отображает информацию, содержащуюся на странице (текстовую, графическую и т.д.). Паук не имеет никаких визуальных компонент и работает напрямую с html-текстом страницы (вы можете сделать «просмотр html-кода» в вашем браузере, для того чтобы увидеть «чистый» html-текст).

Crawler. Выделяет от мала до велика ссылки, присутствующие на странице. Его задача - установить, куда дальше должен шагать паук, основываясь на ссылках или исходя из заблаговременно заданного списка адресов. Краулер, следуя по найденным ссылкам, осуществляет розыск новых документов, еще неизвестных поисковой системе.

Indexer. Индексатор разбирает страницу и анализируетсоставные части. Анализируются различные элементы страницы, текст, заголовки, стилевые особенности, структура, специальные служебные html-теги и т.д.

Database. Порой базу данных называют индексом поисковой системы. База данных - это хранилище всех данных, которые поисковая система скачивает и анализирует. 

Search Engine Results Engine. Система выдачи результатов занимается ранжированием страниц. Она решает, какие страницы удовлетворяют запросу пользователя, и в каком порядке они должны быть отсортированы. Эта информация является наиболее ценной и интересной для нас – пытаясь улучшить позиции сайта в выдаче, именно с этим компонентом поисковой системы работает оптимизатор.

Web server. Веб-сервер также отвечает за выдачу результатов пользователю в виде html-страницы. Обычно на сервере присутствует html-страница с полем ввода, в котором пользователь может задать поиск интересующего слова или фразы.