Поисковой робот

Отдельный модуль поисковой системы, основная задача которого осуществлять сканирование ресурсов в сети Интернет и передавать полученные данные в головной компьютер для последующей индексации. Поисковой робот двигается по ссылкам, которые присутствуют на сканируемых страницах. Веб-мастер может устанавливать глубину проникновения поискового робота на сайт, в результате чего проиндексированной оказывается не вся площадь ресурса. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины. Запретить индексацию всего сайта или его части можно с помощью файла robots.txt, содержащего инструкции для поисковых роботов.