Май, 2012

Создание и проверка Robots.txt

SEO
.

Robots.txt – файл, содержащий в себе различные инструкции для поисковых систем. Прочитав указания из robots.txt поисковый робот будет знать, в каком месте искать карту сайта, по какому адресу располагается основное зеркало ресурса и список страниц, индексация которых не требуется. Для примера, с помощью данного файла можно исключить появление в выдаче дублирующегося контента или конфиденциальной информации (документов, файлов и так далее).

Читайте полностью »

.