От того, насколько грамотно продумана структура сайта, зависит индексация сайта поисковыми системами, а стало быть, и трафик заинтересованных посетителей.
Есть ряд факторов, препятствующих поисковым роботам свободно и быстро обходить страницы сайта.
Когда все страницы сайта находятся в базе поисковой системы и соответственно в выдаче конечно хорошо, но иногда бывает так, что совсем нежелательно, чтобы отдельные страницы сайта попадали в индекс поисковой системы. Это могут быть разделы, которые никакой информационной пользы не несут, а лишь засоряют индекс поисковика, из-за чего, при очередном проходе робота нужные страницы могут не попасть в индекс из-за ограничений на количество индексируемых документов за один проход.
Для того чтобы этого избежать, для управления индексацией сайта составляется специальный служебный файл для поисковых роботов – robots.txt.
Оптимизация структуры сайта относится скорее к юзабилити, но справедлива и для поисковой оптимизации, так как поисковые роботы ведут себя на сайте почти также, как и посетители.
