Sitemap.xml и Robot.txt

Автор: Кузьминич Евгений.

Этот странный на первый взгляд заголовок, не что иное, как имена двух служебных файлов, призванных помочь поисковым системам при индексировании, распознать какую информацию надо индексировать, а какую можно пропустить.

 return_links(1); ?>

Файл sitemap.xml является по сути электронной таблицей, в которой указана информация о структуре вашего сайта, какие он содержит страницы, какая связь между ними внутренними гиперссылками, есть даже информация о времени последнего обновления. Правда, поисковые системы стараются время последнего обновления откопать с сервера сайта, по причине использования динамических сайтов, у них время обновления страницы часто не совпадает с реальным. Вы конечно можете составить такой файл сами, но наш сайт для чайников, поэтому порекомендую небольшую и крайне простую в использовании программу для автоматического создания sitemap.exe, ее вы найдете на страничке полезные программы, там же приведено ее описание. Программа отлично работает с не очень большими статичными сайтами, создает карту сайта за одну секунду.

Файл robot.txt, текстовый файл, создается в обычном блокноте, предназначен для указания поисковым роботам, что нужно индексировать, а какие страницы пропустить.

 return_links(1); ?>

Пример содержимого такого файла приведен ниже:
User-agent: *
Disallow: /images/
Disallow: /_vti_cnf/
Disallow: /_vti_pvt/
Disallow: /_private/
Disallow: /dacha/images/
Disallow: /dacha/_vti_cnf/
Disallow: /dacha/_vti_pvt/
Disallow: /dacha/_private/
Disallow: /zakon.htm/

 

 

Строка "User-agent: * " - разрешает использование этого файла всем поисковым роботам.

Disallow: /_private/ - запрещает индексировать все файлы, находящиеся в папке /_private/.

Disallow: /dacha/_vti_cnf/ - запрещает индексировать все файлы, находящиеся во вложенной папке /dacha/_vti_cnf/.

Disallow: /zakon.htm/ - запрещает индексацию файла zakon.htm, расположенного в корневом каталоге сайта.

 return_links(); ?>

Существует множество команд для этого файла, можно разрешить одному поисковому роботу индексировать одни страницы, а другому другие и т.д., но начинающему вебмастеру это пока не нужно. Запрещают к индексации обычно служебные файлы, каталоги с картинками и т.д., т.е. ту информацию, которая не представляет интереса посетителям или может скомпрометировать Ваш сайт в глазах поисковых систем. Так же можно применить запрет на все кроме главной страницы, если Вы хотите, чтобы посетители не могли зайти на Ваш сайт кроме как через главный вход. Но это не наш метод, не имея проиндексированных страниц, мы не получим посетителей и не сможем зарабатывать на ссылках.

Оба эти файла должны размещаться в корневом каталоге Вашего сайта. Файлы являются не обязательными, но желательными. Например поисковики Яндекс и Google проверяют их наличие.

Перейти на главную страницу

 

Главная страница

Зарабатываем деньги:

Где заработать??? обзор рыбных мест.

 

Разное

Наш сайт в каталогах

 

 

Написать письмо вебмастеру folvarok@mail.ru

Использование материалов данного сайта разрешено при условии обязательной гиперссылки на данный ресурс. Авторские права на данный ресурс принадлежат Кузьминичу Евгению.

февраль 2010г.