robots.txt — это текстовый файл, который содержит инструкции для поисковых роботов. Содержимое файла представлено одной или более групп директив, которые позволяют управлять индексацией сайта. Помимо ...
Sitemap.xml - это файл в специальном расширяемом формате XML (Extensible Markup Language) с ссылками на страницы сайта и информации о дате, частоте и приоритизации этих страниц. Карта сайта xml нужна...
