1. Создайте текстовый документ. Откройте любой текстовый редактор, такой как Notepad++ или Sublime Text, и создайте новый документ.
2. Напишите правила. В файле robots.txt необходимо указать правила для поисковых роботов. Например, чтобы запретить индексацию всего сайта, используйте следующий код:
User-agent: *
Disallow: /
Этот код означает, что все роботы не должны индексировать ваш сайт.
3. Укажите адреса страниц. Если вы хотите, чтобы роботы не индексировали определенные страницы или папки на вашем сайте, укажите их в файле robots.txt. Например:
User-agent: *
Disallow: /private/
Disallow: /admin/
Этот код запрещает роботам индексировать страницы, находящиеся в папках "private" и "admin".
4. Сохраните файл. После того, как вы написали все правила, сохраните файл как "robots.txt" без кавычек. Обязательно используйте такое название файла, чтобы поисковые роботы могли найти его на вашем сайте.
5. Загрузите файл на сервер. После того, как файл robots.txt создан, загрузите его на сервер вашего сайта. Проверьте корректность работы файлов, открыв ваш сайт и добавив после него robots.txt (например, www.example.com/robots.txt).
Теперь у поисковых роботов будет доступ к вашему файлу robots.txt, который поможет им правильно индексировать ваш сайт.