Конечно! Вот пример хорошо составленного файла `robots.txt`, который можно использовать на веб-сайте:
```
# Этот файл управляет доступом поисковых роботов к вашему сайту
User-agent: *
Disallow: /private/ # Запретить доступ ко всем страницам в папке private
Disallow: /tmp/ # Запретить доступ ко всем страницам в папке tmp
Disallow: /config.php # Запретить доступ к конкретному файлу
# Разрешить доступ к сайту, за исключением указанных выше
Allow: /
# Время обновления в часах для поисковых систем
Crawl-delay: 10 # Пауза в 10 секунд между запросами
# Sitemap для поисковых систем
Sitemap: https://www.yourwebsite.com/sitemap.xml
```
### Объяснения:
- `User-agent: *` — это правило применяется ко всем поисковым системам.
- `Disallow:` — указывает, какие страницы или директории не должны индексироваться.
- `Allow:` — явное разрешение индексации определённых страниц или папок, если есть заблокированные общие правила.
- `Crawl-delay:` — задаёт время в секундах, которое поисковый робот должен ждать между запросами к вашему сайту (некоторые поисковые системы могут не поддерживать этот параметр).
- `Sitemap:` — указывает расположение файла карты сайта, что помогает поисковым системам находить ваши страницы.
Вы можете адаптировать файл `robots.txt` под нужды вашего сайта, добавляя или изменяя правила в зависимости от структуры и контента.