Прескочи към съдържанието
← SEO речник

robots.txt

robots.txt е текстов файл с правила за обхождане на URL адреси от поддържащите го роботи. Файлът се намира в основната директория на съответния сайт.

Примерен robots.txt

User-agent: *
Disallow: /filter/
Allow: /products/
Sitemap: https://example.com/sitemap.xml

Пример за example.com, не действителните правила на Z-Consult. Това не е защита на частни данни.

Правила за обхождане

Робот, който спазва правилата → robots.txt · User-agent → Allow → разрешен път → Disallow → забранен път
Правилата управляват обхождането, не защитават информация и не гарантират изключване от индекса.
Текстова версия
  • Робот, който спазва правилата
  • robots.txt · User-agent
  • Allow → разрешен път
  • Disallow → забранен път

Защо има значение

Правилата насочват обхождането към нужните части от сайта. Те могат да ограничат заявки към маловажни варианти, но не защитават лична информация.

Как работи

User-agent избира робота, за който важат правилата. Allow и Disallow описват разрешени и забранени пътища. Правилата се отнасят до конкретния протокол, хост и порт, за които е публикуван файлът.

Пример

Пример: User-agent: * Disallow: /filter/ Това заявява ограничение за обхождането на адреси под /filter/ от роботи, които спазват правилата.

Чести грешки

Забранен за обхождане URL все пак може да бъде показан в търсене. Ако роботът не може да отвори страницата, може да не види нейния noindex. За частни данни използвайте реална проверка на достъпа.

Как да проверите в практиката?

Файлът е в корена на конкретния протокол и host, например https://example.com/robots.txt. Проверете User-agent групата и съвпадението на пътя. Правилата за Google са чувствителни към главни и малки букви; при Allow/Disallow е важна най-специфичната съвпадаща инструкция.

Разлики и ограничения

robots.txt управлява обхождането, не индексирането или поверителността. Sitemap посочва файл с адреси, но не разрешава иначе забранен път. Google не поддържа noindex като robots.txt директива; за това се използва достъпна meta или HTTP инструкция.

Синтаксис на директивите

User-agent избира групата правила. Disallow задава забранен път, Allow — разрешен; празен Disallow не забранява всички адреси. Sitemap използва абсолютния URL на картата. Коментарите започват с #; примерният файл не описва реалните правила на Z-Consult.

Достъп до ресурси

Блокирани изображения, CSS или JavaScript могат да попречат на правилното разбиране на страницата. Проверете не само HTML адреса, а и ресурсите му. Правилата важат за съответния host и протокол, не автоматично за всички поддомейни.

Официални източници

Редакционна отговорност: Мартин Желязков · Основател на Z-Consult

Обновено: 5.11.2026 г.

За корекция или въпрос: office@z-consult.bg