# ═══════════════════════════════════════════════════════ # ROBOTS.TXT для proverka.bel # Система проверки организаций Беларуси # Обновлено: 12 октября 2025 # ═══════════════════════════════════════════════════════ # ─────────────────────────────────────────────────────── # 🤖 Правила для всех роботов # ─────────────────────────────────────────────────────── User-agent: * Allow: / # 🚫 Блокировка SEO-спама и клоакинга # Параметры p=, a=, ct=, o=, s= используются спамерами Disallow: /*?p=* Disallow: /*?a=* Disallow: /*?ct=* Disallow: /*?o=* Disallow: /*?s=* Disallow: /*&p=* Disallow: /*&a=* Disallow: /*&ct=* Disallow: /*&o=* Disallow: /*&s=* # 🔒 Защита приватных и технических разделов Disallow: /admin/ Disallow: /ckeditor5/ Disallow: /static/admin/ Disallow: /media/private/ Disallow: /api/ Disallow: /unsubscribe/ # ✅ Разрешаем индексацию публичного контента Allow: /static/ Allow: /media/ Allow: /region/ Allow: /organization/ Allow: /stati/ Allow: /privacy-policy/ Allow: /preparation/ # 📋 Блокировка технических файлов Disallow: /*.json$ Disallow: /*.xml$ Disallow: /*.csv$ Disallow: /*.sqlite$ Disallow: /*.db$ Disallow: /static/*.map$ # ✅ Карта сайта Sitemap: https://www.proverka.by/sitemap.xml # ─────────────────────────────────────────────────────── # 🔍 Специальные правила для Яндекса # ─────────────────────────────────────────────────────── User-agent: Yandex Allow: / Disallow: /*?p=* Disallow: /*?a=* Disallow: /*?ct=* Disallow: /*?o=* Disallow: /*?s=* Disallow: /admin/ Disallow: /ckeditor5/ Disallow: /api/ # 🧹 Clean-param для спам-параметров # Яндекс будет игнорировать эти параметры при индексации Clean-param: p&a&ct&o&s / # 🧹 Clean-param для UTM-меток и аналитики # Убираем дубли страниц из-за рекламных меток Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term / Clean-param: fbclid&gclid&yclid&_openstat&from / Clean-param: ref&referer&source&click_id / # 🏠 Главное зеркало сайта Host: www.proverka.by # ─────────────────────────────────────────────────────── # 🌐 Google Bot # ─────────────────────────────────────────────────────── User-agent: Googlebot Allow: / Disallow: /admin/ Disallow: /ckeditor5/ Disallow: /api/ Disallow: /*?p=* Disallow: /*?a=* Disallow: /*?ct=* Disallow: /*?o=* Disallow: /*?s=* # ─────────────────────────────────────────────────────── # 🤖 Управление агрессивными ботами # ─────────────────────────────────────────────────────── # AhrefsBot - SEO-инструмент (ограничиваем) User-agent: AhrefsBot Crawl-delay: 10 Disallow: / # SemrushBot - SEO-инструмент (ограничиваем) User-agent: SemrushBot Crawl-delay: 10 Disallow: / # MJ12bot - Majestic SEO (блокируем) User-agent: MJ12bot Disallow: / # DotBot - Moz crawler (блокируем) User-agent: DotBot Disallow: / # BLEXBot - агрессивный бот (блокируем) User-agent: BLEXBot Disallow: / # PetalBot - Huawei bot (ограничиваем) User-agent: PetalBot Crawl-delay: 10 # SeznamBot - Чешская поисковая система (ограничиваем) User-agent: SeznamBot Crawl-delay: 10 # ─────────────────────────────────────────────────────── # 📊 Дополнительная информация # ─────────────────────────────────────────────────────── # Основной сервис: Проверка организаций Беларуси # Регионы: Минск, Брест, Витебск, Гомель, Гродно, Могилев