# robots.txt для pro-ant.ru.
# Заведён 25.08.2026 (до этого отдавал 404), переписан 03.09.2026.
#
# ⚠ Почему всё в ОДНОЙ секции User-agent: *
# Поисковый робот читает только ту секцию, которая названа его именем, а
# остальные игнорирует целиком. Пока ниже стояла отдельная секция
# «User-agent: YandexBot» с двумя строчками, основной робот Яндекса не
# видел ни одного запрета из секции «*»: /sert/, /zatraty/, /ai-reply/ и
# тестовые скрипты были для него полностью открыты. То же было с GPTBot,
# PerplexityBot и остальными. Поэтому отдельных секций здесь больше нет —
# все роботы читают эту.
#
# Ботов нейропоиска (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot,
# Google-Extended, Applebot-Extended, meta-externalagent, Bytespider) мы
# намеренно НЕ закрываем: хотим, чтобы Алиса, ChatGPT и Perplexity
# цитировали наши статьи, а не статьи конкурентов. Карта для них —
# /llms.txt. Никакого «Disallow» на них нет, отдельная секция для этого
# не нужна: их пускает Allow: / ниже.

User-agent: *

# Служебные каталоги
#
# ⚠ /new2026/ (каталог редизайна) здесь СОЗНАТЕЛЬНО НЕ закрыт.
# Запрет в robots.txt запрещает обход, а не индексацию: робот не зашёл
# бы на страницу и не прочитал бы её «noindex», а адрес, о котором он
# узнал со стороны (внешняя ссылка или включённый обход по счётчику
# Метрики), мог попасть в выдачу пустой строкой. Вместо запрета в
# deploy/site/new2026/.htaccess на каждый ответ каталога поставлен
# заголовок X-Robots-Tag: noindex, nofollow, noarchive — его робот
# читает и в индекс не берёт ничего.
Disallow: /_stage/
Disallow: /sert/
Disallow: /zatraty/
Disallow: /ai-reply/
Disallow: /dedup-hook/
Disallow: /yandex-hook/
Disallow: /chat-hook/
Disallow: /sent_contact_backup/
Disallow: /1/
Disallow: /.idea/
Disallow: /vendor/

# Приём заявок, СМС, служебные пиксели — в поиске им делать нечего
Disallow: /amocrm_api.php
Disallow: /send.php
Disallow: /send-contact.php
Disallow: /send2-contact.php
Disallow: /send3-contact.php
Disallow: /send4-contact.php
Disallow: /send_sms.php
Disallow: /phone_check.php
Disallow: /msg-click.php
Disallow: /nedozayavka.php
Disallow: /vkreviews.php
Disallow: /vkreviews

# Данные и генераторы: отдают то же, что готовые страницы, либо пустоту
Disallow: /sitemap.php
Disallow: /articles-data.php
Disallow: /prices.php
Disallow: /parts.php
Disallow: /geo-data.php
Disallow: /geo-pages-data.php
Disallow: /geo-city.php
Disallow: /city-ip.php
Disallow: /gorod.php
Disallow: /article.php
Disallow: /articles.php

# Тесты и отладка
Disallow: /test3.php
Disallow: /test4.php
Disallow: /test_api.php
Disallow: /test_form.php
Disallow: /syntax_check.php
Disallow: /geo-debug.php
Disallow: /geo-probe.php
Disallow: /geo-try.php
Disallow: /geo-ya-test.php
Disallow: /update_sxgeo.php
Disallow: /sxgeo_update.php

# Внутренние документы, случайно оказавшиеся в корне
Disallow: /pay.docx
Disallow: /*.bak$
Disallow: /*.docx$
Disallow: /*.xlsx$

Allow: /

# ---------------------------------------------------------------------
# РЕКЛАМНЫЕ ХВОСТЫ — главная причина, по которой этот файл переписан.
#
# 03.09.2026 в поиске Яндекса было 1168 адресов сайта, а настоящих
# страниц — 43. Остальные 1125 — копии главной с рекламными метками:
# ?etext=… (834 адреса), ?pm_source=…&pm_block=…&pm_position=… (513),
# ?yprqee= (46), ?ybaip= (37) и ещё двадцать разных. Вебмастер честно
# писал: «1 125 (97 %) страниц содержат одинаковые title».
#
# Откуда они берутся: в Вебмастере включён обход по счётчику Метрики,
# и каждый адрес, на который приходит человек из Директа, попадает
# роботу в очередь на обход. Каждый клик по объявлению = новая копия
# главной в индексе.
#
# Clean-param говорит Яндексу: эти параметры на содержимое страницы не
# влияют, склей такой адрес с чистым. Именно это, а не Disallow,
# рекомендует сам Вебмастер на странице «Заголовки и описания».
#
# ⚠ Прежние строки «Disallow: /*?yclid=», «/*?utm_», «/*?roistat=»
# убраны СОЗНАТЕЛЬНО и возвращать их нельзя. Запрет обхода мешает
# склейке: робот не может зайти на адрес, не видит, что содержимое то
# же, и поведенческие факторы с рекламных переходов до главной не
# доходят. Google же вообще не понимает Clean-param и опирается на
# rel="canonical" — а чтобы его увидеть, страницу тоже надо обойти.
#
# ⚠ Что сюда добавлять НЕЛЬЗЯ: slug, cat, city, f, key, ip, dry —
# это рабочие параметры article.php, articles.php, gorod.php и
# служебных скриптов, от них зависит содержимое.

# Яндекс Директ и его метки
Clean-param: etext&yclid&ymclid&ysclid&yadclid&yadordid&ybaip&yprqee&ypppel&yqilp&ylcd&yciild&ycilyd&yyclyyd

# Товарная галерея и площадки Яндекса
Clean-param: pm_source&pm_block&pm_position&yandex-source&hhtmFrom&frommarket&adv

# Другие рекламные системы, коллтрекинг, подмена контента
Clean-param: gclid&gbraid&wbraid&fbclid&msclkid&_openstat&openstat&roistat&roistat_visit&yagla&external-test-ids&keyword&matchtype&calltouch_tm&cm_id&rb_clickid&erid

# UTM и служебные хвосты
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&utm_id&utm_referrer&from&ctime&gtm_latency&_ga&_gl&sid&ignorethis&amp

# Возврат с оплаты (ЮKassa подставляет свои параметры к адресу главной)
Clean-param: orderId&order_id&paymentId&payment_id&lang

Sitemap: https://pro-ant.ru/sitemap.xml