Что читаем
Главную, robots.txt и карту сайта, страницы с документами (политика, оферта, реквизиты) и страницы, на которых есть формы. Ещё манифест и иконку — чтобы показать владельцу его сайт с его же логотипом.
ParagraphBot — это мы
Вы нашли это имя в логах своего сайта. Ниже — кто мы, что читаем и как нас закрыть, если читать не надо. Последнее — одной строкой и без переписки.
ParagraphBot/0.1 (+https://paragraf152.ru/bot)
Кто это
Юридическая проверка сайта, а не поисковый робот
Параграф проверяет сайты на соответствие 152-ФЗ: есть ли политика обработки данных, что написано в cookie-баннере, собирают ли формы согласие, кому уходят данные посетителя. К вам мы пришли по одной из двух причин: кто-то ввёл ваш адрес на нашей витрине, чтобы посмотреть, что у сайта с документами, — или владелец сайта подключил его к наблюдению и мы приходим к нему по расписанию.
Мы не индексируем сайт, не собираем базы адресов и не перепродаём то, что прочитали. Всё, что мы видим, — это то, что ваш сервер отдаёт любому посетителю без входа.
Что мы делаем и чего не делаем
Читаем страницы. Больше ничего
Чего не делаем
Не отправляем формы и не жмём кнопки, не входим в личные кабинеты, не подбираем пароли и не обходим защиту. Не трогаем корзину, оплату и всё, что меняет состояние на вашей стороне.
Ни одного запроса, кроме чтенияКак нас узнать
Имя одно и у полной проверки, и у пинга доступности: в логах мы обязаны выглядеть одним посетителем, а не двумя незнакомыми ботами. По адресу нас не опознать — сервер обычный, и, кроме имени в заголовке, подписи у нас нет.
Имя выше — целиком, как оно приходитКак нас выключить
Строкой в robots.txt — и мы уйдём
robots.txt мы спрашиваем перед каждым обходом и подчиняемся ему целиком.
User-agent: ParagraphBot Disallow: /
Запрет подействует с ближайшего нашего прихода, отдельной заявки для этого не нужно. Закрыть можно и часть сайта — тогда в отчёте владельца напротив закрытого раздела встанет «сюда не ходили», а не «здесь ничего нет»: мы не выдаём необойдённое за проверенное.
Одно исключение, и оно не про обход. Если человек сам набрал адрес вашего сайта в проверке, мы откроем ту же страницу, которую вы показываете любому посетителю, — одним запросом, как открыл бы её он, и документы, на которые она ссылается. Дальше мы не идём: по сайту не ходим, ничего не индексируем и сами к вам не возвращаемся. Наши собственные приходы — ночной обход, суточный осмотр, перепроверки — вашей строкой выключаются целиком.