Контентная платформа «Дзен» (принадлежит VK) указала, что роботу GPTBot от
OpenAI (разработчик ChatGPT и GPT-4) нельзя собирать информацию со страницы
dzen.ru, пишет «Ъ».
Соответствующая директива была найдена в файле robots.txt, предназначенном
для программ по автоматическому сбору информации с сайтов.
Мера была принятадля того, чтобы уменьшить нагрузку на серверы «Дзена», поясняют изданию в
пресс-службе компании. В частности, «сервисы работают беспрерывно и
обрабатывают более 150 тысяч запросов в секунду», что делает их нагрузку очень
высокой. Также в компании уточняют, что в «Дзене» постоянно появляются миллионы
публикаций, в том числе в формате видео.
Однако файл robots.txt носит рекомендательный характер. Он не сможет
запретить роботам игнорировать прописанные в нем директивы.
Свежие комментарии