Директива Google-Extended не работает для SGЕ
Как известно, в начале октября Google выпустил новую директиву Google-Extended, с помощью которой вебмастера могут запрещать использование своего контента для обучения ИИ через файл robots.txt.
Несмотря на заверения Google о том, что Google-Extended запрещает использование контента для улучшения «Bard, Vertex AI и других разрабатываемых продуктов на основе Google AI», оказалось, что директива не работает для SGE. Это значит, что она неприменима к так называемым «снимкам ИИ», которыми оперирует Google Search Generative Experience.
На это обратил внимание Барри Шварц из SERoundtable, который увидел, что SGE использует для генерации ответа контент с сайта The Rolling Stones, использующего Google-Extended в robots.txt:
Представитель Google подтвердил, что SGE в настоящее время не использует Google-Extended, так как является поисковым экспериментом. Таким образом, контент с любых сайтов «может и будет появляться в ответах, сгенерированных искусственным интеллектом SGE, пока разрешено сканирование Googlebot».
Поскольку SGE встроен в поиск, Google, похоже, считает, что вебмастера не должны быть против того, чтобы контент с их сайтов использовался для снимков ИИ в SGE. Избежать этого можно только полностью заблокировав Googlebot.