Или: Вы отдали контент, а взамен получили… ну, спасибо, что поучаствовали
Раньше был негласный договор.
Все были в плюсе.
Сейчас поисковик разорвал этот договор. Он забирает ваш контент, анализирует его, генерирует ответ и отдаёт пользователю. Не отправляя его на ваш сайт.
Вы выполнили свою часть договора (отдали контент). Поисковик — нет (не привёл пользователя).
Это больше не партнёрство. Это эксплуатация. Вы работаете на них бесплатно.
Раньше бизнес-модель Google и Яндекса была прозрачной:
Сейчас:
Владелец сайта не получил ничего. Поисковик заработал на том, что удержал пользователя на своей странице. Больше рекламы. Больше данных. Больше контроля.
Бизнес-модель не изменилась. Просто технология позволила её «оптимизировать».
Больше не нужно делиться трафиком с внешними сайтами. Можно всё оставить себе. Потому что нейросеть даёт ответ сама.
Казалось бы, логичный шаг: заблокировать доступ ботам поисковиков через robots.txt или .htaccess.
User-agent: Googlebot Disallow: /
Проблема в том, что это работает только для полностью добросовестных ботов. Многие нейросетевые краулеры притворяются обычными пользователями, используют случайные IP и игнорируют robots.txt. И кто их может заставить соблюдать правила?
Кроме того, сам поисковик всё ещё может приносить крохи трафика. Полностью отключаясь от него, вы теряете и этот небольшой ручеёк. Владельцы сайтов надеются, что «уж завтра-то алгоритм поменяется». Не поменяется.
Пока есть надежда на «волшебную таблетку» (трафик), сайты будут терпеть и отдавать контент. Это зависимость.
Раньше вы ездили с Яндекс.Такси. Вам давали заказы, вы зарабатывали. Потом комиссию подняли, потом ввели штрафы, потом приоритет стал за машинами с платной подпиской.
Формально вы всё ещё партнёр. Реально — кормовая база.
То же самое с поиском. Вас «подсадили» на бесплатный трафик. Вы оптимизировали сайт, вкладывались в контент, наращивали ссылочную массу. Построили бизнес на обещании, что поисковик будет приводить клиентов.
А потом алгоритм сменился. И вы остались с контентом, который теперь даром кормит нейросеть.
При этом поисковик не нарушает закон. Вы сами дали согласие на индексацию. Вы сами не заблокировали ботов. Вы сами продолжаете надеяться.
Платформенная экономика в чистом виде: вы — партнёр, пока вы полезны. Но правила игры устанавливает платформа.
Давайте без иллюзий.
Грубо говоря, вам нужно превратиться из «поставщика контента для нейросетей» в «бизнес с собственной аудиторией». Это единственный способ не зависеть от алгоритмов.
Поэтому ответ на твой вопрос: владельцы поисковых систем всё понимают. Их план — сделать переход на внешние сайты максимально невыгодным, чтобы вы либо платили за рекламу, либо кормили их нейросеть бесплатно. Третьего не дано.
Вам решать, соглашаться или уходить в «цифровую партизанщину».