现在新闻网站是不是只有爬虫和 AI 访问？

想问一下大家，还有人会专门去新闻网站、门户网站上看新闻报道吗？

现在新闻网站的运营模式是不是已经放弃了真人用户，都是给爬虫和 AI 访问的？

以前还有聚合站做摘要，然后用户回来看全文，现在 AI 干脆全文都看了，用户连跳回来看全文的必要都没有了吧。

可以试试在robots.txt里设置User-agent: * Disallow: /，然后看访问量变化。

现在新闻网站确实在优化爬虫友好度和AI内容生成，但真人用户仍然有深度阅读需求，特别是专业领域内容。

我作为普通用户还是会直接看新闻网站，但确实感觉内容越来越同质化。

我记得有些网站会反爬，你们遇到过AI被反爬的情况吗？