今日份实操笔记:早上看到新闻说 Claude Deep Research 被曝出引用来源存在“幻觉链接”,有的 URL 根本打不开。我本来不信邪,拿它之前帮我做的一份“数字货币支付行业扫描”报告复查了一下——结果 18 个引用里,有 3 个链接点进去是 404。
🌰 开头附赠一个实用技巧:
无论用哪个 AI 做研报,拿到引用列表后,第一件事就是用一个简单的浏览器插件批量检测链接有效性。如果不想装插件,可以分段复制链接,在浏览器地址栏一行一个,一眼就能看出哪些打不开。这一步提不了速,但能避免在会议上被问到“这个数据来源是什么”时当场社死。
PART 01翻车现场:18 个引用链接,3 个是幻觉
事情是这样的。上周我用 Claude Deep Research 生成了一份“东南亚跨境支付行业格局”的扫描报告,用于部门内部的投研晨会背景材料。
Deep Research 当时跑了大约 10 分钟,输出了一份结构很漂亮的文档,末尾附着 18 条信息来源链接。我大致扫了一眼,有 World Bank 的政策文档、几家上市公司的年报链接、行业协会官网,看起来很正经。
我把报告整理了一下就发出去了。直到今天看到新闻,心里一紧,回去逐条点开那 18 个链接。
结果:
• 15 个链接正常打开,指向真实页面。
• 3 个链接返回 404,或者跳转到完全不相关的页面。
其中一个是号称“印尼央行支付系统白皮书”的链接,点进去是印尼央行官网的首页,根本没有白皮书。另一个是“世界银行 2024 年全球 Findex 报告”,链接地址看起来合理,但服务器返回“未找到”。第三个是某咨询公司的行业报告,域名是对的,但文章 ID 不存在。
如果我没有复查,直接把报告交出去,同事在晨会上点开链接,后果可想而知。
PART 02错误根本原因:AI 的“格式正确,内容虚构”
这不是 AI 在故意骗我,而是 Claude 在生成引用时,根据训练数据中的 URL 模式和文档标题,编造出了“看起来正确”的链接。
例如那个世界银行报告的链接,路径是 worldbank.org/.../global-findex-2024,格式完全符合世行网站的命名规则,命名逻辑也对——但这篇 2024 版 Findex 报告根本没公开发布,世行官网只有 2021 版的。
这就是典型的模型幻觉:AI 记住了 URL 的生成规则和文档的标题,在需要引用时,它拼凑出了“应该存在”的链接,而不会去验证这个链接是否真的能打开。
PART 03修正做法:三招过滤虚假引用
第一招:主动要求在报告中标注“已验证”和“未验证”
修正指令片段:
在报告末尾的引用来源清单中,请明确区分:
- “已抓取并引用”的链接 —— 你实际访问过且提取了信息的
- “相关来源建议”的链接 —— 你可能知道但未实际抓取的
对于后者,请在链接后标注「建议验证」。
这样 Claude 会在生成时就区分哪些是真抓到的,哪些是它“觉得应该存在”的。
第二招:用 Chrome 书签管理器批量检查
把引用列表复制出来,一行一个链接,粘贴到 Chrome 地址栏,批量打开。哪个打不开,一眼就知道了。
第三招:对关键数据引用,多问一句来源
如果报告里出现某个非常具体的数字,追问 Claude:“这个 47% 来自哪个具体的源文档?把原文语句复制给我。”如果它开始含糊,就手动补查。
PART 04一句话经验总结
“把 AI 的报告当作实习生写的初稿,而不是合伙人签字的终稿。”
Deep Research 可以帮你省掉 80% 的搜索和整理时间,但剩下 20% 的验证,省不了。尤其是引用链接,一定要点开看看。
📦 资源包领取
我把这次踩坑总结成了一份“AI 研报引用真伪核查清单”,包含 5 种常见的幻觉案例、提示词校验模板,外加一个批量检测链接是否有效的小工具方法。后台回复「核查清单」,直接发给你,以后每次用 AI 出研报都能对照查一遍。