自打发布新一代模型 GPT-5 之后，OpenAI 收获了大片骂声。
人们纷纷表示 GPT-5 “ 变蠢了 ”、“ 没创造力了 ”、“ 不灵动了 ”、“ 回答很干瘪 ”。
实际上，这并不是一个让人意外的结果，因为 GPT-5 的其中一个特性是幻觉率显著降低，而降低模型幻觉率的一个主要代价就是模型的输出会显得更呆板。
通俗来说就是模型变得更严谨，但主观能动性变弱了，这一点其实对于写代码、Agent 构建是很有好处的，只是 ChatGPT 的主要面向的消费级用户对此需求并不高。并且 GPT-5 变得非常被动，以至于需要非常详细的提示词才能很好地驱动（ 当然如果需求写得好，GPT-5 是很可靠的 ），不像之前会积极地预估用户的意图，原本快要丢掉的提示词技能又得捡起来，这对于被 AI 惯坏的一大批用户又是一记背刺。
从原理上来讲，大模型生成的内容是概率产物，模型本质意义上是一个条件概率分布的近似器，它的创造力来自于更宽松的概率分布，而当你想让它答案更精准、低幻觉时，它的概率分布必然收紧，这样的收紧减少了有更多创造力的可能。
这就像一个人，你想让他更严谨、符合逻辑的去创作，他就会被钳制，无法天马行空。
然而有趣的是，早前大家都在吐槽各家大模型的幻觉率太高并且愈演愈烈，认为这是一种 “ 病 ”，厂商们也使出浑身解数来治这个 “ 病 ”，微调、RAG、MCP 等新 “ 药方 ” 一个接一个。
现在，高幻觉率的问题被一定程度解决，大家又吐槽模型回答的不够好，这就陷入了一种无法打破的死循环。
那么，厂商们到底该如何正确地看待 AI 幻觉呢？
为探究这个话题，知危与阿里巴巴大淘宝技术营销前台技术负责人甄焱鲲进行了对谈。
甄焱鲲首先跟知危分享了自己对 GPT-5 被 “ 讨伐 ” 现象的理解和亲身使用体验：“ 许多人赞赏其在数学、科学和代理任务上的进步，但也批评它在创意写作上不如 GPT-4.5 或 4o，输出更通用、缺乏情感深度，甚至出现 ‘ LLM 废话 ’。 基准测试中，它在 SimpleBench 上仅得 56.7%，排名第五，远低于预期。 用户 ‘ 起义 ’ 主要源于模型感觉像降级：响应迟钝、幻觉增多、错误意外，以及未公布的更改导致创意和质量下降。”
“ 而我的直观感受是：出现幻觉的概率确实下降了，我用了大概三天的时间，提了一些哲学、编程和人工智能相关的问题，在一些生僻概念的理解上考察模型的输出，还是有非常不错的效果，例如：GPT-5 不会把我自创的英文缩写（ 一些技术架构里的缩略语 ）错误拆分了，比如 ‘ AIGUI ’ 这个概念不会如 GPT-4o 般拆分成 ‘ AI GUI ’ 了。”
在对谈过程中，甄焱鲲多次强调，把幻觉单纯当成一个 “ 病 ”，是片面的。
目前已经有研究指出，大语言模型理论上不可能完全消除幻觉。还有研究表明，越抑制幻觉，大语言模型的泛化性越差，也就是能够适用的场景越受限，这与业界希望全方位推广 AI 的愿景显然是相悖的。
这其实也反映出，幻觉带来的影响并非永远都是负面的，需要辩证看待。
正如甄焱鲲告诉知危：幻觉是不是幻觉、幻觉的影响是不是负面、幻觉的负面影响有多大，都是相对的，和使用者的能力和需求、场景的特性和需求、使用前后效率对比、现实世界的变化等因素都有关。
以下是知危与甄焱鲲的对话原文，经过了不改变原意的编辑。
知危：能请您介绍一下大模型实际应用中常见的幻觉类型吗？
甄焱鲲：大模型的 “ 幻觉 ” 指的是 AI 系统生成或推断出与人类经验不符的内容或结论。
这里 “ 人类经验 ” 必须是 “ 正确 ” 的，限于个人认知的差异，所以必须认识到 “ 幻觉 ” 也是相对的。
在大模型应用中，幻觉无法完全避免。
可以将幻觉分为 5 个类别：语言生成中的幻觉、推理与逻辑错误、过度简化与常识错误、数据错误或无依据推理、时效性错误。
语言生成中的幻觉是大模型最常见的一种幻觉，尤其是在内容生成类的应用中。例如在生成代码时，AI 可能会编造 Library 或 API 来完成代码的生成。
大模型还可能在进行逻辑推理时产生错误。例如在使用 Roo Code 插件进行代码生成时，经常遇到指定上下文后，大模型仍然会根据项目中其它上下文做出错误的推理。
关于过度简化与常识错误，AI 虽然能够处理大量信息，但它在应对一些需要深度常识、实际经验的场景时，容易出现过度简化的情况。例如 AI 可能会说 “ 为了快速减肥，可以不吃任何食物 ”，这显然是不科学的。
关于数据错误或无依据推理，在某些场景下，AI 模型可能会基于不完全或者错误的数据生成答案（ 尤其当训练样本中掺杂大模型生成的幻觉内容时更甚 ）。例如，在医疗应用中，AI 根据患者的症状生成诊断建议，但如果这些症状与训练数据不匹配，或者训练数据本身存在偏差（ 如某些相同指标数据指向不同病症，从而需要医生以个人理解进行具体判断的情况 ），模型就可能给出错误的诊断结果。
最后，幻觉很多时候来源于模型训练时知识和概念在时间上的局限性。
知危：大模型的幻觉会在企业应用中带来哪些负面影响与成本损耗？
甄焱鲲：关于幻觉可能产生的 “ 成本损耗 ”，需要代入到具体应用场景分析。
用户差异会带来巨大的成本评估差异。假设生产效率的影响小于大模型应用前的历史效率，总体上并不会产生 “ 成本损耗 ”。
比如。一个行政人员使用 Cursor 生产一个表格信息收集工具，即便生产效率低下错误频出，生产效率仍然可能大于：找产品提需求、找研发开发、找测试评估、找运维部署。因此，Cursor 虽然经常犯错误，仍然有大量用户，因为用户认为 Cursor 的效率是大于自身的。
但若这个场景的用户是研发人员，错误频出带来的效率降低，显著大于：安装依赖、查找文档、编写代码，那么 Cursor 在这个场景大概率会被研发人员抛弃。
所以，成本损耗和效率的影响都是相对的。
进一步看，幻觉的负面影响还可以分为两类：
预测错误，如果“错误”易于识别，则影响的是生产效率；如果 “ 错误 ” 难以识别（例如预测错误发生在使用者不熟悉的领域），则影响的是应用效果。
知危：如何根据幻觉率高低进行产品落地可行性决策？
甄焱鲲：如果大模型的幻觉率过高，特别是在关键决策领域（ 如医疗、金融、法律等 ），则这些产品的应用将面临严重的挑战。对于这类应用，企业的目标是尽量减少错误和幻觉，因为一个错误的决策可能导致巨大的财务损失或法律责任。
对于一些风险容忍度较高的应用场景（ 如内容推荐、广告投放等 ），企业会接受一定程度的幻觉，毕竟这些应用的目的是提升用户体验和增加商业效益，而不完全是做出精准决策。
通常，企业会设置一个 “ 安全边界 ” 来限定幻觉率，确保在可接受范围内。过高的幻觉率会增加企业的风险和成本，过低的幻觉率则可能意味着模型的复杂度和计算成本过高，导致收益无法覆盖成本。
注：该小节含有大量技术细节探讨，如您无需了解相关内容，可直接跳至下一小节 “ 正确理解幻觉 ” 进行阅读
知危：目前，为了缓解幻觉问题，一般会采用哪些方法？实践效果如何？
甄焱鲲：当下常用的方案有三种：合适的模型、In-Context-Learning、微调。
首先，海量参数的大模型因为 “ Scaling Law ” 会缓解幻觉出现的概率；其次，借助各种提示词工程和 RAG 等技术，“ In Context Learning ”（ 在不进行参数更新的情况下，通过在输入中提供示例来学习和完成新任务 ）被实践证明能够大幅降低幻觉出现的概率；最后，使用 “ 继续训练 ” 的微调技术，在一些场景中可以一定程度降低幻觉。
为缓解语言生成幻觉和过度简化幻觉，一般采用扩大训练样本和模型参数来解决，即采用更合适的模型。
为缓解逻辑推理错误，在 MCP 生态出来后，最火的就是：Sequential Thinking MCP Server，帮助大模型把复杂问题降级为诸多微任务，以期待降低大模型出现幻觉的概率。这属于 In-Context Learning 方法。
缓解数据错误或无依据推理幻觉一般也是采用 In-Context Learning 方法。
为缓解时效性局限带来的幻觉，比如编程领域，现在行业里有很多人在用 Context Server，也就是 MCP 的 Server，当调用 API 时，它能帮我检查这个 API 的最新版本文档和接口参数说明，避免使用了老版本的 API，保证生成代码的准确性，这属于 In-Context Learning 方法。
医疗、金融、法务等行业对精度要求非常高，使用 RAG 最多的就是这些行业。但是，由于 RAG 需要向量存储、检索服务，且会大幅度增加计算成本，某些行业的特定领域使用大模型微调技术，降低 RAG 带来的成本，也能找到成本与效果的平衡点。
对于内容推荐、广告投放等可以容忍一定程度错误的应用场景，AI 的幻觉率可以稍高一些，同时开发成本也会降低。最典型的例子就是 “ mini-gpt ” 开源项目，仅用几个小时训练一个几百兆大小的小模型，就可以很好的生成儿童绘本级别的小故事。
中低精度要求和更低成本的情况下，小尺寸模型也是能接受的，比如 Qwen3-0.6B，In-Context-Learning 可以不使用或简单使用，可以使用少量（ 数百、千条数据即可 ）行业优秀的案例数据进行微调，因为基础模型参数量小，微调的成本也不会太高。
但总体而言，微调的效果和风险还是普遍存在。模型通过微调从通用模型过渡到领域特定模型时，是有可能丢失原有的通用知识的。
而对于所谓垂直领域大模型，在我个人实践中发现，由于大部分场景都需要跨领域知识，反而使垂直领域大模型的应用效果受到限制，实际效果和微调技术基本持平。
最近行业里有一些论文在研究怎么让大语言模型实现 Self Learning，也就是说它能在服务过程中对自己的参数进行微调，随着使用不断学习和提升，克服时效性的局限。比如，麻省理工（ MIT ）最近提出的 Self Adapting Language Models（ SEAL ）是一种模型能够 “ 自行学习 ” 的技术：模型通过生成自己的合成训练数据并用于自我更新，迎向 “ 终生学习 ” 之路。但该方法仍存在 “ 灾难性遗忘 ”、计算资源高、学习调度复杂等挑战 。
当下，由于大模型的基础框架局限于 Transformer 和 Diffusion，并且在基础框架层面并没有显著的技术突破，上述方案应该在大模型基础框架技术变革前是有效的。
知危：为何说垂直领域大模型效果受限？从我们和医疗领域的专家交流来看，他们还是认为垂域模型比通用模型能力更强。
甄焱鲲：垂直领域大模型虽然掌握了行业知识，在特定任务上表现更好，比如在医疗这种病种类目极多、具备极强专业深度的领域。但在复杂推理或跨领域理解上仍显不足，尤其在任务更复杂、数据稀缺时更明显。
如果数据多样性有限而规则复杂，比如材料科学，训练出的模型往往倾向于 “ 记忆 ” 而不是建立泛化机制。只有当数据多样性足够高，才可能促进泛化。
最后，成本与收益不匹配。相比训练一个垂直大模型，微调已有模型 + 机制（ 如 RAG ）往往更低成本，效果也更稳健。
知危：医疗、金融、法律是使用 RAG 最多的行业，那么这些行业之间使用 RAG 的情况有哪些不同？
甄焱鲲：总体而言，只要是涉及到标准化流程或比较依赖规则、先验的工作，RAG 都会用得比较多。
其实 RAG 有不少局限性，不同行业使用 RAG 的场景需求也不同。
在法律行业，有时候应用中不只涉及法律法规，还包括案例、法律解释、政策等。这就比一般的 RAG 难度高一些，主要是时效性要求高，因为法律是在不断建设中的，各地对法律法规也可能有不同的解释。
在医疗行业，现在大语言模型在时序理解上的局限性，会限制 RAG 应用的效果。当前的 RAG 更多是对概念背后所代表的含义进行理解和解释。但是在医疗行业里，通常要解释的是临床数据和病例。
比如一个病人有一系列的检查、体检数据，包含各项指标在一定时间段比如一年内的变化情况。这些变化的含义不是简单通过 RAG 就能查询出来的。因为它有很大的个体性差异，比如性别、地域、年龄等各种因素的影响，也可能要结合上次检查和这次检查的对比，以及和其他类似患者的的对比。
不像其它领域，比如医疗领域可以直接生成病例、诊断书等，或者法律领域可以生成诉状、裁决书等，金融行业在应用 AI 时，最终产生的结果更多是偏向建议或者辅助性的。因为使用 AI 会产生的一些问题和风险，目前用 RAG 加大语言模型的方式是难以规避的。因此金融行业倾向于更严谨的方式，比如在里面穿插一些传统的机器学习算法，用来对决策背后可能产生的问题和风险进行估计。
知危：您的团队对幻觉缓解的技术路径探索经历了什么样的探索过程？关于微调和效果和风险可否深入探讨一下？
甄焱鲲：刚开始的时候，我们主要对模型做微调，或训练自己的 LoRA。比如轻办公领域，针对用户场景识别和服务推荐场景做微调或 LoRA。但我们发现，等花了半年甚至一年的时间训练并上线后，大语言模型自身更新带来的收益，往往已经超过了我们做这些工作的收益。
通过微调技术调整模型参数的时候，最大的问题在于参数调整可能带来一些无法预期的后果。比如模型本身是无法处理 “ 冲突 ” 的，如果新数据与模型原有知识发生了冲突，经常会发生 “ 正确 ” 的数据遮蔽了 “ 正确 ” 的知识，甚至会导致 “ 灾难性遗忘 ” 的情况发生。“ 灾难性遗忘 ”（ Catastrophic Forgetting，也称 catastrophic interference）是指模型在学习新任务或新知识时，严重遗忘先前所学能力的现象，尤其在顺序训练或持续微调中表现突出。即便是 AI 产品在服务过程中不断更新权重，即 Continual Learning，也只是一种微调，传统微调具备的缺点它都有。
在大型语言模型中，这种现象尤为关键：模型的知识分布式存储于权重中，当在新领域训练时，部分权重被重写，导致模型原有的广泛语言能力或事实知识退化。
在研究中，1B 到 7B 大小的 LLM 在持续微调后普遍出现灾难性遗忘，甚至随着模型规模增大（ 但仍在这一范围内 ），遗忘现象反而更严重。
举个例子：一个针对医疗诊断微调的模型，可能会 “ 忘记 ” 基础的数学能力或一般写作能力。这个问题和大语言模型本身的技术特点相关，除非整个大语言模型技术发生本质性的革新，否则短期内这个问题比较难解决。
现在的大语言模型权重参数非常多，而且缺乏可解释性。更新某些权重时，会对哪些权重或者什么情况下的推理产生负面影响，目前很难评估。所以，灾难性遗忘或者权重冲突的具体原因，目前只能通过最终结果的评估来检验。
在实际测试对比下，In-Context Learning、RAG 往往比微调模型具有更好的泛化能力和稳定性。
总体来说，模型微调或者 LoRA 的效果，通常小于 RAG 的效果，因为 RAG 可以去修改数据，灵活性更强。而通过很多论文和行业数据都能看到，RAG 的效果一般又小于 In-Context Learning，因为后者是实时地把必要的知识或辅助信息当做 context 注入模型。
所以，后来我们更倾向于做 RAG、 In-Context Learning 这类优化。而实际上相比之下，目前我们 In-Context Learning 的应用还比较少。
原因在于 In-Context Learning 需要更丰富、结构化且准确的 context，而这些 context 比较难获取。比如现在要帮产品经理写一个新项目的产品文档，来做产品策划。产品的用户定位、功能定义、用户流程、UI 交互等，涉及多个领域。这些领域的知识和内容，要决定哪些需要提炼放入 context，去做 In-Context Learning，实际上有很大挑战。从目前实践效果来看，用工程或编程手段去解决，效果不如用 RAG 好。
但很多服务中，比如用户完成一件事后还会接着做下一件事，也就是当用户有连续性任务时，In-Context Learning 的应用门槛会相对低一些，因为可以知道用户当前场景变化和上一件事情的结果。
知危：为什么模型微调的工程周期那么长？相比之下，RAG、In-Context Learning 的工程周期如何？
甄焱鲲：模型微调的工程周期很长，影响因素很多。
首先，构建微调模型需要高质量、标注良好的领域数据，耗费的精力往往占真实训练的绝大部分。有人直接指出微调 90% 的精力花在 “ 提升数据质量 ” 上 。
其次，微调 LLM 不像一般模型那么轻松。需要性能强劲的基础设施和优化、维护能力。训练本身往往耗时数周，甚至更久。
再次，微调往往不是一次搞定的。需要反复调参、验证、修复 bug、对比多个模型版本。
最后也是最关键的是，LLM 这个基础模型可能每隔几个月就会迎来新版本，原来的微调成果很快就可能被 “ 超越 ”。社区反馈也提到，每次基础模型更新后，几乎都得从头再来一次微调 。
相比之下，RAG 通常只需数天甚至数小时即可部署，尤其用 Hugging Face 的 RAG-Token 示例几行代码搞定。
并且，RAG 整体工程流程简单，门槛低于深度培训。知识库变更最快，只需重新 embed 文档，完全无需重训模型。因此，可以实时响应信息变化。
社区普遍反馈道，相比代价高耗时的微调，RAG 简便且性价比更高。
对于 In-Context Learning （ ICL ），本质上只需构造好 prompt，可能还需要加入若干示例（ few-shot ），基本不需要训练过程。工程实现几乎是几分钟到几小时搞定 prompt 设计、示例选取、效果验证。
对比微调，ICL 可谓 “ 立刻见效 ”。
知危：ICL 落地的具体挑战都有哪些？为何还无法很好地解决，以至于即便潜能更大，目前实际效果不如 RAG ？
甄焱鲲：挑战确实不少。ICL 的效果高度依赖于所选示例的质量，但 “ 哪些示例最具代表性、结构清晰、能覆盖多领域内容 ” 本身就很难定义。典型方法有基于语义相似度的检索（ 如 embedding 距离 ），但往往不够精准。
具体使用时，会受到模型本身限制、内容、结构等方面的影响。
大模型（ 如 GPT-4o ）虽支持数百K token 输入，但仍难容纳大量多领域信息，尤其文档结构复杂时。
对于开放性（ open ）问题，过于贴近主题的上下文反而可能引起模型偏差或混淆。
同样一组示例，顺序不同可能得到完全不同的效果，但如何自动决定最佳顺序依然是开放问题。 更细节来看，示例之间的排版、结构、标签统一性、分割符等都能显著影响结果，而找到 “ 最优格式 ” 往往需要大量试验和经验。
在更宏观层面，涉及用户定位、功能框架、流程与 UI 等多个维度时，需要为每个层面提炼关键结构内容。但这些内容如何抽象成 prompt 示例并串联起来？目前仍缺乏清晰方法论。
最后，大模型在 ICL 中往往倾向使用 “ 捷径 ”（ 比如表面模式或标签关联 ），而非真正理解多领域深层逻辑。这种 shortcut behavior 使得 prompt 构造更加敏感脆弱。这种走捷径的现象也是深度学习的老问题了。
知危：除了合适的模型、In-Context Learning、微调之外，据了解思维链、多智能体协同、重复采样投票等方法在降低幻觉方面也有应用，这些方法在企业中的使用效果如何？
甄焱鲲：我们也会借助思维链来减少幻觉。在前一段时间接入 MCP 的时候，用得比较多的，也是现在行业里比较常用的，就是Sequential Thinking MCP Server，也就是序列化思考。我们也会去模仿像 Cursor、Roo Code 等对任务的拆分以及任务规划的方式。
从我们的实践来看，确实能比较好地提升准确率。因为它能够更好地从当前任务中发现更多问题，并将实践过程中可能缺失的环节补充上去，毕竟有时候用户下的指令是比较粗糙的。
让大语言模型把粗糙的指令转化成 step-by-step 的详细指令和任务，带来的价值是毋庸置疑的。而且现在网上有很多开源项目，比如 Roo Code、Cline，这些是做软件工程的 AI Agent 插件，比如 VSCode 上的插件。我们也会去参考它们的源码，因为里面很多工程上的处理细节和提示词工程的细节，都是非常值得我们借鉴的。
通过多智能体协同来降低幻觉，比如一个模型输出，另一个模型评判，这种方式的幻觉缓解效果其实一般。
比如我们在使用 DeepSeek 的大语言模型进行代码生成的时候，如果用 reasoning 模型（ DeepSeek R1 ）和它的基座模型（ DeepSeek V3 ）进行对比，会发现生成质量有明显差异，生成偏好也不一样。不同模型的偏好不同，这就会导致一个问题：到底什么样的偏好才是对的？这在不同的具体业务场景下有不同的答案。
比如我们之前在实践中发现，在对一些代码进行 fix 的时候，用 DeepSeek 的基座模型，而不是 reasoning 模型，效果在某些情况下反而更好。因为 reasoning 模型有时候会把一些简单问题复杂化，浪费大量 token 和时间去 “ 思考 ”，但生成的结果可能还是差强人意。
单个模型重复采样后再做投票这种方法其实和多智能体方法是类似的。不管是多智能体，还是重复采样投票，除非它在工程上能提升整体的并发性能和效率，否则意义不大。
因为现在很多模型本身就是 MoE（ Mixture of Experts ）结构，这些模型内部已经在进行采样、投票、打分，调用不同的专家来解决问题。其实也可以把它看作是一个多智能体系统。比如最新的千问模型 Qwen3，在发布新版本时也说会把多智能体机制集成到模型内部。
这应该是一个技术趋势。因为在训练大语言模型时已经花费了大量数据，如果在训练过程中能保持一定的多样性，那么在输出阶段，通过一些数学上的优化手段去利用这种多样性，让它在最终结果中发挥价值，不管是多采样、多智能体还是多专家机制，最终都能在结果的有效性上带来比较好的价值。
从长远来看，模型的发展更倾向于把多智能体的能力集成化，尤其是在商业模型中，以提升整体对外服务效率。
而对于开源模型，现在有一个比较明显的趋势，就是模型参数量在变小，但性能反而在提升，将更多用于实现多智能体、多模型并发推理。
比如假设一个 1B 到 3B 的模型，它可以达到传统 32B 甚至 70B 模型的效果，就可以用于在设备端并行地进行推理。这时候可以把一些任务拆分给在某个特定领域表现比较好的专业小模型去处理。
最典型的例子是 Command R，它是最早用于命令行操作电脑的优秀模型。比如有一个编程任务，拆分后有些任务需要在命令行操作，比如初始化环境、批处理文件操作等，这时可以把这些任务分发给 Command R 这类模型去处理。
知危：Cursor、Roo Code 等对任务的拆分以及任务规划的方式有哪些特点？
甄焱鲲：Cursor 的任务拆分与规划最大的特点是原子化任务（ Atomic Planning ）。Cursor 强调把大的开发任务拆分成 “ 小勺子 ” 级别的小任务，每个任务聚焦当前相关文件和指令，避免信息过载和上下文混乱，并严格按必要的顺序执行子任务。在分配任务时明确指令，如 “ 重构 calculateTotal() 函数以支持货币精算 ”，减少歧义。
Roo Code 也有类似的任务拆分与规划框架，它还支持多种模式，比如 Architect 负责规划与设计，Code 负责实施，Ask 负责解答与辅助。这些模式可以自由切换，任务拆分后可按阶段委派给最合适的模式。
知危：除了事实性的幻觉，目前推理模型中的思维链 “ 幻觉 ” 也受到了很多关注。比如推理过程和结论无关，推理方式不符合人类逻辑，重复推理、无效推理等。这些幻觉对企业应用的影响如何？
甄焱鲲：影响比较大。拿 Cursor 来说，它经常会在思维链中说：“ 我觉得这个问题是什么？所以我要尝试什么？” 然后思维链产生的结果可能是错的。错了之后它又说类似的话，结果可能又返回上一步错误，陷入死循环。很多时候我从程序员视角可以直观发现问题，但模型却不知道哪里出错，也无法做出有效修改。
本质上，现在大语言模型并不具备真正思维能力，它还是一种机械的模仿。
做软件的时候，经常有个不恰当的比喻：如果一个东西走起来像鸭子，看起来像鸭子，叫起来像鸭子，那它就是鸭子。但事实上这是不对的，而现在的大语言模型做的事情就是这样。
当模型参数量足够大，训练数据也足够多时，我们会觉得它好像在思考，因为预测下一个 token 的准确率比较高。维特根斯坦的相关理论也说明了语言和思维是直接相关的，我们无法超越语言去表达思维。
大语言模型通过大量语言资料训练，它的参数在一定程度上可以看作是固化的思维，也就是一些套路。这些套路能够解决重复出现的问题，但无法解决新问题。当套路无效时，模型仍会根据概率硬套这些套路，导致错误产生。
这是一个容易和 “ 幻觉 ” 混淆的点，即 “ 错误 ”。
重构软件工程项目时遇到这类问题的概率比较高。因为模型没有真正的全局思维，导致它在分析、推理和规划时，更多是在局部最优的层面解决问题。
这些错误并不是上下文长度的限制造成的。虽然上下文有限制，但推理时输入和内部权重参数之间会相互影响。即使给它更长、甚至无限的上下文，由于大语言模型算法架构和训练数据、方法的局限，注定还是会出错。
所以，哪怕推理模型引入了强化学习和思考能力，也只是有所提升，因为它会把以前生硬的直接概率，变成一系列反复验证后的间接概率，从而提升准确率。
具体而言，其实 AI 的思考就是在检索和重复验证，只是效率和准确率比人类更高，所以它很适合做科研。有一篇比较有影响的论文 “ Do Two AI Scientists Agree? ”，讲 AI 怎么从零开始发现大量物理定理。实际上你会发现 AI 能发现的物理定律，都是一些重复性的事情。
当然，这并不是影响 AI 应用的最关键问题。假设现在 AI 可以解决百分之七八十的问题，那剩下的百分之二三十的问题，暂时不做 AI 应用就行，这并不影响 AI 的推广。因为这个世界上发生的很多事情，百分之七八十甚至九十以上都是重复的。这些重复的事情，用结构化的思维、固化的思维去理解和解决是没有问题的。
知危：可否对上述方法和经验做一个总结性描述？
甄焱鲲：其实要减少幻觉，在实践中更多是想办法把人类的先验经验集成到 agent 和 AI 应用链路里，做有效约束。这方面有各种方法，比如通过规则方式做硬性约束，也可以训练强化学习模型，让它学到人类策略或有效策略来做约束。这些手段无非就是告诉大语言模型要干什么，并且在执行过程中做一些过程性干预。
最重要的原则，是 “ 以终为始 ”，要从 “ 想让 AI 解决的问题定义 ” 入手。很多时候 AI 有效，是因为我们已经能够清晰明确地定义 AI 要做什么事情。
先对问题的复杂度进行分级：越复杂、抽象的问题，就应该用越多的权重参数、算力，以及更多的辅助手段来更好地解决它；而越简单、越具象的问题，可能反而适合参数更少的模型，配合更硬的约束手段。所谓“更硬的约束手段”，比如模型的微调就是最硬的手段，其次是 LoRA，再次是 RAG，最后是 In-Context Learning。
顺着这个梯度去选模型和约束方式，就能找到一个合适的组合。
还有一个折中原则是，如果在解决过程中发现无论多强大的大模型、多好的算法工程或者辅助工程都解决不了这个问题，那就不要什么事都端到端解决，可以把部分问题环节用传统软件工程或算法工程解决，把它们组合成一个混合（ hybrid ）的架构和工程。
如果让 AI 解决的问题本身不适合 AI，或者问题非常复杂，那么无论做多大努力，它能达到的结果一定是差强人意的。
晶顶网配资-配资平台查询网站-天津配资公司-网上配资网站提示：文章来自网络，不代表本站观点。
