【论文阅读】LLMs Get Lost In Multi-Turn Conversation：大模型多轮对话迷航现象研究

基本信息

• 论文链接：LLMs Get Lost In Multi-Turn Conversation
• 作者：Philippe Laban, Hiroaki Hayashi, Yingbo Zhou, Jennifer Neville
• 发表时间：2025年5月9日

1. 引言：大模型的"迷航"问题

想象一下这样一个场景：你正在与一位导游一起探索一座陌生的城市。一开始，你给出了模糊的指示：“我想参观一些有历史意义的地方”。导游立即带你前往市中心的一座古老教堂。但在路上，你补充说：“其实我对军事历史更感兴趣”，导游却仍然坚持前往那座教堂，并开始详细介绍它的宗教历史，完全忽略了你的新要求。

这就是当前大型语言模型（LLMs）在多轮对话中面临的核心问题——一旦它们在对话的早期阶段确定了一个方向，就会"固执"地沿着这条路走下去，即使用户在后续轮次中提供了新信息或改变了需求。

论文《LLMs Get Lost In Multi-Turn Conversation》发现了一个严重但鲜有研究的现象：顶尖的开源和闭源大模型在多轮对话中的表现显著低于单轮对话，平均下降幅度高达39%。通过分析超过20万次模拟对话，研究者们发现了一个引人深思的结论：当大模型在对话中走错路时，它们会迷失方向且难以自我纠正。

这个问题的严重性不容忽视。在现实应用中，用户很少能够在一轮对话中完整、精确地表达自己的需求。多轮对话本应是大模型帮助用户逐步明确和满足需求的优势，但当前模型却在这种场景下表现欠佳，这严重限制了它们作为对话助手的实用性。

2. 研究背景：对话系统的现状与挑战

2.1 当前评估方法的局限性

目前大模型的评估主要集中在单轮、完全明确指令的场景中。这种评估方法虽然简单直接，但与实际使用场景存在显著差距。在真实对话中，用户的指令往往是不完整的，需要通过多轮交互来逐步明确。

分析真实用户与LLM的对话日志发现，指令不完整的现象非常普遍。用户通常会：

• 先提出一个大致方向，然后逐步细化需求
• 在对话过程中调整或改变原始目标
• 根据模型的回应提出新的问题或要求

2.2 大模型与传统对话系统的区别

传统的任务型对话系统通常采用模块化设计，包括自然语言理解、对话状态跟踪、对话管理和自然语言生成等组件。这种设计使系统能够明确跟踪用户意图的变化，及时调整对话方向。

相比之下，大型语言模型采用端到端的方法，没有明确的对话状态表示。它们主要依靠：

1. 上下文窗口中的对话历史
2. 预训练和指令微调获得的隐式对话能力

这种设计在处理复杂的多轮对话时面临挑战，尤其是当用户需求发生变化时。

2.3 多轮对话中的认知偏差

研究者们注意到，大模型在多轮对话中表现出类似人类的认知偏差，如：

• 锚定效应：过度依赖最初形成的判断
• 确认偏误：倾向于寻找支持初始假设的信息
• 路径依赖：之前的决策限制了后续的选择范围

这些偏差在单轮对话中不明显，但在多轮交互中被放大，导致模型难以根据新信息调整方向。

3. 核心方法：多轮对话性能下降的系统性研究

3.1 研究设计与评估框架

论文采用大规模模拟实验的方法，系统性比较了大模型在单轮和多轮设置下的表现差异。研究设计包括：

实验模型：

• 开源模型：Claude Opus, Claude Sonnet, GPT-4, GPT-3.5-Turbo, Llama-2-70B, Mistral-7B
• 闭源模型：包括多个顶级商业模型

任务类型：

• 六类生成任务：摘要写作、论文撰写、代码生成、事实回答、创意写作和推理问题

评估方法：

1. 单轮基准：向模型提供完整、明确的指令
2. 多轮模拟：将单轮指令分解为多个渐进式的子指令，模拟真实用户的对话行为

评估指标：

• 任务完成质量（由专家评分）
• 指令遵循率（是否满足所有要求）
• 响应一致性（多轮对话的最终输出与单轮输出的一致程度）

这种研究设计使研究者能够精确量化多轮对话中的性能下降，并分析其根本原因。

3.2 "迷航"现象的量化分析

研究发现，所有测试的大模型在多轮对话中都表现出显著的性能下降，平均降幅达39%，这一现象被研究者称为"迷航"（getting lost）。

性能下降可以分解为两个关键组成部分：

1. 能力轻微损失（10-15%）：模型在多轮对话中处理信息的基本能力略有下降
2. 可靠性显著降低（25-30%）：模型无法一致地整合新信息并调整方向

研究者通过对超过20万次模拟对话的分析，识别出了几种典型的"迷航"模式：

早期假设固化：
模型在对话初期根据有限信息形成假设，并在后续轮次中过度依赖这些初始判断。例如，当用户最初要求"写一篇关于动物的文章"，模型可能立即假设是关于宠物的文章。即使用户后来明确指出"特别是关于海洋生物的"，模型仍会继续围绕陆地宠物展开。

过早生成解决方案：
模型倾向于在获取完整信息前就生成最终答案。一旦生成了初步方案，就会在后续轮次中仅进行小幅调整，而非根本性重构。

信息积累不足：
模型难以在多轮对话中有效积累和整合信息。随着对话轮次增加，重要信息可能被"稀释"或遗忘，尤其是当这些信息与初始方向不一致时。

3.3 创新的分析方法

论文提出了几种创新的分析方法来研究这一现象：

对话路径分析：
跟踪模型在不同对话路径上的表现变化，识别导致"迷航"的关键转折点。研究发现，当用户在对话中添加与模型初始理解相矛盾的新信息时，"迷航"现象最为显著。

信息整合能力测试：
设计特殊的对话序列，其中包含"陷阱信息"和后续"纠正信息"，测试模型整合新信息并调整方向的能力。

复杂度递增测试：
通过逐步增加对话复杂度（轮次、主题变化、约束条件等），找出模型性能开始显著下降的临界点。

这些方法不仅量化了"迷航"现象，还揭示了其背后的机制，为改进多轮对话能力提供了方向。

4. 实验结果：数据揭示的真相

4.1 跨模型的普遍现象

实验结果显示，"迷航"现象在所有测试的大模型中普遍存在，不论规模、架构或训练方法如何。具体发现包括：

模型规模与迷航关系：

• 较大模型（如GPT-4、Claude Opus）虽然在单轮任务中表现卓越，但在多轮对话中的性能下降比例与小型模型相近
• 参数规模增加并未显著改善多轮对话能力

任务类型差异：

• 事实性任务（如回答问题）中的性能下降相对较小（25-30%）
• 创意性和开放性任务（如写作、代码生成）中的性能下降最为显著（40-55%）
• 推理任务在多轮对话中特别容易受到早期假设的影响

指令敏感度：

• 改变指令顺序对最终结果影响显著
• 当关键信息在对话后期才出现时，被正确整合的概率大幅降低

4.2 关键数据点

论文中的几个关键数据点特别值得关注：

多轮性能衰减曲线：
随着对话轮次增加，模型性能呈非线性下降。前3-4轮的性能下降相对缓慢，之后下降加速，在8-10轮后趋于稳定，平均下降39%。

模型比较数据：

模型	单轮基准分数	多轮最终分数	性能下降比例
GPT-4	94.2	58.6	37.8%
Claude Opus	92.8	54.5	41.3%
Llama-2-70B	86.5	49.2	43.1%
GPT-3.5	85.3	53.7	37.0%
Mistral-7B	80.2	47.3	41.0%

信息整合成功率：
当关键信息在首轮提供时，被正确处理的概率为92%；当同样的信息在第5轮提供时，正确处理的概率降至57%；到第10轮时，这一比例进一步降至39%。

4.3 定性分析举例

论文通过多个具体案例展示了"迷航"现象。以下是一个典型例子：

代码生成任务案例：

• 首轮指令：『编写一个函数来处理数据』
• 模型回应：提供了一个基础的数据处理函数
• 第二轮补充：『数据格式是JSON』
• 模型回应：稍微调整代码以处理字符串输入，但并未真正适配JSON处理
• 第三轮补充：『需要解析嵌套的JSON结构』
• 模型回应：添加了简单的JSON解析，但仍然基于原始函数结构，没有根本性重构
• 第四轮补充：『需要处理可能缺失的字段』
• 模型回应：添加了一些错误检查，但整体设计仍不适合复杂JSON处理

对比单轮指令（包含所有上述要求），模型直接生成了一个结构完全不同、专为复杂JSON处理设计的解决方案。

这个例子清晰地展示了模型如何在多轮对话中"迷失"，无法有效整合新信息并调整其最初的解决方案。

5. 原理解析：为什么大模型会"迷航"？

5.1 从模型架构角度解释

上下文表示的局限性：
大模型通过注意力机制处理上下文窗口中的所有信