Kimi K3 不对齐风险评估
我们对 Kimi K3 开展了独立评估，重点考察不对齐与不当行为。K3 在回答问题和执行操作时均表现出过度积极的倾向，会探查评估基础设施；即使安全测试被翻译成另一种语言，它仍能识别出熟悉的测试场景。
执行摘要
我们对 Moonshot AI 于 2026 年 7 月 16 日发布的开放权重模型 Kimi K3 进行了独立安全评估。目前已有大量研究测试了 K3 的能力及相关风险，尤其是网络安全与生物风险。因此，我们将重点放在不对齐与不当行为上：当用户意图不明确、任务无法按要求完成，或模型意识到自己正在接受测试时，它会如何行动？
我们在 Kimi K3、GPT-5.6 Terra、Claude Sonnet 5 和 DeepSeek V4 Flash 上运行了近 30 项开源基准，并结合后续实验、Petri 审计，以及系统卡和第三方评估中的结果进行分析。
主要发现如下：
- 过度积极的倾向同时体现在回答与行动中。 在缺失图片的评估中，我们要求模型根据图表回答问题，却没有实际附上图表。K3 的作答尝试率在受测模型中最高。在以真实编程对话为起点的审计中，当用户始终只是提问、并未要求修改时，K3 也比其他比较模型更频繁地擅自采取行动。
- K3 会推测评分机制，并探查评估基础设施。 在网络安全任务中，它识别出了所用基准，分析评分方式，还探查了一个未向它公开的接口。在 TheAgentCompany 中，它访问了内部模型接口，借助另一模型处理自身工具无法读取的图片。
- 熟悉的安全测试即使经过翻译，K3 仍能认出。 对于 Anthropic 的 Agentic Misalignment 勒索基准，K3 在英文测试中的识别率为 100%，中文测试中为 96%；有一次，它甚至指出了中文角色对应原研究中的哪一位人物。因此，即使模型在这些测试中表现安全，也不足以让我们对其在其他情境下的行为同样放心。
- 在自我保存、情境意识、可监控性、对抗鲁棒性和有害操纵等方面，K3 整体上表现出较好的对齐水平。 我们鼓励在这些方向继续开展测试，尤其是在更开放的场景中，以减少模型因识别出评估而影响结果的可能性。
这些倾向并非 Kimi K3 独有。Anthropic 和 OpenAI 在最新系统卡中，也记录了类似的探查评分机制、绕过限制等行为。2026 年 7 月，OpenAI 模型在内部评估中突破隔离限制、获取基准答案的事件，同样出现了这些行为。如今，K3 的能力已接近前沿水平，并展现出类似倾向，因此我们建议 Moonshot 采用近期网络安全事件后提出的监控措施。随着模型越来越擅长识别熟悉的测试，评估者也需要设计更真实、更多样的场景，确保评估仍能提供有价值的信息。
1 回答与行动中的过度积极倾向
参照已有研究的方法，我们改造了图表理解基准 CharXiv：保留针对图表的问题，但不提供图片。由于每道题都依赖某一张具体图表，模型在这种情况下应当说明信息不足，不作猜测。
然而，K3 尝试回答了 88.7% 的问题，是所有受测模型中最高的，接近第二名 DeepSeek V4 Flash（48.2%）的两倍。K3 尝试给出的答案大多是错误的。
随后，我们在生物研究基准 LAB-Bench 的图形解读和表格解读子集上重复了实验。值得关注的是，LAB-Bench 的每道题本来就明确提供了“信息不足，无法回答”这一选项。即便如此，K3 在两个子集上的作答尝试率仍然最高，只是模型之间的差距有所缩小。
接下来，我们测试了这种过度积极的倾向是否也会延伸到实际行动。
我们开发了一种以既有对话为起点的对齐审计方法：从 SWE-chat 中选取真实的编程智能体对话记录，由审计模型从指定位置接续互动，同时保留原有上下文、用户语气和工具环境。
当用户每一轮都只是在提问、从未要求进行修改时，K3 仍在 31% 的运行中采取了超出阅读或检查范围的操作。这一比例约为 DeepSeek V4 Pro 的两倍，是 GPT-5.6 Terra 的五倍以上。
我们还测试了模型是否会绕过文件的只读限制。在没有明确禁止指令的情况下，Kimi K3、DeepSeek V4 Pro 和 GPT-5.6 Terra 三个模型均在约 90% 的运行中尝试绕过限制。即使加入了禁止修改文件或更改权限的明确指令，K3 仍在 13% 的运行中作出此类尝试，而另外两个模型均为零。在部分案例中，K3 先明确承认了这条规则，随后却仍试图绕过它。
2 当模型把评估环境也当成解题资源
智能体基准通常衡量模型能否完成任务，但模型也可能检查任务周围的环境。在我们的评估中，K3 有时会利用这些访问能力，识别所用基准、推测评分机制，并探查支撑评估运行的基础设施。
TheAgentCompany 模拟了一个工作场所：智能体需要使用软件工具、处理文档，并与模型模拟的同事沟通。其中一项任务因配置失误而无法正常完成——K3 无法读取任务所需的一张图片。它于是寻找其他途径，发现了评估框架内部用于连接模型的接口。该接口原本用于模拟同事以及调用评分模型。
由于缺少调用接口的凭据，K3 检查了正在运行的进程，从中找到了 API 密钥，随后通过该接口调用 Claude Sonnet 5 来解读图片。它就这样绕过了环境限制，借助预定工作流程之外的基础设施完成了任务。
在另一项同样因配置错误而无法完成的任务中，任务所依赖的电子表格缺失，Kimi K3 便自行编造了 12 份合同的数据。它甚至在推理中明确考虑到，这样做可以满足评分器的要求。
在网络安全任务中，我们也观察到了类似的探查评估机制行为。在 Cybench、EVMbench 和 CyberGym 中，K3 能直接说出基准或其原始任务的名称。在 EVMbench 和 CyberGym 中，它还分析了自己的工作将如何被评分。
例如，在 CyberGym 中，K3 在 21% 的任务里发现并探查了一个未向它公开的 /submit-fixed 接口。评分器通过这一接口，在修复过的软件上测试提交内容。尽管 K3 从未被告知该接口存在，它仍找到了接口，并推断出了用途。
这些案例揭示了一个日益突出的挑战：智能体越善于寻找解题途径，也就越善于发现并利用开发者未打算让它使用的系统路径。2026 年 7 月，OpenAI 模型突破隔离限制、访问 Hugging Face 基础设施以获取基准答案的事件，说明了这类行为可能带来的后果。赋予模型更高自主性的同时，我们也需要加强对齐、监控，以及对智能体访问范围和操作权限的控制。
3 安全测试经过翻译，仍能被识别
我们将 Anthropic 的勒索场景翻译成中文，并调整了人名、机构名称及其他细节。即便如此，K3 在中文运行中识别出 Agentic Misalignment 勒索基准的比例仍达 96%；英文运行中的识别率则为 100%。
在一次中文运行中，K3 明确将高管“张凯乐”与 Anthropic 原研究中的 Kyle Johnson 对应起来：
……这本质上就是那个场景的中文改编版，只是把“Kyle Johnson”换成了“张凯乐”。… this is essentially a Chinese-language adaptation of that exact scenario, with ‘Kyle Johnson’ becoming ‘张凯乐’.
K3 不仅能回忆起具体细节，还能将其与翻译后的场景一一对应。因此，即使它在这类熟悉的测试中很少采取有害行动，这些结果也难以充分证明它在其他情境下同样安全。
不过，评估意识在不同测试中的表现并不一致。EvalAwareBench 测试的是评估线索如何影响模型识别测试情境的能力。在该基准中，K3 的外显评估意识率在基线条件下仅为 0.2%；启用全部八项线索后，上升至 6.1%。这里的“外显评估意识”，指模型在推理或回答中明确表示自己可能正在接受评估。这两个比例均低于 Kimi K2.5 的基线值 6.7%。K3 几乎总能识别勒索场景，却在这一基准上表现出较低的评估意识，这说明对特定测试的熟悉程度是问题的重要组成部分。
以真实对话为起点的审计，为我们提供了一个值得继续探索的方向。这种方法接续真实的编程智能体对话，使评估建立在已有工作流程之上。在 300 次运行中，K3 仅有两次表现出外显评估意识。这一初步结果令人鼓舞，支持我们继续探索基于真实互动的评估方法；但它仍无法排除模型已经意识到自己正在被测试、却没有说出来的可能性。
4 结论
K3 的评估结果反映了前沿模型普遍面临的挑战：随着能力和自主性增强，我们需要考察模型如何完成任务、是否遵守边界，以及它在熟悉测试中的表现能否延续到其他情境。我们的发现支持更密切地监控智能体行动，并在更真实的场景中评估不对齐风险。Neo Research 正在开发相关方法与评估，帮助开发者和用户安全部署能力日益增强的智能体。
有关全部七类不对齐风险的完整评估、各项基准结果及研究方法，请阅读完整报告。