# 隐式思维链（Implicit CoT）阅读指南

显式思维链把中间步骤写成文字。隐式思维链（Implicit Chain-of-Thought，简称 Implicit CoT）让语言模型在内部完成推理，再输出答案。相关研究也使用潜在推理（latent reasoning）、潜空间推理和 latent CoT 等名称。

[中文概览](https://latent-implicit-thinking.github.io/zh/) · [中文导读与例子](https://latent-implicit-thinking.github.io/zh/topics/) · [完整论文列表（英文）](https://latent-implicit-thinking.github.io/papers/)

网站版本：0.15.2。网站更新：2026-11-11。文献核查至：2026-11-03。

## 从五篇论文入门

按首次公开日期阅读：Implicit CoT 的提出、逐步内化、循环连续状态、自蒸馏，以及领域综述。

### 2023-11-02 — Implicit Chain of Thought Reasoning via Knowledge Distillation

作者：Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber。

首次提出隐式思维链（Implicit CoT）：让语言模型通过连续隐藏状态完成中间推理，而不把这些步骤写成文字。论文先定义这一推理方式，再用知识蒸馏给出一种实现。

Yuntian Deng 等人在 2023 年首次提出 Implicit CoT。第 2.3 节定义了训练时使用中间步骤、回答时通过内部状态完成推理的方式；第 3 节给出基于知识蒸馏的实现。

教师模型先学习显式思维链。学生模型学习利用教师的隐藏状态生成答案，另一个模型学习从题目预测这些状态，最后将两者连接并联合训练。中间计算沿模型层进行，不再逐词生成解题过程。

原文：[2023 年原文：第 2.3 节（Implicit CoT 的定义）](https://arxiv.org/html/2311.01460v1#S2.SS3) · [第 3 节（蒸馏实现）](https://arxiv.org/html/2311.01460v1#S3) · [第 5 节（结果）](https://arxiv.org/html/2311.01460v1#S5) · [第 8 节（局限）](https://arxiv.org/html/2311.01460v1#S8)

[中文论文介绍](https://latent-implicit-thinking.github.io/zh/papers/2311.01460/) · [英文记录](https://latent-implicit-thinking.github.io/papers/2311.01460/) · [论文原文](https://arxiv.org/abs/2311.01460) · [JSON 记录](https://latent-implicit-thinking.github.io/papers/2311.01460/record.json) · [预印本 BibTeX](https://latent-implicit-thinking.github.io/papers/2311.01460/citation.bib) · [预印本 CSL-JSON](https://latent-implicit-thinking.github.io/papers/2311.01460/citation.csl.json)

### 2024-05-23 — From Explicit CoT to Implicit CoT: Learning to Internalize CoT Step by Step

作者：Yuntian Deng, Yejin Choi, Stuart Shieber。

提出逐步内化（Stepwise Internalization）来实现 Implicit CoT：从显式思维链模型开始，在微调中逐渐移除中间步骤，让模型学会在内部完成这些计算。

Yuntian Deng、Yejin Choi 和 Stuart Shieber 在 2024 年提出逐步内化，继续研究 2023 年提出的 Implicit CoT。它通过逐渐缩短训练中的解题过程来实现推理内化（Internalized reasoning），无需另设隐藏状态模拟器。

先训练模型输出完整步骤与答案，再从步骤开头逐渐移除 token，并继续微调，直到模型直接生成答案。训练用移除平滑和优化器状态重置来处理阶段切换；保留部分步骤也能在速度与准确率之间作出取舍。

原文：[2024 年原文：第 2 节（与 2023 年工作的关系）](https://arxiv.org/html/2405.14838v1#S2) · [第 3 节（逐步内化）](https://arxiv.org/html/2405.14838v1#S3) · [第 5 节（结果）](https://arxiv.org/html/2405.14838v1#S5) · [第 6 节（速度与准确率取舍）](https://arxiv.org/html/2405.14838v1#S6)

[中文论文介绍](https://latent-implicit-thinking.github.io/zh/papers/2405.14838/) · [英文记录](https://latent-implicit-thinking.github.io/papers/2405.14838/) · [论文原文](https://arxiv.org/abs/2405.14838) · [JSON 记录](https://latent-implicit-thinking.github.io/papers/2405.14838/record.json) · [预印本 BibTeX](https://latent-implicit-thinking.github.io/papers/2405.14838/citation.bib) · [预印本 CSL-JSON](https://latent-implicit-thinking.github.io/papers/2405.14838/citation.csl.json)

### 2024-12-09 — Training Large Language Models to Reason in a Continuous Latent Space

作者：Shibo Hao, Sainbayar Sukhbaatar, DiJia Su, Xian Li, Zhiting Hu, Jason Weston, Yuandong Tian。

Coconut 将最后一个隐藏状态作为下一步输入，在连续空间中反复计算，完成后再生成文字答案。
[英文记录](https://latent-implicit-thinking.github.io/papers/2412.06769/) · [论文原文](https://arxiv.org/abs/2412.06769) · [JSON 记录](https://latent-implicit-thinking.github.io/papers/2412.06769/record.json) · [预印本 BibTeX](https://latent-implicit-thinking.github.io/papers/2412.06769/citation.bib) · [预印本 CSL-JSON](https://latent-implicit-thinking.github.io/papers/2412.06769/citation.csl.json)

正式发表版本：Shibo Hao, Sainbayar Sukhbaatar, DiJia Su, Xian Li, Zhiting Hu, Jason E Weston, Yuandong Tian. Training Large Language Models to Reason in a Continuous Latent Space. Conference on Language Modeling (COLM 2025), 2025. [原文](https://openreview.net/forum?id=Itxz7S4Ip3) · [BibTeX](https://latent-implicit-thinking.github.io/papers/2412.06769/publication.bib) · [CSL-JSON](https://latent-implicit-thinking.github.io/papers/2412.06769/publication.csl.json)

### 2025-02-28 — CODI: Compressing Chain-of-Thought into Continuous Space via Self-Distillation

作者：Zhenyi Shen, Hanqi Yan, Linhai Zhang, Zhanghao Hu, Yali Du, Yulan He。

CODI 通过自蒸馏对齐显式思维链与连续推理的隐藏状态，用较少的连续步骤承载推理过程。
[英文记录](https://latent-implicit-thinking.github.io/papers/2502.21074/) · [论文原文](https://arxiv.org/abs/2502.21074) · [JSON 记录](https://latent-implicit-thinking.github.io/papers/2502.21074/record.json) · [预印本 BibTeX](https://latent-implicit-thinking.github.io/papers/2502.21074/citation.bib) · [预印本 CSL-JSON](https://latent-implicit-thinking.github.io/papers/2502.21074/citation.csl.json)

正式发表版本：Zhenyi Shen, Hanqi Yan, Linhai Zhang, Zhanghao Hu, Yali Du, Yulan He. CODI: Compressing Chain-of-Thought into Continuous Space via Self-Distillation. Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025. [原文](https://aclanthology.org/2025.emnlp-main.36/) · [BibTeX](https://latent-implicit-thinking.github.io/papers/2502.21074/publication.bib) · [CSL-JSON](https://latent-implicit-thinking.github.io/papers/2502.21074/publication.csl.json)

### 2025-05-22 — Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning

作者：Xinghao Chen, Anhao Zhao, Heming Xia, Xuan Lu, Hanlin Wang, Yanjun Chen, Wei Zhang, Jian Wang, Wenjie Li, Xiaoyu Shen。

综述 Implicit CoT 与 latent CoT 的主要方法、表示方式和评测问题，并维护 Awesome-Latent-CoT 论文目录。
[英文记录](https://latent-implicit-thinking.github.io/papers/2505.16782/) · [论文原文](https://arxiv.org/abs/2505.16782) · [JSON 记录](https://latent-implicit-thinking.github.io/papers/2505.16782/record.json) · [预印本 BibTeX](https://latent-implicit-thinking.github.io/papers/2505.16782/citation.bib) · [预印本 CSL-JSON](https://latent-implicit-thinking.github.io/papers/2505.16782/citation.csl.json)

## 继续阅读

- [推理内化（Internalized reasoning）](https://latent-implicit-thinking.github.io/topics/internalized-reasoning/)：训练时学习解题步骤，回答时减少或省去这些步骤的文字输出。知识蒸馏和逐步内化是两种实现。 分类论文页为英文。

- [思考 token](https://latent-implicit-thinking.github.io/topics/thinking-tokens/)：加入暂停符号或专门的 token，为模型提供额外计算位置，而不要求这些位置写出解题过程。 分类论文页为英文。

- [连续状态推理](https://latent-implicit-thinking.github.io/topics/continuous-states/)：在推理步骤之间传递向量，而不是每一步都选择文字 token。 分类论文页为英文。

- [循环推理](https://latent-implicit-thinking.github.io/topics/recurrent-reasoning/)：重复运行模型层，或保留并更新中间状态，让模型对一道题进行多轮内部计算。 分类论文页为英文。

- [其他生成方式](https://latent-implicit-thinking.github.io/topics/alternative-reasoning-schedules/)：改变步骤的生成顺序，例如并行生成或反复修改。这个类别也包含输出文字思维链的方法。 分类论文页为英文。

- [分析与评测](https://latent-implicit-thinking.github.io/topics/implicit-reasoning-evaluation/)：测试方法能解决什么问题，研究内部状态如何影响答案，并检查失败情形。 分类论文页为英文。

## 引用与检索

- [JSON 论文列表](https://latent-implicit-thinking.github.io/data/papers.json)：完整论文记录、摘要与来源。
- [完整 Markdown 论文列表（英文）](https://latent-implicit-thinking.github.io/data/reading-list.md)：适合按文本检索。
- [BibTeX](https://latent-implicit-thinking.github.io/data/papers.bib) · [CSL-JSON](https://latent-implicit-thinking.github.io/data/papers.csl.json)：原始记录的引用文件。
- [正式发表版本 BibTeX](https://latent-implicit-thinking.github.io/data/publications.bib) · [正式发表版本 CSL-JSON](https://latent-implicit-thinking.github.io/data/publications.csl.json)：已核实的会议或期刊版本。
- [页面与文件目录](https://latent-implicit-thinking.github.io/data/navigation.json)：中英文页面、阅读路线与下载地址。
- [最近收录](https://latent-implicit-thinking.github.io/recent/) · [更新记录](https://latent-implicit-thinking.github.io/changelog/)。

`first_public` 是已核实的首次公开日期；`added_at` 是本列表收录日期。`paper_url` 指向原始来源，arXiv 论文使用摘要页；`pdf_url` 指向全文 PDF。JSON 记录中的 `publication` 和相应引用下载描述正式发表版本。请引用实际使用的版本。

## 致谢

感谢 [Awesome-Latent-CoT 论文目录](https://github.com/EIT-NLP/Awesome-Latent-CoT)及其相关综述 [Reasoning Beyond Language](https://arxiv.org/abs/2505.16782)，帮助我们找到许多论文。

本站分类、摘要与数据采用 [CC BY 4.0](https://latent-implicit-thinking.github.io/license/)；原论文与代码保留各自许可。