和思想链说再见吧。 向 Chain-of-Draft 问好。 为了解决推理 LLM 中的延迟问题，本研究引入了 Chain-of-Draft (CoD)。 讨论一种新的大型语言模型提示策略，叫做“Chain-of-Draft (CoD)”。以下是主要内容： - CoD是一种新的提示方法，相比传统的“Chain-of-Thought (CoT)”方法，它大大减少了冗长的推理步骤，只需要7.6%的token，就能保持在数学和常识推理任务上的高准确性。 - CoD通过模仿人类的草稿过程，在每个推理步骤中生成简洁、信息密集的输出，从而显著降低实时应用的延迟和成本。 - 这个方法由Zoom Communications的研究人员在一篇论文中详细描述，他们在GSM8K等基准测试中展示了CoD的有效性，结果表明CoD在推理速度更快的情况下，性能匹配甚至超过了CoT。 简单来说，CoD是一种更高效的推理提示策略，适合需要快速响应的场景。 编程严选网 软件开发 程序员 人工智能
