Chain-Of-Knowledge (CoK) 是一种适合复杂推理任务的新型提示技术。来自论文《Boosting Language Models Reasoning with Chain-of-Knowledge Prompting》。
在实际的实施中，这是一个非常复杂的方法。
如果，团队中已经积累了知识图谱，并且知识图谱是一个核心的资产，可以考虑这种方式——因为知识完全不在 LLMs 中。其中还有一个问题：受限于知识库的表达方式，该如何把问题和知识库建立起来有效的联系呢？
概述
如上图所示，在提示式playground中创建一个工作示例的CoK是直截了当的。但CoK提示的关键挑战在于准确构建证据三大流量卡元组或事实（CoK-ET）。
在这项研究中，提出了一个具有访问知识库功能的检索工具。因此，CoK可以被视为RAG实现的一种赋能工具。
另一个挑战是如何获得更好地表达文本理由的带注释的CoK-ET？
CoK 是另一项研究，展示了在推理时大型语言模型（LLMs）的上下文学习（ICL）的重要性。
不久前的一个研究《Are Emergent Abilities in Large Language Models just In-Context Learning?》[1]表明：涌现能力并非隐藏的或未公布的模型能力，只是等待被发现，而是正在构建的上下文学习的新方法。
CoK依赖于检索数据的质量，以及人工注释这些数据的大流量卡重要性。
这让我们回到了当前人工智能领域讨论最多的话题之一，那就是human-in-the-loop的方法，其中数据被检查、标注和增强。
在加速人在循环指令调优方面，通过一个AI加速的数据中心工作室也存在巨大的机会。
CoK方法还包括一个双因素验证步骤，包括事实和忠实度验证。
考虑因素
推理时间和令牌数量可能对成本和用户体验产生负面影响。
这种方法不像基于梯度的方法那样不透明，在整个过程中都存在透明度；这使得在过程的任何步骤都容易进行检查，并能洞察数据的输入和输出情况。
CoK的元素可以被实施，而不必一定要实施整个方法。
这种方法在解决大型语言模型(LLM)产生幻觉的问题上将取得长足进展；最近的一项研究表明[大流量卡2]，在进行上下文学习(ICL)时，LLM的回应要准确得多。
CoK也可以使组织因高度相关的上下文数据而使用较小的模型成为可能。
CoK再次证明，在许多基于LLM的实现的核心，是一个作为应用程序主干的LLM，配合一个元提示。
链式知识提示的基本前提是要比有时可能表现出脆弱性的链式思考更为稳健的方法。
关于CoK的更多细节
CoK-ET是一个结构事实列表，它包含了整体推理证据，作为从查询到答案的桥梁。CoK-EH是这些证据的解释。
研究的一个关键发现是，仅有文本的推理链本身不足以使大型语言模型生成可靠且简洁的推理。
因此，CoK通过结构化数据和后置验证过程增强了提示。
广泛认为，推理可以被建模为对现有知识系统的大流量卡归纳和演绎。
CoK可以被视为一个框架，在推理时构建准确且格式正确的提示。如上图所示，可以通过手动创建提示，在提示playground中轻松地试验CoK。
结论
最近的一项研究[3]考察了大型语言模型（LLMs）根据预定义的输入和输出生成提示的能力。现在很明显，这种方法只有在需要创建非常简单的提示时才有效。
CoK再次证明了，使用大型语言模型的生成式AI实现将需要一定的灵活性，但这无疑会带来复杂性。
引用：
[1]https://arxiv.org/abs/2309.01809
[2]https://cobusgreyling.medium.com/llm-hallucination-index-3df61大流量卡301b3b0
[3]https://arxiv.org/abs/2211.01910
原文：https://cobusgreyling.medium.com/chain-of-knowledge-prompting-0285ac879ede
友情提醒： 请添加客服微信进行免费领取流量卡！
QQ交流群：226333560 站长微信：qgzmt2
原创文章，作者：sunyaqun，如若转载，请注明出处：https://www.dallk.cn/28753.html
