论文分享-Tree of Thoughts: Deliberate Problem Solving with Large Language Models

Tree of Thoughts: Deliberate Problem Solving with Large Language Models 论文链接:Tree of Thoughts: Deliberate Problem Solving with Large Language Models 发表会议:NeurlPS 2023...

Tree of Thoughts: Deliberate Problem Solving with Large Language Models


论文链接:Tree of Thoughts: Deliberate Problem Solving with Large Language Models

发表会议:NeurlPS 2023


Introduction

大语言模型越来越多地被部署用于解决各种任务中的一般问题

最初设计用于生成文本,现已证明能够越来越多地执行需要运算的任务、常识和知识推理任务


面对复杂问题存在重大挑战:

在推理过程中仍然受限于token级别的预测、从左到右的决策过程
大模型没有纳入任何类型的规划、展望或回溯来帮助评估不同的选项
难以完成需要探索、战略前瞻性或初始决策发挥关键作用的任务


ü卡尼曼双系统思维模型
l关于思维与决策的许多看法,人的大脑存在两个系统,他称为System 1System 2,分别代表快与慢两种作决定的方式——直觉和理性,这是两种具有不同认知功能的思维模式。
l直觉(System1)的操作是快速的、平行的、自动化的、不耗费资源的、联结的、内隐的(无需反省)以及通常是情绪驱动的,经常为习惯、经验、刻板印象所支配,因此很难控制或修正
l理性(System 2)的操作是缓慢的、系列的、控制的、耗费资源的、不容易出错、存在意识控制。



大量实验已证明,人更喜欢使用直觉进行判断和决策,而这正是人类决策偏误产生的根源。理论上来看,System 2会监控系统System 1的活动,并对由其导致的偏误进行纠正


本文创新

引入了一种新的语言模型推理框架“思想树”(ToT),它概括了流行的“思想链”方法来提示语言模型,并能够探索连贯的文本单元(想法)作为解决问题的中间步骤。


相关工作:

attachments-2024-06-achk0cFY6670184598cf1.png

Methods

框架概览:

attachments-2024-06-1o4pCgol6670185e8bed2.png

思维树的优势:

(1) 通用性: IOCoTCoT-SC 等可以被视为 ToT的特例(即深度和广度有限的树)。

(2) 模块化:基础 LM 以及思想分解、生成、评估和搜索过程都可以独立变化。

(3) 适应性:可以适应不同的问题属性、LM 功能和资源限制。

(4) 方便:不需要额外的训练。


思维树推理的方法

1. 将中间过程分解为思维步骤(利用问题属性来设计和分解中间思想步骤。

2. 从每个状态中产生潜在的想法

3. 启发式评估状态(利用语言模型评估状态哪一个状态最接近当前问题的解决

4. 搜索算法的选择(树的遍历方法:BFSDFS*


Experiment

1. 24点游戏

选择100场游戏分别对IO、CoT、CoT-SC方法测试

对于ToT方法,24点游戏会被分为三个步骤,使用广度优先遍历树、采用b=1-5参数。


attachments-2024-06-ahVZcc5A667018ef1e9f7.png

IO、CoT 和 CoT-SC 提示方法在任务上表现较差

相比之下,使用

  • 发表于 2024-06-17 19:10
  • 阅读 ( 650 )
  • 分类:论文分享

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
cc_test_01
cc_test_01

NWPU

1 篇文章

作家榜 »

  1. Panda-admin 37 文章
  2. 解弘艺 17 文章
  3. 高曾谊 16 文章
  4. 旺仔牛奶opo 15 文章
  5. 胡中天 14 文章
  6. LH 14 文章
  7. 罗柏荣 13 文章
  8. 林晨 12 文章