ChatDB:提升LLM复杂推理能力的关键

OKX欧易app

OKX欧易app

欧易交易所app是全球排名第一的虚拟货币交易所,注册领取6万元盲盒礼包!

APP下载   官网注册

自去年11月份,ChatGPT面世以来,大语言模型(Large Language Models,即LLM)疯狂升级,不断爆火。而如何让大语言模型更好的应对有很长的上下文信息(超出其最大处理长度)的场景,并利用相关历史信息做复杂的推理,也就成了各国科学家们竞相攻坚的热点研究话题。

日前,清华大学和北京智源人工智能研究院的研究者们提出了一种新型的符号性(symbolic)记忆模块,即用数据库称为ChatDB。其框架包含三个主要阶段:输入处理、记忆链和总结回复。其中,记忆链是一个新提出的方法,以更有效地操作符号性记忆模块,从而进一步增强LLMs的推理能力。

在ChatDB中,大语言模型通过生成SQL指令来操纵数据库,从而实现对记忆模块中历史信息精确的增删改查,并在需要时为大语言模型提供信息,以帮助其回应用户的输入。这样可以让大语言模型胜任需要对历史信息进行长期且精确的记录、处理和分析的场景,例如各种管理和分析系统,以后甚至有望替代管理者,直接让大语言模型根据精确的历史数据做分析和决策。

相比较于ChatDB,之前的记忆模块设计,要么需要依靠文本的vector embedding之间的相似度,要么将历史信息隐式地存储在神经网络的权重中,都涉及神经性的操作,无法像符号性操作那样精确操纵记忆模块中的历史信息。所以,这些设计存在着没有以结构化的形式存储历史信息和对存储在记忆模块中的信息的操作不够精确的问题。

ChatDB则是利用支持SQL指令的数据库作为符号性记忆模块,来支持对历史信息抽象的、可拓展的和精确的操作。而且,符号性记忆模块还可以跟之前的记忆模块同时使用,起到相辅相成的作用,这无疑是极具优势的。

本站所有软件信息均由用户上传发布,版权归原著所有。如有侵权/违规内容,敬请来信告知邮箱:764327034@qq.com,我们将及时撤销! 转载请注明出处:https://czxurui.com/zx/27699.html

打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年07月25日
下一篇 2023年07月25日

相关推荐

  • 华为哈勃入股钛忆科技后者为镍钛记忆合金产品研发商

    [华为哈勃投资钛记忆技术,后者是镍钛记忆合金产品研发商]11月17日,企业检查应用程序显示,上海钛记忆技术有限公司最近发生了工商变化,华为深圳哈勃技术投资合伙企业(有限合伙)、汉途投资合伙企业(有限合伙)等宁波梅山保税港区公司为股东。根据企

    2023-11-17 16:00:03
    42 0
  • ChatDB:提升LLM复杂推理能力的关键

    自去年11月份,ChatGPT面世以来,大语言模型(Large Language Models,即LLM)疯狂升级,不断爆火。而如何让大语言模型更好的应对有很长的上下文信息(超出其最大处理长度)的场景,并利用相关历史信息做复杂的推理,也就成

    2023-09-06 14:00:40
    25 0

发表回复

8206
验证码

评论列表(0条)

    暂无评论

ok交易所
已有100万用户加入ok交易所

立即下载