能总结履历、不断进化，上交把智能体优化参数的老本打下来了

发布时间：2024-11-19 08:26:44 来源：きよみおさむ(喜代美修)网 作者：焦点

大模子的结履交把泛起激发了智能体妄想的革命性刷新 ，在 ChatGPT 及其插件零星问世后
，历不老本对于大模子智能体的断进打下妄想以及开拓排汇了极大的关注 。辅助实现预订、化上化参下单等使命 ，体优辅助编写文案，结履交把自主从收集上搜查最新的历不老本知识与往事等等，这种通用
、断进打下强盛的化上化参智能助理，让大模子强盛的体优语义清晰 、推理能耐将之酿成为了可能
。结履交把

为了提升大模子智能体交互的功能以及坚贞性 ，当初学界已经提出了多种基于差距揭示语技术的智能体框架
，如将脑子链散漫至抉择规画历程的 ReAct、运用大模子的自魔难能耐的 RCI 等。

尽管大模子智能体已经展现出强盛的能耐，但上述妄想都缺少让大模子智能体从自己的既往交互履历中学习进化的能耐 。而这种不断进化的能耐，正成为大模子智能体睁开中亟待处置的下场 。

艰深来说，抉择规画交互使掷中个别会接管强化学习 ，基于过往交互历程来优化智能体的交互策略，但对于大模子来说，直接优化其参数的价钱重大
。

Algorithm Distillation（算法蒸馏）等使命提出了 「即境强化学习」（in-context reinforcement learning）的意见，将强化学习磨炼历程输入预磨炼过的抉择规画 transformer，就能让模子在不需要更新参数的情景下
，从输入的磨炼历程中学习到功能演进的方式，并优化下一步输入的策略。

可是这种方式却难以直接运用于文本大模子。由于重大的审核、措施展现成文本需要破费更多的词元（token），这将导致残缺的磨炼历程难以塞入有限的高下文
。

针对于该下场，上海交通大学跨媒体语言智能试验室（X-LANCE）提出了一种处置妄想
：经由外置履历影像来保存大模子的交互历史，凭仗强化学习来更新履历影像中的履历 ，就能让全部智能体零星的交互功能患上到进化 。这样妄想进去的智能体组成为了一种半参数化的强化学习零星。论文已经由 NeurIPS 2023 接管
。

论文地址 ：https://arxiv.org/abs/2306.07929

试验展现，经由该措施妄想的 「忆者」（Rememberer）智能体 ，在实用性与晃动性上均揭示出了优势
，逾越了此前的钻研下场，建树了新的功能基准
。

措施

该使命为 「忆者」 智能体妄想了一种 RLEM（Reinforcement Learning with Experience Memory）框架，使患上智能体可能在交互中，凭证之后交互形态从履历影像中动态抽取过往履始终提升自己的交互行动
，同时还可能运用情景返回的酬谢（reward）来更新履历影像，使患上部份策略患上到持久改善。

在履历影像中存储使命目的

相关文章