[Idea] LobeAgent Runtime

[arvinxx]

我们对于 ai 的观点是，只有构建智能助理才能真正发挥它最大的价值。因此 LobeChat 的顶层设计中，agent 才是唯一的一等公民。

但 lobeChat 只是一个前端运行时，只有当用户打开 chat 页面后才能和助理进行交互。这大大局限了 Agent 的交互能力。在我的构想中，Agent 可以与用户被动交互，也应该可以主动运行，比如定时执行某些任务，或者帮助开发者协助管理 issue ， review PR，甚至实现部分代码开发。

那上述构想离不开 agent 在多种执行环境中运行，比如浏览器、 node 、deno、 Edge Runtime等等，通过指定一个 identifier 就可以运行相应的助手。

同时，结合社区的共建，我们已经在 Lobe Agent 市场中看到了各色的 agent 智能助理。有的配置了超长的 systemRole ，有的配置了插件，有的设定了不同的模型与超参数。 那我们是否有可能复用这些 agent ，使之在不同的环境中为我们工作？

这就是这个帖子的思考，提供一个统一的 Agent Runtime ，提供 agent 的初始化、校验、会话等若干能力，进而实现一个 runtime 运行不同llm后端、不同配置的 agent。

[arvinxx]

和 LangChain 的区别？

从做的事情上来看有挺大的相似性。langchain 也有多LLM 后端，工具调用、插件系统等能力，也有 LangSmith 的 Chain 开发平台，用户理论上可以通过一个id实现 LangSmith 的调用。

那差别在哪？

Langchain 无法直接运行 LobeChat 中已经定义好的助手。因此无法直接在各个运行时中一键运行各种lobe助理。

LobeAgent Runtime 的目的就是能一键运行lobe助理。

所以理想情况下，LobeAgent Runtime 的底层实现也可能会依赖于 LangChain，以抹平多llm后端的调用问题。而 Runtime 本身可能会做更多关于 lobe 应用层的逻辑。使得 lobe 助理可以在各个端中运行。

[arvinxx]

目前需要 agent runtime 的场景：

Lobe Agent 市场索引

1. agent 格式校验
2. Agent 格式生成

LobeChat

1. 助手会话
2. Chains 中的调用
3. 助手设置
4. 提交助手

Lobe Agent Builder (待做)

1. 会话式生成助手
2. 助手配置
3. 助手评估

Lobe i18n

1. 运行i18n翻译助手
2. 运行文档翻译助手

Readme Wizard

1. 根据用户输入生成 readme
2. 翻译 Readme

github action

未来其他开发助手

[jingyuan2017]

提两个比较基础的功能供参考：

1. 创建的agents可以通过API对外输出，包括文字对话能力和语音能力。
2. 基于时间触发的主动会话，类似计划任务（实际上可能需要更多类型的触发器，我个人目前用到了时间触发）

[arvinxx]

提两个比较基础的功能供参考：

1. 创建的agents可以通过API对外输出，包括文字对话能力和语音能力。

2. 基于时间触发的主动会话，类似计划任务（实际上可能需要更多类型的触发器，我个人目前用到了时间触发）

如果我们提供了 runtime， 这两个应该你自己就可以做了吧？

[jingyuan2017]

嗯嗯，按说是可以的，最好是包含在框架内，封装成类似openai的api

[arvinxx]

嗯嗯，按说是可以的，最好是包含在框架内，封装成类似openai的api

你是说封装在 LobeChat 的 api 里提供出来么？

[jingyuan2017]

是的，比如主动触发，我理解也应该是agent能力的一部分，但是应该封装在runtime层面，还是封装在应用层面，我也不太确定。

如果是作为一个runtime或者核心库，貌似不应该管主动触发之类的东西，毕竟要在应用端做动作。

如果是作为一个完整生态，甚至前端APP都是统一的，就适合都包含进来，coze.com的agent定制好像有定时器吧？

[arvinxx]

https://mp.weixin.qq.com/s?__biz=Mzg2OTY0MDk0NQ==&mid=2247504973&idx=1&sn=603596db2a31e1e53d71ac05d775cb7c&chksm=ce9b6bd3f9ece2c577720045239314840757fa578587f4a5adbf21e18a9dadd6bf1af3913b61&mpshare=1&scene=1&srcid=12206eJ0D9uMBBGpK3tfo5GN&sharer_shareinfo=a20203bdbca015e3f406fbaf00a7ecc6&sharer_shareinfo_first=a20203bdbca015e3f406fbaf00a7ecc6

[MapleEve]

其实我觉得目前比较好的应用场景是直接生成 Comfy 或者 SD 的提示词并直接通过插件或者面板形式进行输出，这样不用到处 CV 了，这样至少打通了单一链路闭环的流程。

[MapleEve]

智能体 = 大语言模型（LLM） + 观察 + 思考 + 行动 + 记忆

这个公式概括了智能体的功能本质。为了理解每个组成部分，让我们将其与人类进行类比：

1. 大语言模型（LLM）：LLM 作为智能体的“大脑”部分，使其能够处理信息，从交互中学习，做出决策并执行行动。
2. 观察：这是智能体的感知机制，使其能够感知其环境。智能体可能会接收来自另一个智能体的文本消息、来自监视摄像头的视觉数据或来自客户服务录音的音频等一系列信号。这些观察构成了所有后续行动的基础。
3. 思考：思考过程涉及分析观察结果和记忆内容并考虑可能的行动。这是智能体内部的决策过程，其可能由 LLM 进行驱动。
4. 行动：这些是智能体对其思考和观察的显式响应。行动可以是利用 LLM 生成代码，或是手动预定义的操作，如阅读本地文件。此外，智能体还可以执行使用工具的操作，包括在互联网上搜索天气，使用计算器进行数学计算等。
5. 记忆：智能体的记忆存储过去的经验。这对学习至关重要，因为它允许智能体参考先前的结果并据此调整未来的行动。

我们做一个这样的集合，应该能完成绝大多数事物了，这个是目前 LLM 环境下面很好的场景

[rovedream]

感觉先提供一个对外的REST API比较重要

[MapleEve]

没必要吧，第三方的 api整合太多了，聊天工具和 API 整合是两个方向的东西发自我的 iPhone在 2024年3月24日，02:59，rovedream ***@***.***> 写道： 感觉先提供一个对外的REST API比较重要 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you commented.Message ID: ***@***.***>

[rovedream]

整合API和聊天工具结合起来更强大，类似discord bot. 相当于是个中转平台，一端对接APP, 一端对接大模型

…

________________________________ 发件人: Maple Gao ***@***.***> 发送时间: 2024年3月23日 21:47 收件人: lobehub/lobe-chat ***@***.***> 抄送: rovedream ***@***.***>; Comment ***@***.***> 主题: Re: [lobehub/lobe-chat] [Idea] LobeAgent Runtime (Discussion #924) 没必要吧，第三方的 api整合太多了，聊天工具和 API 整合是两个方向的东西发自我的 iPhone在 2024年3月24日，02:59，rovedream ***@***.***> 写道： 感觉先提供一个对外的REST API比较重要 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you commented.Message ID: ***@***.***> — Reply to this email directly, view it on GitHub<#924 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/ABQL6WNYZO3TR4ALMQW6HJ3YZXZ7NAVCNFSM6AAAAABBLIFDU2VHI2DSMVQWIX3LMV43SRDJONRXK43TNFXW4Q3PNVWWK3TUHM4DQOBZGQYTK>. You are receiving this because you commented.Message ID: ***@***.***>