[Idea] 支持问题联想功能

[mushan0x0]

🥰 需求描述 | Feature Description

这个感觉挺有用，根据上一次提问和返回结果，联想下一次可能要问的问题

🧐 解决方案 | Proposed Solution

📝 补充信息 | Additional Information

No response

[lobehubbot]

👀 @mushan0x0

Thank you for raising an issue. We will investigate into the matter and get back to you as soon as possible.
Please make sure you have given us as much context as possible.
非常感谢您提交 issue。我们会尽快调查此事，并尽快回复您。 请确保您已经提供了尽可能多的背景信息。

[arvinxx]

想过这个功能，实现上还好做。可能的难点是如何确保联想问题的有效性，不然就变成干扰项了。
另外就是放在哪里，放每一个问题下面会比较占空间。可能一个的方式是做在input上方。

[lobehubbot]

Bot detected the issue body's language is not English, translate it automatically. 👯👭🏻🧑‍🤝‍🧑👫🧑🏿‍🤝‍🧑🏻👩🏾‍🤝‍👨🏿👬🏿

---

After thinking about this function, it is easy to implement. The possible difficulty is how to ensure the effectiveness of the association questions, otherwise they will become interference items.
The other thing is where to put it. Putting it under each question will take up more space. Maybe one way is to do it above the input.

[mushan0x0]

是的，在input上，而且还要考虑怎么生成比较节省token，模型可能要用最便宜的

[lobehubbot]

Bot detected the issue body's language is not English, translate it automatically. 👯👭🏻🧑‍🤝‍🧑👫🧑🏿‍🤝‍🧑🏻👩🏾‍🤝‍👨🏿👬🏿

---

Yes, in terms of input, we also need to consider how to generate more economical tokens. The model may use the cheapest one.

[canisminor1990]

其实可以尝试用fc实现，这样可以在一次生成中就完成联想

[lobehubbot]

Bot detected the issue body's language is not English, translate it automatically. 👯👭🏻🧑‍🤝‍🧑👫🧑🏿‍🤝‍🧑🏻👩🏾‍🤝‍👨🏿👬🏿

---

In fact, you can try to use fc to achieve it, so that the association can be completed in one generation.

[arvinxx]

其实可以尝试用fc实现，这样可以在一次生成中就完成联想

怎么用 FC ？

[lobehubbot]

Bot detected the issue body's language is not English, translate it automatically. 👯👭🏻🧑‍🤝‍🧑👫🧑🏿‍🤝‍🧑🏻👩🏾‍🤝‍👨🏿👬🏿

---

In fact, you can try to use fc, so that the association can be completed in one generation

How to use FC?

[mushan0x0]

怎么用 FC ？

大概每个消息都跟一个生成话题的函数调用？但还是要等消息生成完了才行，不然结果不准确

[lobehubbot]

Bot detected the issue body's language is not English, translate it automatically. 👯👭🏻🧑‍🤝‍🧑👫🧑🏿‍🤝‍🧑🏻👩🏾‍🤝‍👨🏿👬🏿

---

How to use FC?

Probably each message is called with a function that generates topics? But we still have to wait until the message is generated.

[arvinxx]

怎么用 FC ？

大概每个消息都跟一个生成话题的函数调用？但还是要等消息生成完了才行，不然结果不准确

这种没必要用 fc 。做类似自动生成标题这样的chain 就好了。

https://github.com/lobehub/lobe-chat/blob/main/src/chains/summaryTitle.ts

[lobehubbot]

Bot detected the issue body's language is not English, translate it automatically. 👯👭🏻🧑‍🤝‍🧑👫🧑🏿‍🤝‍🧑🏻👩🏾‍🤝‍👨🏿👬🏿

---

How to use FC?

Probably each message is called with a function that generates topics? But you still have to wait until the message is generated, otherwise the result will be inaccurate.

There is no need to use fc for this. It would be nice to create a chain like automatically generating titles.

[canisminor1990]

怎么用 FC ？

大概每个消息都跟一个生成话题的函数调用？但还是要等消息生成完了才行，不然结果不准确

这种没必要用 fc 。做类似自动生成标题这样的chain 就好了。

https://github.com/lobehub/lobe-chat/blob/main/src/chains/summaryTitle.ts

chain 消耗不是会 x2 么，我理解 fc 在当次回复中就可以给出联想

[mushan0x0]

但是有个问题，这样的话有可能不一定会触发，可能要在函数描述上下功夫

[arvinxx]

1. 消息和 FC 没法在同一个返回中实现，只能是下面二选一：

A:

User: 你好
Assistant: 需要我做什么

B:

User: 你好
Assitant: "{function_calls: { xxxx } }"

在现有的机制下，是没法实现下面这种回复要求的：

User: 你好
Assistant: {
content: 需要我做什么
function_calls: {name:"question",argments:"{content:需要我做什么}"}
}

2. 相当于在结尾调用fc

这种场景下，返回为：

User: 你好
Assistant: 需要我做什么 {function_call: {name:"question",argments:"{content:需要我做什么}"} }

现在的机制是可以将 functionCall 部分切割出来，进行调用，但问题有两个：

1. 不一定触发，稳定性会很差，上面也有提到了；
2. 第一点解决了，更关键的问题是 function_call 的入参会重复包含前面的内容，输出结果的的开销 x2。

同时，进行 FC 执行时。这份消息又会作为上下文传一遍进，因此开销 +1。

在这个场景下， 如果原始是 1，那么 chain 只是 2， 而 FC 至少要 3+ 。

[canisminor1990]

我能想到一种极端的做法是 把回答和联想都放在一个fc里，gpt 调用fc时同时传入当前回答和联想

[arvinxx]

我能想到一种极端的做法是 把回答和联想都放在一个fc里，gpt 调用 fc 时同时传入当前回答和联想

如果你是指用户的回复，直接用FC来做，这个相当于把整个 chat 的基础架构改了，可行性很低。而且：

1. 未来也无法兼容其他 LLM（如果其他 LLM 不支持 FC，连基础会话都没法进行）；
2. 无法兼容 Vision model（ vision Model 不支持 FC）；
3. 还是没解决你省 token 的初衷，仍然为 3x

[canisminor1990]

嗯 确实，那看起来比较可行的解法的确是 chain + 低费率模型了

[mushan0x0]

是可以一次完成回复和函数调用的，后面那次函数调用用内置一个 updateMessage 的方法来完成联想，就是比较考验提示词

Area.mp4

[mushan0x0]

1.不一定触发，稳定性会很差，上面也有提到了；
2.第一点解决了，更关键的问题是 function_call 的入参会重复包含前面的内容，输出结果的的开销 x2。

第二个问题倒是不会出现，给定参数为联想词数组就行了，直接取参数执行 updateMessage

[arvinxx]

这个就是在结尾调用fc。 这一块的问题有两个：

1. 你刚刚也看到了，会显示一段 json 代码，这个体验并不是很好；
2. 你现在演示的是触发一个插件调用。但如果是联想，它并不是触发插件调用，而是另外一个触发的执行逻辑。这一块在实现层面可能需要额外定制，可能有一些技术债出来（也可能不一定）。