Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

feat: 支持使用AI对数据库内容做归纳总结以及查询 #111

Open
welann opened this issue Jan 31, 2024 · 2 comments
Open

feat: 支持使用AI对数据库内容做归纳总结以及查询 #111

welann opened this issue Jan 31, 2024 · 2 comments

Comments

@welann
Copy link

welann commented Jan 31, 2024

效果是这样的:
image
体验:
https://app.shokichan.com/c/tg/bookshelf_in_storageroom?anchor=49c40b9c-51ef-4d6c-bcc6-dcf453a16574

有了AI之后,或许会更强大?
这种功能应该也有人实现过了(抄一遍就好

如果没有相关计划的话我倒是可以试试,但是可能会烂尾

@welann
Copy link
Author

welann commented Jan 31, 2024

又看了一下已经有人再写了,棒(๑•̀ㅂ•́)و✧

@welann welann closed this as completed Jan 31, 2024
@Antonoko
Copy link
Collaborator

Antonoko commented Jan 31, 2024

谢谢好建议!感觉如果要做还是个挺大的坑,不过未来也可以一试(目前和 AI 强相关的可能只有这个语义搜索图片的pr https://github.com/yuka-friends/Windrecorder/pull/89)

我想目前比较大的实现问题是采集的数据还不足,现在只记录了画面的绝对时间和 OCR 信息,交给文本窗口很大的 LLM 可能也难以有较好判断与准确度。如果能加入对前台程序名的记录、甚至像 Rewind 一样加入对浏览器浏览网页 meta 信息(网址、标题)的记录,结合 RAG 语义检索 + LLM 生成 sql,还是有搞头的。

(工程上想想还是有很多要做,比如 LLM 的用户场景策略和行为可能有哪些、需要用什么策略召回哪些数据、召回数据怎么筛选清洗使用加工(比如统计不同行为时间段…)、是否引入图像语义的多模态描述…… 要做好还是太深坑啦

(不过我想到,如果想快速验证,其实也可以用类似插件的形态先解决具体的需求。比如做一个“我今天做了什么”的插件,运行就能根据既定策略总结内容,甚至作为一种“时间级”的标注给每天都生成一段文本总结附加上去,这样在回溯时就能马上知道这天做了什么了)

ps: 参考效果很酷

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants