关于模型的最大token

[45571655]

⚠️ 确认 issue 是否已存在 ⚠️

• 我已经搜索了现有的问题，没有找到跟我问题相关的问题。

GPT-3 or GPT-4

GPT-3.5

操作系统

Windows

Bug 描述 📝

目前看ModelToTokens直接写死在ModelToTokens的types的定义里面，一些没有的模型提取写进去的模型导致无法上下文
看看能不能把这个字段转到数据库chatgpt_chat_models里面

重现步骤 🕹

var ModelToTokens = map[string]int{
"gpt-3.5-turbo": 4096,
"gpt-3.5-turbo-16k": 16384,
"gpt-4": 8192,
"gpt-4-32k": 32768,
"chatglm_pro": 32768, // 清华智普
"chatglm_std": 16384,
"chatglm_lite": 4096,
"ernie_bot_turbo": 8192, // 文心一言
"general": 8192, // 科大讯飞
"general2": 8192,
}

你的应用配置信息

把你的配置信息粘贴到这里