“语音转文本”可否支持其他语言？

[chixuchao]

目前软件层似乎将whisper模型仅用作“英语”的语音转文本。我将whisper模型，改为ggml-small.bin后，尝试解析韩语音频，发现语音文本仍然是英语。请问能否增加一个类似“您要学习的语种”之类的设定，以方便其他语言学习者使用。

如果工作量太大，能否单纯分享一下，如何在Enjoy中用whisper模型，将韩语音频解析成韩语文本？

[an-lee]

目前还是主要先支持英语，但是后续肯定会支持更多语言的。

至于 whisper 的转文本，确实可以简单支持一下。下一个版本，加个配置，选择不带 .en 模型的时候，可以自动识别语言。

[an-lee]

代码改好了，下次发新版就会支持多语言。

试了一下日语的。

Screencast.from.2024-04-19.20-12-07.webm

[lishan256]

请问能支持法语的吗？

[chixuchao]

你好，an-lee，感谢您的版本更新。目前新版本（0.2.5）的确能识别多语言，我用ggml-small.bin来识别日文音频，已经能成功解析。但解析韩语音频出现了报错（如下图）。韩语和日语音频是通过MS Edge TTS 生成的，理应比较好解析。可能是whisper本身不太支持韩语语料？
![微信图片_20240515171323] (https://github.com/xiaolai/everyone-can-use-english/assets/24364644/cdfc983f-9e77-453e-a648-83d7e5a54df6)

[chixuchao]

非常感谢，期待下次发版！

[an-lee]

你好，an-lee，感谢您的版本更新。目前新版本（0.2.5）的确能识别多语言，我用ggml-small.bin来识别日文音频，已经能成功解析。但解析韩语音频出现了报错（如下图）。韩语和日语音频是通过MS Edge TTS 生成的，理应比较好解析。可能是whisper本身不太支持韩语语料？ ![微信图片_20240515171323] (https://github.com/xiaolai/everyone-can-use-english/assets/24364644/cdfc983f-9e77-453e-a648-83d7e5a54df6)

这个不是 whisper 的识别问题，是对齐的时候报错了。多语言版本可能需要仔细逐个适配测试。

[chixuchao]

理解了，谢谢告知！