【二营长爬坑】音频流、文件路径、IO到ASR识别 #1965

SuperKsa · 2022-05-26T04:58:23Z

SuperKsa
May 26, 2022

如果我们在python中以音频流的方式传入ASR进行识别，根据官方文档只能用socket的方式（客户端送数据到服务端），而这种方式略感繁琐，因为中间多了一层网络通讯。

那我们要是直接在ASR服务端完成识别就需要用到下面的实现方式：
大家可以参考代码根据自身场景自行调整

以下是用法：

wavSaveFile = io.BytesIO()  # 这里你可以用一个路径、音频流或IO
asr = crASR()
replyTxt = asr.predict(wavSaveFile)
print('识别结果', replyTxt)

class文件

考虑到场景多样性，所以下面这段代码改成可以支持传入音频流、文件路径、内存IO文件

class crASR:

    def __init__(self):
        # 创建对象参数
        class _conf:
            def __init__(self, **kwargs):
                for key in kwargs:
                    setattr(self, key, kwargs[key])
        # 初始化ASR
        self.asr = ASREngine()
        # 以指定参数方式生成对象并初始化ASR
        self.asr.init(_conf(
            model='conformer_wenetspeech',
            lang='zh',
            sample_rate=16000,
            cfg_path=None,  # 自定义配置文件路径(可选)
            ckpt_path=None,  # 自定义模型文件路径(可选)
            decode_method='attention_rescoring',
            force_yes=True,
            device=None))

    def predict(self, wavData):
        """
        ASR预测
        :param wavData: 需要预测的音频，会根据传入类型自动识别：路径(str 相对|绝对)、音频流、内存BytesIO对象
        :return:
        """
        if type(wavData) == str:
            wavData = filesystem_get_contents(wavData, 'rb')
        elif type(wavData) == io.BytesIO:
            wavData = wavData.getvalue()

        start = time.time()
        self.asr.run(wavData)
        text = self.asr.output
        print("ASR预测消耗时间：%dms, 识别结果: %s" % (round((time.time() - start) * 1000), text))
        return text

注意：代码中有个读取音频流的外部函数：filesystem_get_contents
PHP写多了，就这个名字好用

def filesystem_get_contents(file, mode="r", encoding=None):
    """
    读取一个文件的所有内容
    """
    if encoding:
        f = open(file, mode, encoding=encoding)
    else:
        f = open(file, mode)
    content = f.read()  # 打开文件并读入
    f.close()
    return content

此坑感谢飞桨团队(张北北)指点