unity+讯飞语音识别+讯飞星火大模型+Motionver 要实现这个,主要的实现三个模块的接入: 语音识别。作用是吧麦克风的语音转化为gpt大模型能够识别的文字。然后发给gpt。 GPT大模型。作用当然是把第一步中生成的问题文字转换为解答文本。 数字人驱动。作用使用文字内容,驱动数字人的动作,并生成语音进行播报。 一、接入讯飞语音 这个是三个模块中接入最顺利的了。 开通的方法很简单,去讯飞开放平台,注册一个账号,创建好应用,领取一下新人福利,就能获取50000多的服务量,这个对于开发测试而言绝对管够了。具体方法不涉及技术问题,这里不再赘述。 这里涉及两个问题: 如何自动录音。我的方法是,麦克风其实一直都在录音,但是我会监听麦克风一段时间内的平均音量,当达到阈值,就记录下这个时间点(为了录音完整,再减去一点点时间)作为开始记录点,然后当平均音量低于某个阈值,并且保持了一段时间的低音量,就记录这个时间点作为结束点,截取开始和结束点的录音,这样就由了语音了,使用有穷自动状态机来实现上面的逻辑,清晰明了。 算法代码如下: public event...