声学唤醒率评测

基于模组开发方案的产品，使用声学唤醒率评测功能，通过评测方案标准化、测试用例标准化、测试工具自动化来评估声学唤醒实际效果，旨在高效、准确地评估模组产品在各类声场条件下的唤醒表现性能。同时可以根据测试结果对未通过场景进行有效分析，给出合理的优化建议，进一步提升产品的唤醒率和语音交互体验。

背景信息

针对声学唤醒率评测，平台提供两种声学唤醒率评测方式，区别如下：

电脑评测方式（推荐使用）
搭建评测环境需要两台电脑，搭建环境简单，不依赖特定的测试固件，且不限于特定的产品。推荐品牌厂商使用。
树梅派评测方式
搭建评测环境需要一台电脑与一个树梅派代理设备，仅支持木星标准Pro2模组语音唤醒类产品，且测试前需联系我们获取特定的固件。目前仅供TSP合作伙伴使用。

声学唤醒率评测的使用限制为：

不支持按键触发唤醒设备
不支持触屏唤醒设备
不支持蓝牙类设备
本文档适用于室内相关产品，不适用于车载/户外类相关产品

前提条件

已完成测试环境的网络搭建，以及已准备各项测试工具。环境网络和测试工具的具体要求说明如下：

测试方式	测试环境拓扑图	测试准备工具
电脑评测		仿真人工嘴1个用来播放测试语料。若无也可使用高保真有源音箱替代。高保真有源音箱1个用来播放环境干扰噪声。建议使用有源监听音箱。单通道/双通道USB声卡2个用来控制信号源和噪声源播放。选用高信噪比、低失真设备即可。精密级声压计用来测定测试音源的声压级。声压计满足精密级即可，建议选择A计权声压等级。测试电脑用来在控制台创建任务、执行任务、查看测试结果等；且用来测试执行过程，播放唤醒词音频，播放噪声音频。卷尺/激光测距仪用来测量各场景的距离。
树莓派评测		仿真人工嘴1个用来播放测试语料。若无也可使用高保真有源音箱替代。高保真有源音箱1个用来播放环境干扰噪声。建议使用有源监听音箱。单通道/双通道USB声卡2个用来控制信号源和噪声源播放。选用高信噪比、低失真设备即可。（可选）功放1个用来将信号放大后提供给人工嘴输出。如果是高保真有源音箱，可不使用。选用高信噪比、低失真的功放即可。精密级声压计用来测定测试音源的声压级。声压计满足精密级即可，建议选择A计权声压等级。树梅派测试代理用来接收云端下发测试指令，及测试数据信息上报。设备提供及适配方法，请联系技术支持获取。卷尺/激光测距仪用来测量各场景的距离。

测试方式

测试环境拓扑图

测试准备工具

电脑评测

仿真人工嘴1个
用来播放测试语料。若无也可使用高保真有源音箱替代。
高保真有源音箱1个
用来播放环境干扰噪声。建议使用有源监听音箱。
单通道/双通道USB声卡2个
用来控制信号源和噪声源播放。选用高信噪比、低失真设备即可。
精密级声压计
用来测定测试音源的声压级。声压计满足精密级即可，建议选择A计权声压等级。
测试电脑
用来在控制台创建任务、执行任务、查看测试结果等；且用来测试执行过程，播放唤醒词音频，播放噪声音频。
卷尺/激光测距仪
用来测量各场景的距离。

树莓派评测

仿真人工嘴1个
用来播放测试语料。若无也可使用高保真有源音箱替代。
高保真有源音箱1个
用来播放环境干扰噪声。建议使用有源监听音箱。
单通道/双通道USB声卡2个
用来控制信号源和噪声源播放。选用高信噪比、低失真设备即可。
（可选）功放1个
用来将信号放大后提供给人工嘴输出。如果是高保真有源音箱，可不使用。选用高信噪比、低失真的功放即可。
精密级声压计
用来测定测试音源的声压级。声压计满足精密级即可，建议选择A计权声压等级。
树梅派测试代理
用来接收云端下发测试指令，及测试数据信息上报。设备提供及适配方法，请联系技术支持获取。
卷尺/激光测距仪
用来测量各场景的距离。

检测测试环境已符合要求，测试环境说明如下：
- 测试环境（房间）尺寸推荐：5m*6m*3m。
- 测试环境声学参数推荐值：隔音量≥35dBA，环境底噪响度≤35dBA，房间混响时间0.5s±0.2s。
- 设备不要靠近墙等强反射面。
- 测试过程中请保证网络状况良好且稳定。

电脑测试方式（推荐使用）

登录天猫精灵AI平台控制台。
在项目主页面中，单击左侧导航栏中的测试。页面如下图所示。
下拉选择待测试的产品，并单击开始测试。
在左侧导航栏中，选择声学唤醒率评测，页面如下图所示。
新建评测任务。
1. 选择评测任务页签，并单击新建任务。如果创建任务时出现下图所示的提示信息，请联系官方小二获取帮助。
2. 填写任务的配置参数，如下图所示。
3. 单击操作列的执行准备，开始配置测试环境。
4. 在弹出的窗口中，将本电脑用途设置为播放背景噪声，并按图中步骤说明完成本电脑的声压校准。
  说明
  该电脑主要用于播放场景用例中噪声音频，如果当前执行的用例不是噪声场景用例，就不会播放。单击完成后，该电脑进入等待状态。
5. 在完成步骤d操作后，弹出等待窗口，等待另一台电脑在指定时间内，完成配置并开始测试。
6. 在另外一台电脑（拓扑图中，测试PC1）的操作栏中，单击执行准备。
7. 在弹出的窗口中，将本电脑用途设置为播放唤醒词，并按步骤完成该电脑的声压校准。
8. 单击开始测试，开始执行评测任务。
  测试进入执行中状态，测试过程中，请不要关闭当前弹窗，不要关闭浏览器，电脑请不要关闭或设置成待机状态；否则会中断测试进行。
  说明
  300条唤醒词语料，执行大约耗时45分钟，例如，有3条用例，每条用例有300条唤醒词，执行耗时约2.5小时左右。
在评测任务页签，单击操作列的查看，查看任务的执行报告。

树莓派测试方式

登录天猫精灵AI平台控制台。
在项目主页面中，单击左侧菜单栏中的测试实验室。页面如下图所示。
下拉选择待测试的产品，并单击开始测试。
在左侧导航栏中，选择声学唤醒率评测，页面如下图所示。
新建唤醒环境。
1. 选择唤醒环境页签，并单击新建声学唤醒环境。
2. 配置环境名称。
3. 联系平台技术支持帮您激活实验室环境。
  实验室环境激活后，状态显示为空闲。
新建测试设备。
1. 单击操作列的添加设备。
2. 配置设备的MAC/SN、IP等信息。
3. 单击操作列的详情，并单击声压校准。进行辅助设备的声压校准操作。
4. 检查当前设备的状态，状态需为在线。
新建评测任务。
1. 选择评测任务页签，并单击新建任务。
2. 配合该任务的详细参数，如下图所示。
3. 单击操作列的执行，开始执行评测任务。
  每个用例执行时间不等，通常在20s~60s。部分用例涉及外设操作，会有单轮或多轮弹窗，请按照弹窗内容提示进行操作。您可以在执行记录页签中，查看任务的执行详情与执行结果。
  说明
  - 执行任务耗时，与用例包含的语料数量多少有关系，一般情况下，100语料执行耗时约10分钟。
  - 任务测试数据，每分钟刷新一次。
在评测任务页签，单击操作列的查看，查看任务的执行报告。