语音唤醒
语音唤醒与按键通话
模式
- 唤醒词模式(默认):始终运行的 Speech 识别器等待触发令牌(
swabbleTriggerWords)。匹配时开始捕获,显示带有部分文本的覆盖层,并在静音后自动发送。 - 按键通话(按住右 Option 键):按住右 Option 键立即捕获——无需触发。按住时显示覆盖层;释放后最终确定并在短暂延迟后转发,以便你可以调整文本。
运行时行为(唤醒词)
- Speech 识别器位于
VoiceWakeRuntime中。 - 仅当唤醒词和下一个词之间有有意义的暂停(约 0.55 秒间隔)时触发才会触发。覆盖层/铃声可以在暂停时开始,即使在命令开始之前。
- 静音窗口:语音流畅时为 2.0 秒,如果只听到触发词则为 5.0 秒。
- 硬停止:120 秒以防止失控会话。
- 会话间去抖动:350ms。
- 覆盖层通过
VoiceWakeOverlayController驱动,带有提交/易失着色。 - 发送后,识别器干净地重新启动以监听下一个触发。
生命周期不变量
- 如果启用了语音唤醒并授予了权限,唤醒词识别器应该在监听(除了显式的按键通话捕获期间)。
- 覆盖层可见性(包括通过 X 按钮手动关闭)绝不能阻止识别器恢复。
粘性覆盖层故障模式(之前)
之前,如果覆盖层卡住可见并且你手动关闭它,语音唤醒可能看起来"死掉",因为运行时的重启尝试可能被覆盖层可见性阻止,并且没有安排后续重启。
强化:
- 唤醒运行时重启不再被覆盖层可见性阻止。
- 覆盖层关闭完成通过
VoiceSessionCoordinator触发VoiceWakeRuntime.refresh(...),因此手动 X 关闭总是会恢复监听。
按键通话细节
- 热键检测使用全局
.flagsChanged监视器用于右 Option(keyCode 61+.option)。我们只观察事件(不吞噬)。 - 捕获管道位于
VoicePushToTalk中:立即启动 Speech,将部分流式传输到覆盖层,并在释放时调用VoiceWakeForwarder。 - 当按键通话启动时,我们暂停唤醒词运行时以避免音频抽头冲突;释放后自动重启。
- 权限:需要麦克风 + Speech;查看事件需要辅助功能/输入监控批准。
- 外部键盘:有些可能无法按预期暴露右 Option——如果用户报告错过,提供备用快捷键。
用户-facing 设置
- 语音唤醒切换:启用唤醒词运行时。
- 按住 Cmd+Fn 通话:启用按键通话监视器。macOS < 26 时禁用。
- 语言和麦克风选择器、实时电平表、触发词表、测试器(仅本地;不转发)。
- 麦克风选择器在设备断开时保留最后的选择,显示断开提示,并临时回退到系统默认直到它返回。
- 声音:触发检测和发送时响铃;默认为 macOS"Glass"系统声音。你可以为每个事件选择任何
NSSound可加载文件(例如 MP3/WAV/AIFF)或选择无声音。
转发行为
- 启用语音唤醒后,转录会转发到活动的 gateway/agent(与 mac 应用其余部分使用的相同本地 vs 远程模式)。
- 回复传递到最后使用的主 provider(WhatsApp/Telegram/Discord/WebChat)。如果传递失败,记录错误并且运行仍可通过 WebChat/会话日志查看。
转发 payload
VoiceWakeForwarder.prefixedTranscript(_:)在发送前 prepends 机器提示。在唤醒词和按键通话路径之间共享。
快速验证
- 切换按键通话开启,按住 Cmd+Fn,说话,释放:覆盖层应显示部分然后发送。
- 按住时,菜单栏耳朵应保持放大(使用
triggerVoiceEars(ttl:nil));释放后放下。