Skip to main content

语音唤醒与按住说话

模式

  • 唤醒词模式(默认):始终开启的语音识别器等待触发标记(swabbleTriggerWords)。匹配后,它会立即开始录音,显示带有部分文本的叠加层,并在静音后自动发送。
  • 按住说话(长按右侧 Option 键):长按右侧 Option 键即可立即开始录音——无需触发词。叠加层在按键期间显示;松开后,经过短暂延迟完成并发送录音,以便您有时间调整文本。

运行时行为(唤醒词)

  • 语音识别器运行于 VoiceWakeRuntime 中。
  • 触发仅在唤醒词与下一个词之间出现有意义的停顿时才会激活(约 0.55 秒的间隔)。即使在命令开始之前,叠加层或提示音也可以在停顿时启动。
  • 静默窗口:当语音持续输入时为 2.0 秒;如果仅检测到触发词,则为 5.0 秀。
  • 强制停止:120 秒,以防止会话失控。
  • 会话间去抖动:350 毫秒。
  • 叠加层通过 VoiceWakeOverlayController 驱动,并采用固定和可变颜色方案。
  • 发送完成后,识别器会干净地重启,以监听下一个触发事件。

生命周期不变量

  • 如果已启用语音唤醒且已授予相关权限,唤醒词识别器应处于监听状态(除非正在进行显式的按住说话录音)。
  • 叠加层的可见性(包括通过“X”按钮手动关闭)绝不能阻止识别器恢复监听。

叠加层卡住的故障模式(旧版)

以前,如果叠加层卡在可见状态且您手动关闭它,语音唤醒可能会看似“失效”,因为运行时的重启尝试可能被叠加层的可见性所阻塞,且后续不会安排重启。 加固措施:
  • 唤醒运行时的重启不再受叠加层可见性的阻碍。
  • 叠加层关闭完成会通过 VoiceSessionCoordinator 触发 VoiceWakeRuntime.refresh(...),因此手动点击“X”关闭叠加层始终会恢复监听。

按住说话的具体实现

  • 热键检测使用全局 .flagsChanged 监控器来监听右侧 Option 键keyCode 61 + .option)。我们仅观察事件,不吞没事件。
  • 录音管道位于 VoicePushToTalk 中:立即启动语音识别,将部分音频流传输到叠加层,并在松开按键时调用 VoiceWakeForwarder
  • 当按住说话开始时,我们会暂停唤醒词运行时,以避免音频冲突;松开后,唤醒词运行时会自动重启。
  • 权限要求:需要麦克风和语音权限;监听事件还需要辅助功能/输入监控批准。
  • 外接键盘:某些键盘可能无法按预期暴露右侧 Option 键——如果用户报告漏检,提供备用快捷键。

用户界面设置

  • 语音唤醒切换开关:启用唤醒词运行时。
  • 长按 Cmd+Fn 说话:启用按住说话监控。在 macOS 小于 26 上禁用。
  • 语言和麦克风选择器、实时电平表、触发词表格、测试器(仅本地使用,不转发)。
  • 如果设备断开连接,麦克风选择器会保留上次选择的设备,并显示断开连接提示,同时暂时回退到系统默认麦克风,直到设备重新连接。
  • 声音:在检测到触发词和发送时发出提示音;默认使用 macOS 的“Glass”系统声音。您可以为每个事件选择任何可加载的 NSSound 文件(如 MP3/WAV/AIFF),或选择无声音

转发行为

  • 当语音唤醒启用时,转录内容会转发到当前活动的网关或代理(与 Mac 应用程序其他部分使用的本地或远程模式相同)。
  • 回复会发送到最近使用的主提供商(WhatsApp/Telegram/Discord/WebChat)。如果发送失败,错误会被记录,且该会话仍可通过 WebChat 或会息日志查看。

转发负载

  • VoiceWakeForwarder.prefixedTranscript(_:) 在发送前添加机器提示信息。此信息在唤醒词和按住说话路径中共享。

快速验证

  • 打开按住说话功能,长按 Cmd+Fn,说话,然后松开:叠加层应显示部分录音并随后发送。
  • 在按住期间,菜单栏中的耳朵图标应保持放大状态(使用 triggerVoiceEars(ttl:nil));松开后,图标会缩小。