潘多拉原型
Pandora · 音频 · 流式语音识别

7×24 小时实时流式转录

核心模型参数
约 4B
模型文件
2.30 GB
音频时钟
160 ms
运行于
犀牛派 X1

边说边出字，连续转写数小时不掉速、不涨内存。

  • 快速出字
  • 不限时长
  • 中英双语

适用场景办公会议 · 媒体直播 · 零售服务 · 智能座舱 · 机器人

在真机上试用源码与 Demo模型资源 · 160 ms

在 犀牛派 X1 上实时转写

音频在板端容器里按真实语速送入模型，网页同步播放同一段音频。每次运行消耗 1 次真机额度。

中文或英文，最长 60 秒
说话语言

转写结果

选择一段音频，开始转写。

能力亮点

  • 实时转写

    音频还在播放，文字已经出来，落后说话人不到一秒。

  • 不限时长

    滚动上下文，连续转写数小时，内存与速度保持不变。

  • 语义断句

    模型预测说话人是否说完，在真正的停顿处分段，而不是每个短暂停顿。

  • 完全端侧

    语音编码与语言模型都在板端 NPU 上运行，无需云端或独立 GPU。

  • 中英双语

    同一套 SDK，按语言加载对应的前缀状态。

  • 易于集成

    精简的 C API 与 Python 绑定，任意分块大小喂入音频。

处理流程

从输入到输出，每一步在哪里运行。

  1. 01网页

    音频输入

    示例音频、录音或上传的文件，送到板端后统一转为 16 kHz 单声道。

  2. 02CPU

    静音门

    Silero VAD 屏蔽开口前的掌声与噪声。

  3. 03NPU

    流式 ASR

    语音编码 + 语言模型，每 160 ms 推进一步。

  4. 04NPU

    语义断句

    每个 token 给出 0.5 / 1 / 2 / 3 秒内结束说话的概率，据此分段。

  5. 05网页

    文字输出

    板端增量文字经服务端推送实时显示，与音频同步。

支持硬件

  • Qualcomm QCS8550 · 犀牛派 X1本站真机运行
  • Qualcomm QCS8625提供模型资源
  • Qualcomm Dragonwing IQ8提供模型资源
  • Qualcomm Dragonwing IQ9提供模型资源
选购 犀牛派 X1

部署到自己的板子

  1. 1

    设置工作目录与芯片

    在板端终端设置两个变量，后续命令都基于它们。

    export AGORA_WORKSPACE="$HOME/my-asr-demo"
export AGORA_SOC='QCS8550'
  2. 2

    获取代码

    克隆 Demo 仓库。

    git clone https://github.com/APLUX-Agora/audio8-asr-infinite-demo.git "$AGORA_WORKSPACE/code"
cd "$AGORA_WORKSPACE/code"
  3. 3

    准备依赖

    在项目虚拟环境中安装 SDK 与依赖（板端需已装 AidLite 与 QNN 2.48）。

    python3 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt && pip install --upgrade huggingface_hub
  4. 4

    下载模型资源

    公共资源与所选芯片目录，约 3.3 GiB。

    hf download APLUX-Agora/Audio8-ASR-Infinite-160ms --exclude "targets/*" --local-dir "$AGORA_WORKSPACE/resources"
hf download APLUX-Agora/Audio8-ASR-Infinite-160ms --include "targets/$AGORA_SOC/*" --local-dir "$AGORA_WORKSPACE/resources"
  5. 5

    运行

    先转写 20 秒示例；需要网页演示时启动板端 Web Demo。

    python examples/python/transcribe_file.py examples/audio/quickstart_en_20s.wav \
  --models "$AGORA_WORKSPACE/resources" --lang en

许可与署名