Qwen3-4B-Instruct-2507

运行效果

板卡实测

真机解码速度（tokens/s），受输入和输出长度影响。

部署指南

1. 1

   在工作流中跑通

   用样例或自己的输入在机房的犀牛派 X1 上运行，确认结果和速度。现在试用 ›

2. 2

   导出工程

   在工作流右上角选择「导出」，下载工程包。模型与样例按 sha256 锁定，前后处理与网站运行时一致。

3. 3

   在板卡上安装运行库

   把工程拷到犀牛派 X1（ARM64、Python 3.10 的 AidLux 环境，AidLux ≥ 2.0），在工程目录下载并校验已验证的配套运行库。

   复制

   python3 install-sdk.py

4. 4

   只需要模型文件？

   各板卡的构建也发布在 Hugging Face ↗，按芯片下载，文件与工程包中的完全一致。

   复制

   hf download APLUX-Agora/Qwen3-4B-instruct-2507 --include "targets/QCS8550/*" --local-dir ./resources

5. 5

   运行

   结果写入 outputs/，并打印每块积木的耗时。工程通过官方 AidLite 接口加载模型，代码完整随包提供。

   复制

   python3 app/pipeline.py --sdk-root .sdk --input 你的文件

规格

任务

大语言模型

来源

Model Farm

许可证

—

版本

1.0.0