机房真机实测,全部精度 ›
{
"out": {
"featureDimension": 1024,
"vectorCount": 3,
"texts": [
"一只猫坐在垫子上。",
"垫子上趴着一只猫。",
"公交车行驶在马路上。"
],
"featureStd": 0.031244615092873573,
"featureNorm": 0.9999999403953552,
"cosineMatrix": [
[
0.9999996423721313,
0.8990538716316223,
0.3237454891204834
],
[
0.8990538716316223,
1,
0.30401676893234253
],
[
0.3237454891204834,
0.30401676893234253,
1
]
],
"tokenCounts": [
11,
11,
12
],
"sdkFeatureRows": [
11,
11,
12
],
"pooling": "CLS",
"normalization": "L2",
"tensorsUrl": "/files/runs/pvr_rntzn9jcer/064a9656620fa08523b47e64-b3-features.npz"
}
}真机处理时延的中位数。多阶段模型计入各阶段处理,生成模型的耗时受输入和输出长度影响。
用样例或自己的输入在机房的犀牛派 X1 上运行,确认结果和速度。
在工作流右上角选择「导出」,下载工程包。模型与样例按 sha256 锁定,前后处理与网站运行时一致。
把工程拷到犀牛派 X1(ARM64、Python 3.10 的 AidLux 环境,AidLux ≥ 2.0),在工程目录下载并校验已验证的配套运行库。
python3 install-sdk.py各板卡的构建也发布在 Hugging Face ↗,按芯片下载,文件与工程包中的完全一致。
hf download APLUX-Agora/bge-large-zh-v1.5 --include "targets/QCS8550/*" --local-dir ./resources结果写入 outputs/,并打印每块积木的耗时。工程通过官方 AidLite 接口加载模型,代码完整随包提供。
python3 app/pipeline.py --sdk-root .sdk --input 你的文件