CEILING · CAPABILITY MAP

评测工具箱 · 国际对标维度

主路径:昇腾为基座 + OpenAI 兼容 + 对标 vLLM / TGI 能力面。下表写清对标对象与维度;公网站不贴吞吐/延迟台账数字——可复现基准报告走闭源/合作渠道。

对标 可公开写的维度 公网站怎么写
vLLM 吞吐形态 · PagedAttention 形态 · OpenAI 兼容 能力对标:连续批处理 + 高吞吐 Serving + API 形态
TGI 生产稳定性 · 熔断 / 扩缩容等企业特性 对标生产级 Serving:稳定、可运维
TensorRT-LLM 软硬协同 · 极致算子优化路径 对标路径:昇腾 CANN 上做同类软硬协同优化

榜单用于选型参考;公开日志用于流程可核验;硬核可复现基准按统一口径交付于合作包,不在本页写死数字。

DEVELOPER SELECTION

开发者选型漏斗

硬核基准比「名字榜单」更有说服力——公开站拆成三层可信度,避免用口号替代证据链。

LAYER 1

榜单 = 选型参考

国内外模型与 Serving 生态对照,帮助缩小候选面;不替代实测报告。

LAYER 2

公开日志 = 流程可核验

塔式压测与调用流水公开可见,证明流程与口径可追踪,而非黑箱口号。

LAYER 3

可复现基准 = 合作交付

统一口径的复现报告经闭源/合作渠道交付;公网站只声明「可按统一口径复现」。

TOP-TIER OPEN SOURCE

国内 × 国外 · 推理开源入口

BilzatWeb 不绑云平台:昇腾 CANN / torch 与全球 Serving 开源同页对照,方便选型。

国内 · 昇腾为主 CN · ASCEND

国产 NPU 首选路径:CANN 算子 + PyTorch 生态 + 推理 Serving 适配。

CANN
CANN · Ascend CL华为昇腾异构计算架构 · 算子 / 图 / 运行时
核心
torch
PyTorch · torch_npuAscend Extension for PyTorch · 训练推理一体
核心
vLLM
vLLM-Ascend / MindIE高吞吐 Serving 形态 · 与国际 vLLM 能力面对齐
Serving
910
昇腾 910B / 910C单卡与并发场景分轨评估(口径公开说明,数字走合作包)
硬件

国外 · 能力面对标 GLOBAL · OSS

与 Hugging Face / NVIDIA 生态同级开源 Serving;维度见表顶「国际对标」,此处为入口索引。

vLLM
vLLM连续批处理 · 高吞吐 Serving · OpenAI 兼容
Serving
TGI
Text Generation Inference生产级 Serving:稳定、可运维
生产
llama
llama.cpp · Ollama端侧 / 轻量推理 · 全球开发者常用路径
Edge
TRT
TensorRT-LLM · ONNX RT软硬协同与跨平台加速路径对标
路径
独立推理 OS · 架构与部署 → 进入推理智能工具箱