主路径:昇腾为基座 + OpenAI 兼容 + 对标 vLLM / TGI 能力面。下表写清对标对象与维度;公网站不贴吞吐/延迟台账数字——可复现基准报告走闭源/合作渠道。
| 对标 | 可公开写的维度 | 公网站怎么写 |
|---|---|---|
| vLLM | 吞吐形态 · PagedAttention 形态 · OpenAI 兼容 | 能力对标:连续批处理 + 高吞吐 Serving + API 形态 |
| TGI | 生产稳定性 · 熔断 / 扩缩容等企业特性 | 对标生产级 Serving:稳定、可运维 |
| TensorRT-LLM | 软硬协同 · 极致算子优化路径 | 对标路径:昇腾 CANN 上做同类软硬协同优化 |
榜单用于选型参考;公开日志用于流程可核验;硬核可复现基准按统一口径交付于合作包,不在本页写死数字。
硬核基准比「名字榜单」更有说服力——公开站拆成三层可信度,避免用口号替代证据链。
国内外模型与 Serving 生态对照,帮助缩小候选面;不替代实测报告。
塔式压测与调用流水公开可见,证明流程与口径可追踪,而非黑箱口号。
统一口径的复现报告经闭源/合作渠道交付;公网站只声明「可按统一口径复现」。
BilzatWeb 不绑云平台:昇腾 CANN / torch 与全球 Serving 开源同页对照,方便选型。
国产 NPU 首选路径:CANN 算子 + PyTorch 生态 + 推理 Serving 适配。
与 Hugging Face / NVIDIA 生态同级开源 Serving;维度见表顶「国际对标」,此处为入口索引。