DATA LOGS
公开测试与完整记录
公开日志 = 流程可核验(选型漏斗第二层)· 与 BilzatOS 日志页 同源 · 硬核可复现基准不在本页贴数字。
对标对象与能力面一眼可读;吞吐/延迟硬核数字与可复现报告不在公网站展示。
| 对标 | 可公开写的维度 | 公网站怎么写 |
|---|---|---|
| vLLM | 吞吐形态 · PagedAttention 形态 · OpenAI 兼容 | 能力对标:连续批处理 + 高吞吐 Serving + API 形态 |
| TGI | 生产稳定性 · 熔断 / 扩缩容等企业特性 | 对标生产级 Serving:稳定、可运维 |
| TensorRT-LLM | 软硬协同 · 极致算子优化路径 | 对标路径:昇腾 CANN 上做同类软硬协同优化 |
BilzatWeb 不绑云平台:昇腾 CANN/torch 与全球 Serving 开源同页对照;国际侧以能力维度表为准,避免空列名字。
国产 NPU 首选路径:CANN 算子 + PyTorch 生态 + 推理 Serving 适配。
与 Hugging Face / NVIDIA 生态同级开源 Serving;具体维度见上方对标表。
架构层流水线:API 网关 → 队列 → Worker → 芯片适配层;模块含鉴权、配额、调度、日志只读视图与工具箱。
公开日志 = 流程可核验(选型漏斗第二层)· 与 BilzatOS 日志页 同源 · 硬核可复现基准不在本页贴数字。