← Back to feed

Humming: Fast, Flexible Kernels for Quantized Inference

AI · 2026-10-23 01:42

蚂蚁集团与 vLLM 社区发布 Humming,一套面向量化推理的快速灵活内核,支持多种量化格式与设备,并给出端到端性能数据。

Source: vllm.ai


Auto-generated summary for reference only. RSS