摘要
vLLM 发布了 v0.25.1 补丁版本,基于 v0.25.0 提供两项定向缺陷修复。
首先,版本调整了 TorchCodec 在系统缺少 FFmpeg 时的报错时机:此前导入 torchcodec 即可能抛出运行时错误并阻塞模型服务启动;修复后,只有实际需要 TorchCodec 时才会暴露该错误。
其次,版本为 FlashInfer 的 allreduce、RMSNorm 与静态量化融合加入数据类型匹配检查。对于激活值与 RMSNorm 权重数据类型不一致的图,系统将转向安全路径,以避免隐藏状态损坏和异常输出;数据类型一致的模型仍可使用原有融合路径。
这次更新主要影响依赖 TorchCodec 的部署环境,以及采用相关量化融合配置的模型推理场景。
原始来源:GitHub Releases