PyTorchv2.8.0正式发布:量化

内容分享2个月前发布
0 0 0

。PyTorch v2.8.0 正式发布:量化推理、编译优化与分布式检查点等多项重大更新亮点功能• 不稳定版本特性• torch::stable::Tensor• 在 Intel CPU 上利用原生 PyTorch 进行高性能量化大语言模型(LLM)推理• 实验性 Wheel 版本支持• Inductor CUTLASS 后端支持• Inductor CUDA 图的图划分功能• 控制流算子库• HuggingFace SafeTensors 在 PyTorch 分布式 Checkpoint 中的支持• 在 PyTorch C++ Extension API 中提供 SYCL 支持• XPU 设备上的 A16W4 支持• 使用 torch.compile 的分层编译• Intel GPU 分布式后端(XCCL)支持PyTorchv2.8.0正式发布:量化

© 版权声明

相关文章

暂无评论

none
暂无评论...