PyTorchv2.8.0正式发布:量化

内容分享8个月前发布
3 0 0
全能 AI 聚合平台 免费

一站式接入主流 AI 大模型,支持对话 · 生图 · 生视频,即开即用

ChatGPT Claude Gemini Grok DeepSeek 通义千问 Ollama
AI对话 AI生图 AI视频
免费使用 →

。PyTorch v2.8.0 正式发布:量化推理、编译优化与分布式检查点等多项重大更新亮点功能• 不稳定版本特性• torch::stable::Tensor• 在 Intel CPU 上利用原生 PyTorch 进行高性能量化大语言模型(LLM)推理• 实验性 Wheel 版本支持• Inductor CUTLASS 后端支持• Inductor CUDA 图的图划分功能• 控制流算子库• HuggingFace SafeTensors 在 PyTorch 分布式 Checkpoint 中的支持• 在 PyTorch C++ Extension API 中提供 SYCL 支持• XPU 设备上的 A16W4 支持• 使用 torch.compile 的分层编译• Intel GPU 分布式后端(XCCL)支持PyTorchv2.8.0正式发布:量化

© 版权声明

相关文章

暂无评论

none
暂无评论...