sissichu

大模型推理优化技术包含以下几种： Continuous Batching Continuous Batching又名Inflight Batching，适用于LLM推理时不同prompt长度差异巨大的...