包括不限于kv cache，投机采样，极低bit量化等等….
欢迎合作交流
卷死啦，感觉许多优化都做到头了，许多都要卷到硬件层了
相关背景，感兴趣可私戳
mit 韩嵩 cmu 陈贝迪
细说一下
蹲！
没有前景，纯纯诈骗课题。脱离算力的ai都是扯淡
最主要还是怎么优化llm的访存。其他感觉都是伪需求。
为什么想做这个？
真假，kv cache之类的优化呢
个人兴趣
这个方向有前景吗
细说
你了解的这个方向有什么公司或团队做得比较好的？
大佬这开场白太谦虚了，院士看了都得瑟瑟发抖，杰青直接改行做科普了 [g=leiben][g=leiben][g=leiben]
卷不过的，没人带快跑 [g=shengli]
大模型轻量化，端侧智能还有哪些问题值得做?
相关背景，感兴趣可私戳
mit 韩嵩 cmu 陈贝迪
细说一下
蹲！
没有前景，纯纯诈骗课题。脱离算力的ai都是扯淡
最主要还是怎么优化llm的访存。其他感觉都是伪需求。
为什么想做这个？
真假，kv cache之类的优化呢
个人兴趣
这个方向有前景吗
细说
你了解的这个方向有什么公司或团队做得比较好的？
大佬这开场白太谦虚了，院士看了都得瑟瑟发抖，杰青直接改行做科普了 [g=leiben][g=leiben][g=leiben]
卷不过的，没人带快跑 [g=shengli]