留学必备学习APP！搞定Essay不用愁
。1. Google全家桶Google Drive + Google Docs给予完美的文案编辑体验，高效强劲的无缝同步功能在正常网络下毫无延迟，不仅适用于完成个人工作，更为团队任务创造了捷径。2. ...
排序
做RAG系统最难搞定的是那部分工作？
RAG基础概念Retrieval-Augmented Generation（RAG）是通过检索外部知识来增强LLM生成能力的技术。检索可以是通过搜索引擎或是离线数据库（如企业、政府机密数据）。检索到的...
多模态大模型视觉编码器优化
。 视觉编码器扩展：传统的视觉语言模型（VLM）如CLIP使用的是基于ViT的编码器，一般采用监督学习进行训练。这些模型通过对齐图像与文本标签来提取图像特征，但对于分布外图片的处理存在不足，可能导致图...
LLM的SFT和RL有啥新发现？
1、SFT作为RL训练稳定剂的新认识以前我觉得SFT和RL是完全独立的阶段，但目前发现它们的关系要微妙得多。SFT阶段就像是为RL训练提供了一个稳定的基座，有了它，RL训练可以大幅减少不稳定性。在我尝...
大模型推理优化的几个常见技术
。结构裁剪面对超大参数量模型，不做裁剪直接部署，那是真不现实。常用的一招是剪掉影响不大的层，列如中间冗余的attention block，或者MLP里维度特别高的部分。 也可以用结构重参数化的思路，把...
如何通过推理加速优化你的大模型？
目前大模型火归火，但落地一看推理慢、资源吃紧，许多都跑不动，特别是在边缘设备或者商用场景里。所以推理加速优化，真的就是决定能不能真正work的关键。我们来聊聊2025年比较实用、还挺有前景的优化手段...
