论文辅导

。1. Google全家桶Google Drive + Google Docs给予完美的文案编辑体验，高效强劲的无缝同步功能在正常网络下毫无延迟，不仅适用于完成个人工作，更为团队任务创造了捷径。2. ...

RAG基础概念Retrieval-Augmented Generation（RAG）是通过检索外部知识来增强LLM生成能力的技术。检索可以是通过搜索引擎或是离线数据库（如企业、政府机密数据）。检索到的...

。 视觉编码器扩展：传统的视觉语言模型（VLM）如CLIP使用的是基于ViT的编码器，一般采用监督学习进行训练。这些模型通过对齐图像与文本标签来提取图像特征，但对于分布外图片的处理存在不足，可能导致图...

1、SFT作为RL训练稳定剂的新认识以前我觉得SFT和RL是完全独立的阶段，但目前发现它们的关系要微妙得多。SFT阶段就像是为RL训练提供了一个稳定的基座，有了它，RL训练可以大幅减少不稳定性。在我尝...

。结构裁剪面对超大参数量模型，不做裁剪直接部署，那是真不现实。常用的一招是剪掉影响不大的层，列如中间冗余的attention block，或者MLP里维度特别高的部分。 也可以用结构重参数化的思路，把...