头像

环游世界评论员小琳

帅气的我简直无法用语言描述!

每天学一点:Superposition 2 Scaling Law

低维模型中,独立特征被叠加,导致干扰。高维空间中,特征几乎正交,减少干扰。模型维度增加,特征独立性提升,性能增强。指数增长规律和JL引理确保这一过程。SAEs验证了理论。#算法 #跨领域学习 #大模型...
头像1天前
000