低维模型中，独立特征被叠加，导致干扰。高维空间中，特征几乎正交，减少干扰。模型维度增加，特征独立性提升，性能增强。指数增长规律和JL引理确保这一过程。SAEs验证了理论。#算法 #跨领域学习 #大模型 #每日学习
这里dimension.是不是应该是embedding dimensiom
低维模型中，独立特征被叠加，导致干扰。高维空间中，特征几乎正交，减少干扰。模型维度增加，特征独立性提升，性能增强。指数增长规律和JL引理确保这一过程。SAEs验证了理论。#算法 #跨领域学习 #大模型 #每日学习
