最佳拍档· 最佳拍档·· 2 天前AI 评分34
约翰霍普金斯大学"通用权重子空间假设"论文解读:1200 个模型权重收敛共享低维子空间,自媒体"所有 AI 是同一模型"说法被夸大
AI的底层真相:1100个大模型指向同一子空间 | 通用权重子空间假设 | LoRA | HOSVD | 海森矩阵 | 戴维斯-卡汉界| HumanEval | StyleGAN2
AI 导读
约翰霍普金斯大学论文《通用权重子空间假设》用 HOSVD 分析 1200 多个神经网络,发现不同任务、不同模态的模型权重倾向收敛到共享低维子空间。自媒体将其夸张为"所有 AI 都是同一个模型""只需 16 维",但 16 维只是 SVD 截断口径,LoRA 共享同一基座,不同架构子空间互不对应。
来源:最佳拍档 · youtube.com