跳到正文
热点事件持续更新

MIT展示GPT-6 Astra改权重修复Qwen3.5推理循环,后被质疑呈现误导

7 篇报道6 个报道来源5 小时前更新

先了解这件事

AI 综述

MIT CSAIL团队展示名为“权重空间编程”的实验:让GPT-6 Astra直接分析并修改Qwen3.5-0.8B的权重,不训练、不算梯度,仅改动约0.016%(131072个)参数,使其MATH-500得分从7.9%升至48.1%,GSM8K从13.8%升至67.1%,指令遵循能力也明显改善。Astra定位的是重复推理循环的故障位置,通过比较正常生成与重复生成时的内部状态寻找可能强化循环的参数方向;但循环并未完全消除,触及Token上限的回答比例从93.0%降至33.1%。实验中人类研究者仍需设计探测策略、提供前向预算、筛选样本。 实验设定上,研究者只给Astra一个存放Qwen3.5-0.8B全部权重的Python环境,不提供训练数据、损失值、梯度和工具,也不能先把网络放进环境试跑。报道称Astra的修改主要是移除妨碍模型完成回答的障碍,而非注入新的数学知识;对很少出现推理循环的Gemma 3 270M,修改未带来明确提升。实验日志发布在GitHub,修改后的模型发布在Hugging Face。 后续出现质疑:spaCy作者Matthew Honnibal发文称该研究的呈现“存在严重误导”,指出Astra被授权使用Python编程、最多可进行50次前向测试,且处理的模型参数规模都很小(1.7万至17.2万之间)。

AI 根据报道生成 · 4 小时前更新

事件进展

2 个进展

  1. 11月5日 15:10 · 1 篇报道
    spaCy作者质疑MIT Astra研究误导
    量子位主站:spaCy作者质疑MIT Astra研究:修改Qwen权重并非只靠读权重
  2. 11月3日 09:57 · 5 篇报道
    MIT展示权重空间编程改写模型权重
    量子位主站:MIT实验:GPT-6 Astra直接修改Qwen3.5权重,MATH-500得分从7.9%升至48.1%

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. 量子位主站
    spaCy作者质疑MIT Astra研究:修改Qwen权重并非只靠读权重

    spaCy作者Matthew Honnibal发文质疑MIT爆火的Astra研究存在误导。MIT宣称Astra仅修改Qwen3.5-0.8B的0.016%权重就让数学成绩从7.9%涨至48.1%。

11月4日
  1. The Decoder
    研究展示 GPT-6 Astra 通过权重空间编程直接改写其他模型权重

    研究人员让语言模型 Astra 直接读取和改写神经网络权重,无需常规训练流程,他们称之为权重空间编程。

  2. 雷峰网
    MIT CSAIL 让 GPT-6 Astra 读懂并改写权重,改动 0.016% 参数修复 Qwen3.5-0.8B 推理循环

    MIT CSAIL 让 GPT-6 Astra 检查 Qwen3.5-0.8B 权重并定位重复推理的故障位置,只改约 0.016% 参数,使 MATH-500 从 7.9% 提到 48.1%,GSM8K 从 13.8% 提到 67.1%,触及 Token 上限的比例从 93.0% 降到 33.1%。

  3. 新智元
    GPT-6爆改模型权重!数学能力狂飙6倍,MIT博一新作破圈了

    MIT博一学生的最新做法是不训练、不算梯度,仅让 GPT-6 Astra 改写另一款小模型 0.016% 的权重,就使其数学成绩暴涨 6 倍。该工作近日在网络上破圈引发关注。

11月3日
  1. 爱范儿
    MIT CSAIL 权重空间编程研究:GPT-6 Astra 改 0.016% 参数让 Qwen3.5-0.8B 数学成绩大涨

    MIT CSAIL 团队展示权重空间编程方法,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 权重,仅改 131072 个参数,MATH-500 从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%。

  2. Latent Space
    Latent Space AINews:MIT 研究称 LLM 可直接读写神经网络权重,Qwen3.5-0.8B MATH-500 从 7.9% 升至 48.1%

    Latent Space 10/31-11/02 期 AINews 头条报道 Weight-Space Programming 研究:LLM 无需梯度训练即可直接检查和编辑小模型权重,仅改 Qwen3.5-0.8B 约 0.016% 权重(131,072 个)就把 MATH-500 从 7.9% 提到 48.1%。

  3. 量子位主站
    MIT实验:GPT-6 Astra直接修改Qwen3.5权重,MATH-500得分从7.9%升至48.1%

    MIT让GPT-6 Astra直接分析并修改Qwen3.5-0.8B的权重,仅改动0.016%参数且不用梯度训练,MATH-500得分从7.9%升至48.1%,指令执行能力提升3倍。

本事件热度走势

可比范围当前
22
可比范围峰值
3211月5日 00:00
近 24 小时变化
-8%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。