爱游戏 (AYX)中国官方网站入口 - AYX SPORTS围绕支持人民币及多种主流数字货币实时结算。不断创新,回应用户的真实需求。

精选7×24小时智能客服与人工双语支持无缝切换。内容,爱游戏 (AYX)中国官方网站入口 - AYX SPORTS与你一同发现更多精彩。

爱游戏 (AYX)中国官方网站入口 - AYX SPORTS专注爱游戏 (AYX)中国官方网站入口 - AYX SPORTS,为用户提供专业可靠的体验。

  • 语言 简体中文 English 日本語 한국어
爱游戏 (AYX)中国官方网站入口 - AYX SPORTS以支持人民币及多种主流数字货币实时结算。为核心,带来高效便捷 - 爱游戏 (AYX)中国官方网站入口 - AYX SPORTS
2026年8月10日

MIT 研究者提出「权重空间编程」:GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重,数学成绩提升至原来 6 倍

IT之家 11 月 3 日消息,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出了一种被称为“权重空间编程”(Weight-Space Programming)的创新方法。

他们让 OpenAI 的 GPT-6 Astra 直接对阿里云通义千问的热门模型 Qwen3.5-0.8B 的神经网络权重进行分析和修改,只调整了大约 0.016% 的参数,就使该模型在 MATH-500 数学基准测试中的得分从 7.9% 跃升至 48.1%,提升了约 6.1 倍。据介绍,这一过程并未借助梯度下降或传统训练循环。

这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。Takehi 于当地时间 11 月 2 日在博客上发布了该研究成果,并将其命名为“权重空间编程”,其核心思想是让大型语言模型直接读取、理解并修改另一个神经网络的权重,而非通过常规训练流程来调整模型参数。

在具体实验中,GPT-6 Astra 并非简单地随机调整少量参数,而是首先定位 Qwen3.5-0.8B 在推理循环中存在的问题。

研究人员发现,该模型在回答数学问题时容易重复生成相同内容,导致大量回答消耗完 32768 个 Token 的长度限制。在最初的 96 次测试回答中,有 85 次触及了这一上限。

研究团队为 GPT-6 Astra 提供了一个能读取和修改模型权重的 Python 环境,并允许它使用 GSM8K 和 MATH 训练集中的练习题进行有限次数的前向推理。Astra 随后定位到第 15 层和第 19 层 MLP(多层感知机)中写入的一种重复方向,通过修改这两层的部分权重,削弱了导致推理循环的信号。

最终,Astra 修改了 131072 个权重,占 Qwen3.5-0.8B 约 8 亿个参数的 0.016%。在允许进行 50 轮前向推理的实验中,模型在 MATH-500 上的成绩从 7.9% 提升至 48.1%,在 GSM8K 上从 13.8% 提升至 67.1%。

同时,修改后模型的指令遵循能力也有所提升。在衡量模型指令遵循表现的 IFEval 测试中,修改后的模型成绩从 21.0% 提升至 62.3%,约为原来的 3 倍。此外,数学测试中因生成长度达到上限而未能完成回答的比例,从原来的 93% 降至 33.1%。

需要注意的是,这项实验并非完全没有计算过程。GPT-6 Astra 使用了 Python 环境分析和修改权重,也进行了最多 50 轮前向推理,只是没有使用梯度下降、反向传播或传统训练循环来更新参数。

研究人员还使用 Gemma 3 270M 进行了对照实验。由于该模型原本很少出现推理循环,Astra 无法通过类似的局部权重修改显著提升其数学能力,MATH-500 成绩最多仅从 6.8% 提升至 7.7%。研究团队据此指出,权重空间编程可以消除模型在发挥已有能力过程中遇到的障碍,但不一定能够凭空创造模型原本不具备的能力。

这项研究还包括其他实验,例如让 GPT-6 Astra 仅通过读取神经网络权重识别模型训练过的游戏、判断小型语言模型的训练语言,以及直接编写能够运行游戏的神经网络。研究人员认为,这种方法有望为神经网络可解释性研究和模型优化提供新的思路。

参考资料:

  • 《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》

评论(23)

爱游戏 (AYX)中国官方网站入口 - AYX SPORTS以支持人民币及多种主流数字货币实时结算。为核心,带来高效便捷 - 爱游戏 (AYX)中国官方网站入口 - AYX SPORTS

刘思远

发布于 2026年8月20日 10:32

2026年9月8日,爱游戏(AYX)宣布与迈阿密国际足球俱乐部达成深度战略合作。这一合作不仅彰显了爱游戏在全球体育金融结算领域的品牌影响力,更为用户带来了更加丰富的数字体育体验。通过整合双方资源,爱游戏将推出专属数字结算通道,支持赛事门票、周边商品及会员权益的实时支付。

爱游戏 (AYX)中国官方网站入口 - AYX SPORTS以支持人民币及多种主流数字货币实时结算。为核心,带来高效便捷 - 爱游戏 (AYX)中国官方网站入口 - AYX SPORTS

王梦洁

发布于 2026年8月22日 17:30

合作背后是爱游戏(AYX)在合规与安全上的持续投入。作为持有中国人民银行支付牌照的金融科技企业,我们严格遵循反洗钱法规,所有交易数据均采用256位SSL加密传输。此次合作预计将为平台带来日均新增交易订单15万笔,进一步巩固行业领先地位。

爱游戏 (AYX)中国官方网站入口 - AYX SPORTS以支持人民币及多种主流数字货币实时结算。为核心,带来高效便捷 - 爱游戏 (AYX)中国官方网站入口 - AYX SPORTS

王梦洁

发布于 2026年8月22日 17:30

从技术层面看,爱游戏(AYX)的实时风控系统能够毫秒级识别异常交易行为。结合多币种结算能力,我们为全球体育迷提供了从人民币到主流数字货币的无缝支付方案。无论是赛事投注结算还是数字藏品交易,用户都能享受到银行级的安全保障。

爱游戏 (AYX)中国官方网站入口 - AYX SPORTS以支持人民币及多种主流数字货币实时结算。为核心,带来高效便捷 - 爱游戏 (AYX)中国官方网站入口 - AYX SPORTS

陈天宇

发布于 2026年8月18日 07:18

2026年9月10日,爱游戏(AYX)发布最新季度报告:平台累计注册用户突破3000万,日均交易额环比增长22%。这一成绩得益于我们持续优化的智能路由系统,能够根据网络状况自动选择最优结算路径,确保交易成功率保持在99.99%以上。

爱游戏 (AYX)中国官方网站入口 - AYX SPORTS以支持人民币及多种主流数字货币实时结算。为核心,带来高效便捷 - 爱游戏 (AYX)中国官方网站入口 - AYX SPORTS

陈天宇

发布于 2026年8月18日 07:18

深圳市南山区科技园北区750座

想了解更多7×24小时智能客服与人工双语支持无缝切换。相关内容,尽在爱游戏 (AYX)中国官方网站入口 - AYX SPORTS。