AI需要能自我改进！AI圈越来越多人认为“当前AI训练方法无法突破”

来自OpenAI、谷歌等公司的小部分但日益增长的AI开发者群体认为，当前的技术路径无法实现生物学、医学等领域的重大突破，也难以避免简单错误。这一观点正在引发行业对数十亿美元投资方向的质疑。

据The Information周二报道，上周在圣地亚哥举行的神经信息处理系统大会（NeurIPS）上，众多研究人员讨论了这一话题。他们认为，开发者必须创造出能在部署后持续获取新能力的AI，这种“持续学习”能力类似人类的学习方式，但目前尚未在AI领域实现。

这些质疑声与部分AI领袖的乐观预测形成对比。Anthropic首席执行官Dario Amodei上周表示，扩展现有训练技术就能实现通用人工智能（AGI），OpenAI首席执行官Sam Altman则认为两年多后AI将能自我改进。但如果质疑者是对的，这可能令OpenAI和Anthropic明年在强化学习等技术上投入的数十亿美元面临风险。

尽管存在技术局限，当前AI在写作、设计、购物和数据分析等任务上的表现仍推动了收入增长。OpenAI预计今年收入将增长两倍以上至约130亿美元，Anthropic预计收入将增长逾10倍至约40亿美元。

核心争议：AI能否像人类一样学习

亚马逊AI研究部门负责人David Luan明确表示，“我敢保证，我们今天训练模型的方式不会持续下去。”多位参加NeurIPS的研究人员也表达了类似观点，认为实现类人AI可能需要全新的开发技术。

OpenAI联合创始人兼前首席科学家Ilya Sutskever上月表示，当前一些最先进的AI训练方法无法帮助模型泛化，即处理包括未曾遇到过主题在内的各种任务。在医学领域，持续学习可能意味着ChatGPT能识别医学文献中不存在的新型肿瘤，而非需要在大量先例上训练。这将使其表现得像能基于单一案例发现规律的人类放射科医生。

在NeurIPS的主题演讲中，阿尔伯塔大学教授Richard Sutton——被称为强化学习之父——同样表示，模型应能从经验中学习，研究人员不应试图通过人类专家创建的大量专业数据来提升模型知识。他认为，当人类专家达到知识极限时，AI的进步就会“最终受阻”。相反，研究人员应专注于发明能在处理实际任务后从新信息中学习的AI。

技术突破尝试与现实障碍

NeurIPS上展示的多篇重要研究论文探讨了这一主题。麻省理工学院和OpenAI的研究人员提出了“自适应语言模型”新技术，使大模型能利用现实世界中遇到的信息获取新知识或提升新任务表现。

例如，当ChatGPT用户要求分析此前未见过的医学期刊文章时，模型可能将文章改写为一系列问答，用于自我训练。下次有人询问该主题时，它就能结合新信息作答。部分研究人员认为，这种持续自我更新对能产生科学突破的AI至关重要，因为它将使AI更像能将新信息应用于旧理论的人类科学家。

然而，技术局限已拖慢企业客户对AI代理等新产品的采购。模型在简单问题上持续犯错，AI代理在缺乏AI提供商大量工作确保其正确运行的情况下往往表现不佳。

商业影响：收入增长与投资风险并存

如果Luan和Sutskever等质疑者的观点正确，这可能令开发者明年在强化学习等流行技术上的数十亿美元投资受到质疑，包括支付给Scale AI、Surge AI和Turing等协助此类工作的公司的费用。Scale发言人Tom Channick对此不同意，称使用持续学习的AI仍需要从人类生成数据以及Scale提供的强化学习产品中学习。

尽管如此，即便没有新突破，AI开发者似乎也能产生大量收入。OpenAI和Anthropic三年前几乎没有收入，如今从聊天机器人和AI模型销售中获得可观营收。开发AI应用的其他初创公司，如编码助手Cursor，预计未来一年将集体产生超过30亿美元的销售额。

行业竞争：谷歌反超引发动荡

研究人员还讨论了大型开发者之间的AI竞赛。谷歌的技术在某些指标上已超越竞争对手，Altman已告诉OpenAI准备迎接"艰难氛围"和"暂时的经济逆风"。

在与谷歌AI团队的问答环节中，多位与会者询问该团队如何改进预训练流程——这正是OpenAI今年大部分时间都在努力解决的问题。谷歌研究副总裁Vahab Mirrokni表示，公司改进了用于预训练的数据组合，并找到了更好管理数千个谷歌设计的张量处理单元的方法，从而减少了硬件故障对模型开发流程的干扰。

OpenAI领导层最近表示，他们已能类似地改进预训练流程，开发出代号为Garlic的新模型，相信未来几个月能与谷歌竞争。