在往常的两年中三级片，OpenAI的ChatGPT引爆全球。就在全球拭目以待GPT-5的发布时，9月13日凌晨，OpenAI发布了OpenAI o1，致力于于于处治复杂问题的新推理模子。

（图片着手：OpenAI官网）

从比赛名次看OpenAI o1有多强盛

上月初，OpenAI的首席实行官Sam Altman发布了自家花圃的草莓的相片。随后，据知情东谈主士的音问表示，OpenAI将发布新的AI模子，里面代号为Strawberry（草莓）。

草莓模子的前身是Q*，Q*暗意其勾搭了两种著名的东谈主工智能方法——Q-learning和A*搜索。据传Q*过于强盛的才调使得沟通东谈主员惦记它会对东谈主类组成潜在的恐吓，是此前 OpenAI内乱风云的要津原因之一。

Sam Altman发布的草莓相片 （图片着手：Sam Altman 的 X(twitter) 账号）

OpenAI发布的OpenAI o1模子恰是草莓模子。由于它在复杂推理问题上取得的贫困越过，OpenAI从头从1启动计数，将新模子定名为OpenAI o1。据OpenAI发布的信息，OpenAI o1不错像东谈主类雷同，在报告问题前使用更多期间念念考。因此o1模子不错通过推理在科学、编程和数学界限处治比先前更难的问题。

与先前OpenAI最新的模子GPT-4o比较，OpenAI o1在数学竞赛、编程竞赛，以及博士基准的科学问题中取得了显贵提高，展现了它在复杂推理任务中的强盛才调。它在编程竞赛 (Codeforces) 中名次89%，在好意思国数学奥林匹克预选赛 (AIME) 中置身全好意思前500名，况且在物理、生物、化学的基准问题（GPQA）上的报告准确度稀疏了东谈主类博士。

OpenAI o1在数学、编程、科学问题上和GPT-4o的对比

（图片着手：OpenAI官网）

OpenAI o1的好意思妙火器——基于念念维链的强化学习

OpenAI o1之是以能取得远超GPT-4o的推理才调，要津就在于它使用了基于念念维链（Chain of Thought）的强化学习。就像东谈主类在报告一个困难问题之前可能会进行万古期念念考雷同，OpenAI o1在尝试处治问题时，也会使用念念维链。通过念念维链，模子会将任务领悟成更为肤浅的设施，一步一步进行处治，这比让模子告成输出问题谜底赓续愈加准确。

其实念念维链并不是一个新的见识，早在GPT-3发布以前，科研东谈主员照旧发现了念念维链不错携带大说话模子进行推理。

大说话模子使用念念维链的示例 （图片着手：凭证参考文献2翻译）

上图的示例有两组大说话模子的输入和输出，在输入中三级片，最初向模子输入了一个有筹商网球个数的问答，然后向模子发问了一个访佛的问题，让模子有筹商苹果的个数。

下方左侧是告成的问答，模子给出了造作的报告。下方右侧是使用念念维链的问答，沟通东谈主员对向模子输入的对于网球个数的问答作念了补充，向模子展示特出到网球个数的推理经过，再让模子去报告苹果的个数。

这一次，模子正确地通过推理有筹商出了苹果的个数。这么携带模子生成问题的一系列中间推理设施的方法称为念念维链。通过念念维链，不错让大说话模子在处治问题时将推理设施详备、直不雅地展示出来，不仅进步了大说话模子在处治推理问题时的准确性，也让大说话模子的报告有了可讲明性，不再是整个的黑盒。

在GPT-3发布之后，东谈主们进一步发现了这种指示（Prompt）的贫困性。对于才调较强的大说话模子，在发问时致使不需要给出访佛前边有筹商网球个数的示例，只需要告诉模子“让咱们一步一步念念考”(Let's think step by step)，就不错进步模子处理复杂推理问题的才调。

以上的尝试齐是在向模子发问时加入携带。若是念念维链如斯有效，是否不错在模子构建与闇练时就将念念维链固化在模子里面呢？这等于OpenAI o1作念出的尝试。

OpenAI o1的强化学习与新的Scaling Law（设施定律）

GPT模子在报告问题时，骨子上是在进行“翰墨接龙”，它依据闇练时大量的统计概率数据，预计出在模子的输入下续写怎样的报告是最安妥的。

为了让大说话模子学习怎样使用念念维链，而不是仅依据概率进行续写，OpenAI o1使用了名为强化学习的机器学习方法。

强化学习是指模子以“试错”的方法进行学习，在闇练的经过中并不告诉模子轨范结果是什么，而是告诉模子它结果的锋利进程。当模子的结果是对的时，模子会在以后的输出中倾向于秉承这种结果；当模子的结果是错的时，它在以后的输出中倾向于幸免这种结果。在经过多轮的试错以后，模子会依据自己的教会学习到一套判断轨范。

强化学习这种不给出轨范谜底的学习方式适用于复杂环境下的方案问题，举例机器东谈主礼貌、金融交游、棋类游戏等界限。在这些界限中，咱们经常无法给出一个轨范意思意思上的正确谜底，只可得知秉承一个手脚后的结果。举例，机器东谈主是否跌倒、金融交游是否赢利，游戏是否得胜。

强化学习的一个著名的案例是2016年Deepmind成就的围棋AI AlphaGo。在围棋界限中，可能的风景总额致使稀疏了可不雅测宇宙中的原子总额，即使是顶尖围棋妙手也不成判断出随便情况下最好的下法是什么。因为围棋过于复杂，无法通过穷举得回最好的下法。在 AlphaGo出现以前，东谈主们一度觉得东谈主工智能在围棋上不可能礼服东谈主类。

AlphaGo使用强化学习进行闇练，它我方和我方棋战，并从每一局棋的赢输中学习到教会。并不需要东谈主类告诉它哪一步是对的，也不需要学习任何过往东谈主类的棋谱，它在短短数天的闇练后就达到了东谈主类棋手可望不可即的水平。

在AlphaGo方案的经过中，它最初对风景进行大要判断，判断在那里棋战更有可能使我方得胜。这种嗅觉或者说直观，赓续被东谈主类称之为棋感。在大要判断出在那里棋战更可能成心后，AlphaGo对这些不同下法的后续可能性进行进一步有筹商，并从中采取最好的下法。

因此，AlphaGo的实力主要有两个影响要素，包括对风景进行判断的才调解对可能下法进行有筹商的有筹商量。其中，模子的强化学习经过不错进步模子对风景进行判断的才调。

AlphaGo的自我对弈 （图片着手：参考文献1）

在OpenAI o1的闇练中，通过强化学习，OpenAI o1学会雕塑其念念维链并完善其使用的战术，它学会将困难的问题领悟为更肤浅的设施，在分析经过满意志并窜改造作。这个经过极地面提高了模子的推理才调。

在学会了使用念念维链之后，OpenAI o1的输入不再需要东谈主为携带它使用念念维链。相背，OpenAI建议在使用OpenAI o1时保执指示的肤浅和告成，并幸免使用念念维链指示。

国产三级

沟通东谈主员在对OpenAI o1的测试中发现，加多强化学习闇练的期间和在推理时加多更多的念念考期间齐不错让模子的性能得到改善，这和前边提到的AlphaGo的实力的影响要素相一致。

OpenAI o1的Scaling Law （图片着手：OpenAI）

OpenAI 的沟通东谈主员在2020年发现了大说话模子的Scaling Law（设施定律），大说话模子的性能会跟着模子大小、闇练集大小、闇练时的有筹商量的加多而加多。

OpenAI o1展现了新的Scaling Law，在进步模子性能方面，它还不错通过加多推理期间使得模子得回更强的性能，这为将来大说话模子进一步发展提供了新的可能。

OpenAI o1系列现在包含三个模子，o1，o1-preview，o1-mini。它们的模子大小不同，o1最大况且领有最强的推理才调，o1-mini最小但在使用时浮滥较小的资本。它们在数学竞赛上的证据如下图所示，o1-mini在数学竞赛上的证据致使强于o1-preview，但它在其他需要非STEM（科学、手艺、工程、数学）学问的任务上会证据较差。同期，跟着推理期间的加多，三个模子的证据齐会有所进步。

OpenAI o1不同版块的模子在数学竞赛上的证据 （图片着手：OpenAI）

OpenAI o1会带来更多安全问题吗？

OpenAI o1模子的冲破，无疑更进一步进步了大说话模子的才调。OpenAI曾提议构建通用东谈主工智能（AGI）的五个阶段，第一阶段是达成不错和东谈主调换的东谈主工智能，第二阶段是达成具有推理才调的东谈主工智能。ChatGPT达到了第一阶段的打算，而OpenAI o1的出现使得咱们离第二阶段更近了一步。

在OpenAI o1展现出强盛推理才调的同期，正如沟通东谈主员对Q*的惦记，东谈主们不禁想问OpenAI o1是否会带来更多的安全性问题。

OpenAI的报谈中指出，念念维链为进步模子的安全性提供了新的契机。在闇练经过中，不错把东谈主类的价值不雅会成进模子的念念维链之中，让模子拒却实行无益的举止。同期，念念维链不错让咱们以明晰的方式不雅察模子的念念维，从而增强模子的安全性。

将来，也许超乎联想

现在，OpenAI o1的preview版块和mini版块照旧怒放给用户使用，随后也将添加浏览、文献和图像上传等实用的功能。它在真确的场景中的后果怎样有待全球进雷同式体验和测试。一言以蔽之，OpenAI o1在推理才调上的贫困越过，简略意味着咱们离通用东谈主工智能更近了一步。将来东谈主工智能将会走向何处，能否为造福东谈主类社会带来更大的孝敬，让咱们链接保执期待。

参考文献：

Silver， D.， Schrittwieser， J.， Simonyan， K. et al. Mastering the game of Go without human knowledge. Nature 550， 354–359 (2017). https://doi.org/10.1038/nature24270

https://proceedings.neurips.cc/paper_files/paper/2022/hash/9d5609613524ecf4f15af0f7b31abca4-Abstract-Conference.html

作家：王琛（中国科学院有筹商手艺沟通地方读博士）

监制：中国科普博览三级片