开云(中国)官方网站 登录入口

文 | 王方玉开云体育

剪辑 | 苏建勋

12 月 7 日北京期间凌晨两点，OpenAI 公司带来了统一 12 天发布会的第二场直播。

本次直播中，OpenAI 带来了新的决议——强化微调（Reinforcement Fine-Tuning）。该决议和功能展望将于 2025 年正经推出。

强化微调是一种全新的模子定制时局，它将一个预检修好的通用模子，通过在特定领域的小范畴数据集上进一步检修，使其顺应特定任务的技巧。肤浅来说即是在一个"学过好多东西"的大模子上，再让它针对某个具体任务"重心锻练"，让它更顺应作念这件事。

OpenAI 高管先容称，强化微调不错将大型话语模子从"高中水平"进步至"博士级行家"的才能，顺应高校、接头东说念主员和企业打造私有的 AI 不断决议。举例 OpenAI 正在与汤森路透融合，打造专属于该公司的法律专科模子。

莫得参与本场直播的 OpenAI CEO Sam Altman 在应答媒体表上："效能一级棒，是我 2024 年最大的惊喜，期待看到东说念主们构建什么！"

"强化微调让行业行家大模子的终了变得容易了。"一位 AI 大模子讹诈企业的创举东说念主告诉 36 氪，这是一项和庸俗用户关系不大，但对专科领域使命者很有价值的新决议。

直播现场，OpenAI 展示了一个典型的案例——荒原遗传病接头。

OpenAI 与伯克利本质室和德国 Charit é 病院的接头东说念主员融合，使用强化微调检修 GPT o1 Mini 模子。该模子学会了灵验推理荒原疾病的成因，并在性能上卓绝了更大的 GPT o1 模子，展示了其在会诊和领悟复杂病情方面的后劲。

值得一提的是，强化微调与此前的微调容貌有着显耀各异。与传统微调不同，强化微调并不是肤浅地让模子"记着谜底"，而是通过检修模子在特定领域中学会推理，找到正确谜底。

具体来说，强化微调有两个不同数据统一，一个是微调数据集，一个是测试数据统一，模子先基于微调数据统一去检修，然后用测试数据统一考据，反复自我推理检修考据，最终达到很高的水平。因而强化微调不错终了在数据量有限的情况下（无意仅需几十个样本）也能终了显耀性能进步。

不外，强化微调决议现在仍处于接头预览阶段，OpenAI 策动在 2025 年全面推出。

现在 OpenAI 正邀请接头机构、大学以及企业参与强化微调接头策动。OpenAI 但愿与应许分享数据集的组织融合开云体育，进一步优化模子性能。