首页
安卓软件
苹果软件
科技资讯
在伊利亚·苏茨克弗领导下，OpenAI的超级对齐团队探索了指导日益聪明的人工智能模型行为的方法。
自从去年ChatGPT面世以来，尤其在公司近期的治理危机中，OpenAI的商业抱负变得更加显著。该公司声称，一个专注于驯服未来超级智能AI的新研究小组正在取得初步成果。
OpenAI的研究人员正在检验一种被称为监督的过程，该过程用于调整像GPT-4这样的大型语言模型，使其更有帮助、减少危害。目前，这涉及到人类向AI系统提供关于哪些答案是好的，哪些是坏的反馈。随着AI的发展，研究人员正在探索如何自动化这一过程，以节省时间，但也因为他们认为，随着AI变得更加强大，人类提供有用反馈可能变得不可能。
在一项控制实验中，研究人员使用OpenAI于2019年首次发布的GPT-2文本生成器来教导GPT-4，较新的系统变得能力下降，类似于较低级的系统。研究人员测试了两种解决方案。一种是训练逐渐更大的模型以减少每一步的性能损失。另一种是在GPT-4中添加了一个算法调整，允许更强大的模型在不太削弱其性能的情况下遵循较弱模型的指导。这更有效，尽管研究人员承认，这些方法不能保证更强大的模型会完美行为，他们将其描述为进一步研究的起点。
阿什彻布伦纳和另外两名超级智能团队的成员在接受WIRED采访时表示，他们对这一重要的第一步感到鼓舞，认为这是驯服潜在超级智能AI的重要起点。伊兹梅洛夫说：“即使是一个六年级的学生数学知识比大学数学专业的学生少，他们仍然可以向大学生传达他们想要实现的目标。这就是我们现在试图实现的。”
该超级对齐小组由OpenAI的联合创始人、首席科学家苏茨克弗共同领导，他是上个月投票解雇首席执行官萨姆·奥特曼的董事会成员之一，随后撤销决定，并威胁如果奥特曼不被重新任命，他将辞职。苏茨克弗是今天发布的论文的合著者，但OpenAI拒绝让他参与讨论该项目。
在奥特曼上个月回归OpenAI并且大部分董事会成员辞职的协议后，苏茨克弗在公司的未来似乎不确定。
阿什彻布伦纳说：“我们非常感谢伊利亚，他一直是这个项目的巨大动力和推动力。”
尽管OpenAI正在宣扬控制更先进AI的第一步，但该公司也热切希望获得外部帮助。公司今天宣布，将与影响力投资者、谷歌前首席执行官埃里克·施密特合作，向外部研究人员提供1000万美元的资助，以进一步研究包括弱对强监督、高级模型的可解释性，以及增强模型以抵御旨在破坏其限制的提示等主题。OpenAI还计划明年举办一次关于超级对齐的会议，新论文的参与研究人员表示。
苏茨克弗，作为OpenAI的联合创始人和超级对齐团队的共同领导，领导了公司大部分重要的技术工作，也是越来越多关注如何控制越来越强大的AI的著名AI人物之一。今年，由于ChatGPT的推出，如何控制未来AI技术的问题引起了新的关注。苏茨克弗在杰弗里·辛顿的指导下攻读博士学位，辛顿是深度神经网络的先驱，他于今年五月离开谷歌，以警告AI在某些任务中接近人类水平的速度。
OpenAI的伊利亚·苏茨克弗制定了控制超智能AI的计划
在伊利亚·苏茨克弗领导下，OpenAI的超级对齐团队探索了指导日益聪明的人工智能模型行为的方法。
自从去年ChatGPT面世以来，尤其在公司近期的治理危机中，OpenAI的商业抱负变得更加显著。该公司声称，一个专注于驯服未来超级智能AI的新研究小组正在取得初步成果。
OpenAI的研究人员正在检验一种被称为监督的过程，该过程用于调整像GPT-4这样的大型语言模型，使其更有帮助、减少危害。目前，这涉及到人类向AI系统提供关于哪些答案是好的，哪些是坏的反馈。随着AI的发展，研究人员正在探索如何自动化这一过程，以节省时间，但也因为他们认为，随着AI变得更加强大，人类提供有用反馈可能变得不可能。
在一项控制实验中，研究人员使用OpenAI于2019年首次发布的GPT-2文本生成器来教导GPT-4，较新的系统变得能力下降，类似于较低级的系统。研究人员测试了两种解决方案。一种是训练逐渐更大的模型以减少每一步的性能损失。另一种是在GPT-4中添加了一个算法调整，允许更强大的模型在不太削弱其性能的情况下遵循较弱模型的指导。这更有效，尽管研究人员承认，这些方法不能保证更强大的模型会完美行为，他们将其描述为进一步研究的起点。
阿什彻布伦纳和另外两名超级智能团队的成员在接受WIRED采访时表示，他们对这一重要的第一步感到鼓舞，认为这是驯服潜在超级智能AI的重要起点。伊兹梅洛夫说：“即使是一个六年级的学生数学知识比大学数学专业的学生少，他们仍然可以向大学生传达他们想要实现的目标。这就是我们现在试图实现的。”
该超级对齐小组由OpenAI的联合创始人、首席科学家苏茨克弗共同领导，他是上个月投票解雇首席执行官萨姆·奥特曼的董事会成员之一，随后撤销决定，并威胁如果奥特曼不被重新任命，他将辞职。苏茨克弗是今天发布的论文的合著者，但OpenAI拒绝让他参与讨论该项目。
在奥特曼上个月回归OpenAI并且大部分董事会成员辞职的协议后，苏茨克弗在公司的未来似乎不确定。
阿什彻布伦纳说：“我们非常感谢伊利亚，他一直是这个项目的巨大动力和推动力。”
尽管OpenAI正在宣扬控制更先进AI的第一步，但该公司也热切希望获得外部帮助。公司今天宣布，将与影响力投资者、谷歌前首席执行官埃里克·施密特合作，向外部研究人员提供1000万美元的资助，以进一步研究包括弱对强监督、高级模型的可解释性，以及增强模型以抵御旨在破坏其限制的提示等主题。OpenAI还计划明年举办一次关于超级对齐的会议，新论文的参与研究人员表示。
苏茨克弗，作为OpenAI的联合创始人和超级对齐团队的共同领导，领导了公司大部分重要的技术工作，也是越来越多关注如何控制越来越强大的AI的著名AI人物之一。今年，由于ChatGPT的推出，如何控制未来AI技术的问题引起了新的关注。苏茨克弗在杰弗里·辛顿的指导下攻读博士学位，辛顿是深度神经网络的先驱，他于今年五月离开谷歌，以警告AI在某些任务中接近人类水平的速度。