OpenAI’s Sam Altman Talks ChatGPT, AI Agents and Superintelligence — Live at TED2025

0:00 翻译人员: Yip Yan Yeung 校对人员: Sue Lu 克里斯·安德森（Chris Anderson）： 山姆，欢迎来到 TED。 非常感谢你的光临。 山姆·奥特曼（Sam Altman）： 谢谢，这是我的荣幸。 CA：你们公司一直在发布 令人疯狂的新模型， 感觉差不多每隔一周就有。 我一直在玩其中的几个。 给你看看我在玩些什么。 Sora 是个图像和视频生成器。 我问了 Sora， 如果你在 TED 这里跟我讲些 惊天秘闻，会是什么情形？ 看看它是怎么脑补的。 （笑声） 还不错，对吧？ 你给它打几分？ 每只手都比出五根手指的高分。 SA：和我穿的差不多，不错。

0:46 CA：我从来没见过你这么活泼。 SA：不，我不是那么活泼的人。 CA：那你可能会打个 B+。 但是这幅图确实让我惊呆了。 我让它画一幅图， 展示智能和意识之间的区别。 你们会怎么画？ 它是这么画的。 很简单，但很厉害。 是什么流程让它能够…… 显然这不仅仅是图像生成。 这与你的基座模型的核心智能有关。 SA：是的，新的图像生成模型 是 GPT-4o 的一部分， 它具备所有的智能。 我觉得这就是为什么 它能做到人们非常喜欢的事情。

1:33 CA：假如我是一名管理顾问， 我会一边尝试这些东西， 一边想，我的未来会受到什么影响？ SA：我觉得可以从两种不同角度来看。 你可以说，它做了本来我做的事。 我该怎么办？ 你也可以说， 就像历史上其他技术革命一样， 好啊，现在有了这个新工具， 我可以成就更多了。 那我打算做些什么呢？ 我们确实会提高 对某个特定岗位人员的期望值， 但能力也会急剧提高， 我认为很容易达到与其匹配的水平。 CA：这也给我留下了深刻的印象。 我让它想象一下 查理·布朗把自己当做 AI。

2:18 它生成了这个。 我觉得这还挺引人深思的。 你怎么看？ （笑声） 一些新模型的写作质量， 不仅在这张图上，而且在细节上， 真的正在达到一个新的高度。 SA ：这是一个很好的宏观答案， 但其实没法知道它真这么想的呢， 还是在训练集中看了很多遍后的记忆。 当然，如果你都分辨不了， 你又会多在乎这点呢？ CA：太有意思了。 我们无从知晓。 但是…… 乍一看像是知识产权剽窃。 你们没和《花生漫画》版权方签过协议？ （掌声）

3:04 SA：尽情鼓掌吧。 （笑声和低语声） 我认为人类的创新精神非常重要， 所以我们想造出提升它的工具， 让更多人创作更好的艺术和内容、 更好的小说，供大家欣赏。 我深信，人类将是这一切的核心。 我还认为，我们可能确实需要 为创意产出的经济运作找到新模式。 我认为人们早就一直都是 在前人的创意基础上不断发展。 人们长期以来一直在汲取前人的灵感。 但是，随着越来越容易接触到创意，

3:51 人们总是在彼此的创意基础上不断发展， 有些很棒的新商业模式 我们非常乐于探索， 现在还不确定到底会是什么样子。 当然会有一些板上钉钉的事， 比如你不能抄袭别人的作品。 但你能汲取多少灵感呢？ 如果你说，我想用 这七个人的风格生成艺术作品， 他们都同意了， 但你给每个人分多少钱呢？ 这些都是很重要的问题。 但是，纵观历史， 我们每次都把更好、更强大的技术 送到了创作者手中。 我们共同制作了更好的创意产出， 人们也会成就更多了不起的事情。 CA：还有个更大的问题是， 如果他们并不同意呢？ 在我们的开场演讲中，卡罗尔·卡德瓦拉德 （Carole Cadwalladr）展示了

4:37 “ChatGPT 以卡罗尔·卡德瓦拉德的 风格进行演讲，” 当然，ChatGPT 的演讲 不如她本人的演讲那么好， 但也够厉害的。 不过她说了： “虽然不错，但我没同意。” 我们将如何解决这个问题？ 有没有这样一个办法， 只有本人已经同意才会采用？ 还是应该有这么一个模式， 说明提示词中提到的任何人， 如果使用了他们的作品， 就要让他们得到相应的报酬？ SA：如果你现在用我们的图像生成，说： “我想用一位在世的艺术家的风格，” 它是不会这么做的。 但如果你说想要用某种特定的风格、 某个工作室的风格、 某种艺术潮流，它是会照做的。

5:22 显然，如果你想…… 生成一首象复制品的歌， 它是不会照做的。 有些问题， 比如界限到底在哪里， 人们什么时候会说“这太过分了”， 我们已通过版权法和 合理使用范畴解决了这些问题。 我认为在 AI 的世界中， 我们会摸索出一个新模式。 CA：从我的角度来看， 创意人士是现在对 AI 感到最愤怒或恐惧的人。 感觉自己的作品被偷走了， 未来也被偷走了， 相比你的作品被放大， 拥有更强的影响力， 那是截然不同的感受。 如果我们可以过渡到第二种感受，

6:09 我认为这真的可以改变 整个人类接受这一切的程度。 SA：嗯，没错， 我知道有些创意人士非常不安。 有些创作者则会说： “这是有史以来最神奇的工具， 我在创作很棒的新作品。” 但说到底，这一定是种改变。 我十分理解一些人的想法： “多希望没有这种改变。 我喜欢以前的样子。” CA：但按理说， 你可以通过任何提示词计算…… 有办法可以计算出 每个输出产生了 多少百分比的订阅费等收入。 理论上是可以搞清楚所有规则的， 当然，一定会很复杂。

6:55 你可以计算出收入份额，对吧？ SA：如果你是音乐家，从童年起，一生 都在听音乐， 然后你突发奇想要写一首歌， 灵感来自你以前听过的音乐， 但创作方向并不一样， 你很难说清哪部分是 来自我 11 岁时听的某首歌。 CA：没错。 但我们聊的是有人在提示词里 明确指名道姓的情形。 SA：同样，如果你现在试图 生成某个特定风格的图片， 假设这位艺术家仍在世， 我们是不会照做的。 但我觉得如果 有这么一个新模式会很酷， 我想用某位艺术家的风格， 他们也选择让我用， 那就可以建立一个盈利模式。 我认为这是一件很值得探索的事。 CA：我觉得社会应该 尽快帮你们找出这个模式。 我认为它会带来巨大的改变。

7:41 我想快速换个话题。 （掌声） 你们的模型和开源模型之间的对抗。 DeepSeek 的到来对你们冲击有多大？ SA：我认为开源也非常重要。 其实就在昨晚， 我们举行了第一场社区会议， 决定我们开源模型的参数， 以及要把它设计成什么样。 我们会做一个很强大的开源模型。 我认为这很重要。 我们的开源模型会接近前沿， 比当前市面上任何开源模型都强。 但这并不是全部…… 会有人以大众——也许包括你我和在座诸位 ——不认同的方式来运用它。 但开源模型作为产品组合的一部分 会占有重要的一席之地。

8:30 我觉得我们已经动手晚了， 但我们将会做得非常好。 CA：你们的支出似乎 比 DeepSeek 宣称的支出 高出一个数量级，甚至几个数量级， 尽管我知道这方面存在争议。 你相信这个更好的模型会得到认可吗？ 或者你觉得， 在某种程度上，你们的信念受到威胁， 必须通过扩大规模，投资数百亿美元， 从而保持遥遥领先的地位？ SA：我整天都在给人打电话， 恳求他们给我们 GPU。 我们的资源太有限了。 我们的增长是线性的。 DeepSeek 发布了， 但似乎没有影响到我们的增长。 还有其他产品也在不断推出。

9:17 CA：说说你们的增长情况吧。 你在后台说了个惊人的数字。 SA：我从未见过任何一家公司的增长， 无论我是否参与过， 能够匹敌 ChatGPT 的增长。 太有意思了。 我深感荣幸。 但经历这些太疯狂了， 我们的团队精疲力尽，压力很大。 我们在努力维持现有状态。 CA：你们现在有多少用户？ SA：上次说的是每周 5 亿活跃用户， 而且还在飞速增长。 CA：你说短短几周内翻了一番。 在算力方面或是…… SA：我可是私下说的，不过…… CA：哦。 （笑声） 我记错了，山姆，对不起。 如果你实在不愿意， 我们可以把这段剪辑掉。

10:04 在场没有人会发推特的。 SA：它的增长速度非常快。 （笑声） CA：所以你很有信心， 你看到它在增长， 像火箭一样飙升， 你一直在发布很棒的新模型。 你目前在你最好的内部模型中 看到了什么， 虽然还没有与世界分享， 但你想在这个舞台上聊一聊？ SA：首先，你之前问到， 我们是否在担心这个或那个模型？ 世界上会有很多智慧的模型。 非常智能的模型会普及到一定程度。 我认为我们会推出最好的， 有些用途会非常需要它。 说实话，现在的模型已经很聪明， 它们已经能帮大多数人 做大多数的事情。 我希望这种情况会逐渐改变， 因为人们的期待会更高。 如果你只是 ChatGPT 的普通用户，

10:53 那么模型的智能已经够好了。 但是，我们还须打造出色的产品， 而不仅仅是出色的模型。 有很多人都会拥有出色的模型， 但我们想做出最好的产品。 人们想要图片生成， 你之前已经看到了 Sora 的视频示例。 人们想把这些功能都加进来。 我们刚刚推出了一项新功能， 它还是叫“记忆”（Memory）， 但比之前的记忆好得多， 这个模型会跟踪了解你的一生。 我们还有很多这类集大成产品要做。 我觉得人们会很喜欢的。 还会有很多模型，但我认为 我们会继续专注于做出 这个领域最优秀的领军产品。 CA：看了你昨天的发布说

11:40 “ChatGPT 会记得 你所有的查询历史”， 我就输入了：“ChatGPT， 说说你所知道的我吧。“ 结果让我大吃一惊。 山姆，太震撼了。 ChatGPT 知道我是谁、我的兴趣爱好， 还好大部分还算体面，可以分享。 但这也太惊人了。 我体会到了真正的兴奋， 和一点不安， 但主要还是兴奋， 它能有好多的用处啊。 SA：我们的一位研究员在推特上说， 大概是昨天或今早吧， 他说，上传是逐步完成的, 不是哪天你把大脑一插就行了。 你一生都得和 ChatGPT 对话。

12:25 以后，如果你愿意， 它会整天听你说话， 观察你在做些什么， 逐渐了解你， 慢慢成为你的一部分，你的伴侣， 试着帮你尽力成为最好的自己。 CA：在电影《她》中， AI 表示“她”阅读了他所有的邮件， 断定他是一位优秀的作家， 然后说服一家出版商出版他的作品。 这可能会比我们想象的更快实现。 SA：我觉得不会完全一样，但确实， 我认为 AI 会按这个方向…… 你都不需要打开 ChatGPT 什么的， 问问题，寻求答案。

13:11 AI 就会主动推送给你有用的信息， 让你变得更好更强大的信息。 看来真的很快就会实现了。 CA：从内部看，你看到了什么 将会让人们大吃一惊的东西呢？ 给我们稍微剧透一下 下一个爆点是什么。 SA：我个人目前最期待的是 用于科学领域的 AI。 我坚信， 新的科学发现是世界和人们生活 越来越美好的最重要的推动力。 我们可以用更少的资源做更多的事情， 我们拓展了可能性的边界。 使用我们最新模型的科学家 给了我们很多反馈， 强调说他们比以前更高效了，

13:58 这对他们的科技发现至关重要。 CA ：会有什么近期的重大发现吗？ 比如室温这类的…… SA：超导体？ CA：超导，是的。 这可能吗？ SA：我认为这并没有违反物理定律， 所以理论上是可能的。 但是我们也不确定。 你会开始看到一些…… 使用 AI 辅助工具 治疗疾病的重大进展。 物理方面的，可能还要更长时间， 但我还是抱有希望的， 也算是一个方向吧。 另一个大爆点很快就要开始了， 就在接下来的几个月里。 软件开发已发生了翻天覆地的变化。 现在编写软件的流程 与两年前已差异很大了。

14:47 但我预计接下来几个月还会有大动作， 因为智能体软件工程真的要来了。 CA ：我听一些工程师说， 有的新模型带来近乎神圣的感觉， 突然间他们一下午就能干完 原本需要两年时间的事情。 SA ：是啊，太震撼了…… 这也是我深切感受到 “ AGI 要来了”的时刻。 CA：谈谈你见过的最可怕的事情。 因为外界认为你们能接触到这些东西。 我们听到了 AI 带来的各种谣言， “天哪，他们已经看到意识了。” “他们看到 AGI 了。” “他们看到末日要来了。” 你有没有看到…… 有没有一个可怕的瞬间， 你在内部看到了什么，然后想：

15:33 “哦不，我们得提防这个吧？” SA：确实有令人敬畏的时刻。 那时就会想，它究竟还能走多远？ 还会发展成什么样？ 但是并没有…… 我们没有悄悄地拥有…… 没有悄悄地搞什么有意识的模型， 它们能做到自我改进之类的事。 AI 的重大风险会是什么，众说纷纭。 我对这个问题的思考也在不断演变。 我仍然相信有人会严重滥用 将来出现的非常强大的模型。

16:19 人们总是在谈论会不会有新型生化武器、 真正造成网络安全挑战的模型、 擅长自我改进的模型， 由此导致一定程度的失控。 我觉得确实有很大的风险。 还有很多其他的问题， 很多人谈到了虚假信息， 或者模型说出他们不想听到的话，等等。 CA：先来聊聊第一点， 你们会在发布之前先内部检查吗？ SA：当然会。 我们有一套《准备框架》 （Preparedness Framework）， 说明我们该怎么做。 CA：有些人从你们的安全团队离职了。 人数有多少，为什么离职？ SA：确实有，我不知道确切数字，

17:07 显然，对于 AI 安全系统， 我们各执己见。 你可以看看我们一直以来的记录。 人们总是有各种各样的意见。 世界上 10% 的人 一直在用我们的系统。 我们为我们的安全记录 感到非常自豪。 CA：过往记录不一定是关键…… SA：它是。 CA：因为我们谈的是指数级增长力， 担心的是某天醒来就世界末日了。 所以过往记录确实不是关键， 而是我们时刻准备着 在发现危险时能够立即关闭机器。 SA：这当然很重要。 你不能某天醒来才发现： “嘿，我们还没有安全性流程。

17:52 现在模型太聪明了， 那我们来考虑一下安全问题吧。” 你在指数型增长的全程 都得考虑这个安全问题。 风险当然越来越高了， 还有重大的挑战。 但我们学习如何构建安全系统的方式， 是将它们部署到世界中， 再获取反馈的迭代过程。 尽管现在风险较低，我们已知道 这是我们必须解决的问题。 由于开始使用智能体系统， 我们有一系列需要解决的新问题。 CA：我们来聊聊智能体系统吧， 以及它和 AGI 有什么关系。 我觉得大家都比较困惑，我也是。 那么，通用人工智能（AGI）， 感觉 ChatGPT 已是通用智能。 我可以向它提出任何问题， 然后它会给出一个很智能的答案。

18:39 它为什么不是 AGI 呢？ SA：它不是…… 首先，你不能问它所有问题。 很高兴你会这么夸它， 但它在很多方面还是差得离谱。 即使我们解决了这些问题， ChatGPT 也不会持续学习、改进。 它无法在它目前不擅长的事上进步。 它不可能去发现新的科学， 从而更新自我认知。 即使我们降低要求，它也不能 完成你在电脑上做的知识性工作。 其实，即使没有自主改进的能力， 我也可以把它当作某种层面的 AGI。

19:24 但是当前的系统， 你不能对它说：“嘿， 帮我把这项工作任务做了，” 然后它就去上网点来点去， 给某人打电话， 查看你的文件，等等。 没有这种能力，总感觉少了点什么。 CA ：你们内部对 AGI 有一个明确的定义吗？ 你认为我们什么时候能实现呢？ SA：有这么个笑话， 如果你和 10 位 OpenAI 研究人员共处一室， 让他们定义 AGI， 你会得到 14 个定义。 CA：不过这很令人担忧，不是吗？ 因为一开始的使命是： “我们要率先实现 AGI， 并确保其安全性。 但我们并不清楚 AGI 的定义。” SA：我还没说完。 CA：不好意思。 SA：但我认为重要 且人们想知道的，不是

20:14 那奇妙的一瞬间：“我们搞定了。” 但接下来可能会发生的是 模型越来越智慧、越来越强大， 越来越智慧、越来越强大， 在长期的指数型增长上， 每个节点都会有人声称实现了 AGI。 但我们都认为其发展会远超那些， 要直到出现比我们强得多的系统， 随便你想怎么叫它。 重要的是我们如何应对这个系统， 让它能安全地完成所有改进步骤， 尤其在它变得比我们更强大， 能做到我们难以理解的事情的时候。 我认为比 AGI 的定义 以及何时实现更重要的是

21:01 我们都知道我们走在 这条惊人的指数型增长曲线上。 你可以说，我认为 AGI 就是这样。 你可以说，你认为 AGI 就是这样。 其他人可以说，超级智能已经来临， 但我们必须努力争取 从这个神奇的系统得到巨大的利益。 因此，我认为我们应该将话题 从什么是 AGI 时刻转移到 这样的认知：它的进程不会停止， 还会超越我们所谓的 AGI。 我们必须建立一个社会体系， 确保从该技术中获得巨大利益， 同时搞清如何保证其安全性。 CA：这周谈到过真正的变革时刻是…… AGI 是个模糊的东西， 但很显然智能体 AI……

21:49 当 AI 可以自行完成项目， 做好每一项工作…… 你其实已经有 Operator 可以做到这一点了。 我试了一下。 我想预订一家餐厅， 结果太不可思议了， 它似乎真的能搞定， 反正它是这么说的。 这过程很有意思。 它让我：“提供你的信用卡”，等等， 我是拒绝了，没有继续下去。 我认为这是人人都会面临的挑战。 它有非常强悍的超能力， 有点吓人。 约书亚·本吉奥（Yoshua Bengio） 在这里发言时说，

22:34 智能体 AI 是值得关注的问题。 如果我们允许 AI 上网完成什么事， 一切都可能会跑偏。 上网在科幻故事中， 就是逃跑的时候，也许…… 后果不堪设想。 你们如何在发布智能体 AI 的同时 又设置避免 让它太出格的防护措施？ SA：首先，你可以选择，只须说， 我不想这么做。我会打电话给餐厅， 告诉他们我的信用卡号。 CA：我可以这么选择，但有些人会说： “哦，你去看看吧， ChatGPT 都能随便上网了， 它会重塑互联网， 让人类用起来更方便。”等等。 SA：我要说的是，任何新技术，

23:21 人们都需要一段时间才能适应。 我记得我曾拒绝把信用卡放上网， 因为我父母让我坚信卡号会遭偷窃， 所以我还得填表然后打电话付费。 然后大家都意识到， 那我们做个反诈系统吧， 这样就能放心用网银了。 我认为人们在各方面 适应智能体 AI 都会很慢。 但我也非常同意你刚说的， 就算有人适应，有人不适应， AI 系统都将大量出现， 在网上点来点去。 我认为，这是我们面临的 最有意思也最重大的安全性挑战。 因为你让 AI 访问你的系统、信息， 允许它在你的电脑上点来点去， 那 AI 犯错误的时候， 代价就更高了。

24:10 它是一扇大门…… 我们之前谈到了安全和能力。 我想它们越来越趋近合二为一。 好产品一定是个安全的产品。 你根本不会用我们的智能体， 如果你不相信它们不会 清空你的银行账户、 删除你的数据或是进行其他操作。 人们想使用他们真正信任、 非常安全的智能体。 我觉得我们跨过这道坎才能进步， 这些取决于我们自身的能力。 而这些是产品的基本组成部分。 CA：在一个充满智能体的世界里， 公开模型已被广泛使用，如果有人说： “行吧，AGI， 请你上网，

24:58 尽你所能散布一张表情包， 说某某是个坏蛋，”之类的。 这不一定是个人选择。 一个人可以放出智能体， 然后由智能体决定： “为了执行这个功能， 我得四处复制我自己。” 你们内部有没有明确划定红线， 知道什么时候是危险时刻， 不能做出跨越红线的事？ SA：这就是《准备框架》的目的， 我们还会不断更新。 但我们已尝试写下我们认为 最重要的危险时刻，

25:46 或者危险类别、以及如何衡量它们， 如何在发布之前减轻危害。 从对话中我能看出你不是很喜欢 AI。 CA：恰恰相反，我每天都会用它。 我很敬畏它。 我认为活在此刻太值了。 我也只愿活在此刻， 我迫不及待想看到它的发展。 我们一直心怀…… 我觉得很有必要…… 我们不能把人们划成非黑即白。 你必须对可能性抱有坚定的信念， 但不能被它蒙蔽双眼， 因为结果可能会严重跑偏。 （掌声） SA：我完全理解。 我完全理解这种心态， 人们认为这将给世界带来巨变。

26:34 所以，也许我不想巨变来临， 也许我只喜欢巨变的一部分。 也许我喜欢和 ChatGPT 对话， 但我担心它对艺术产生的负面影响， 我担心改变的速度， 我担心智能体在网上到处乱点。 也许权衡利弊之后， 我还是不希望改变来临， 或者我希望改变来得慢一点， 或者我们能有选择性地改变、发展。 我认为，这种恐惧是完全合理的。 这种焦虑也是完全合理的。 我们其实都很焦虑。 但是…… 第一，改变的好处也很多。 显然，你每天都在用这些技术，很顺手。 第二…… 我相信社会将逐渐厘清——

27:23 虽然在进程中会犯些重大错误—— 厘清如何正确使用科技。 第三，势在必行。 这就像当年发现 如今众所周知的基础物理， 新科技将成为我们世界的一部分。 我认为这种讨论非常重要， 讨论这些危险的领域非常重要。 新的经济模式非常重要。 但我们应保持谨慎 而不是恐惧的态度迎接它， 否则就会被善于利用 AI 的人超越。 CA ：你是安全方面 最侃侃而谈的倡导者之一。 你曾在参议院作证。 你说我们应该 成立一个新的安全机构 对相关工作进行许可监管。 也就是说，对某些工作会拒绝发放许可。

28:11 你还坚持这个政策提案吗？ SA：现在我对政府运作方式更了解了， 所以不再认为这是 很合理的政策提案。 CA：那什么是合理的政策提案呢？ SA：不过，我确实认为， 随着这些系统变得越来越先进 并产生一定规模的全球影响， 我们需要一些方法， 也许公司本身为此制定合适的框架 或正确的模式，但我们需要用某种方式 让非常先进的模型接受外部安全测试。 这样，当我们接近危险地带时， 我们就可以及时知道。 我仍然坚信这一点。 CA：我觉得很讽刺的是， 也许我们想要一个安全机构， 但机构才是最不安全的。

28:58 这里用词有点奇怪，但没关系了。 SA：我想再说一点。 我确实认为， 我们需要对模型进行严格的测试， 了解整个社会最想关注的威胁， 确保随着模型能力的增强， 我们有一个系统能让 公众了解什么技术正在被推出。 我认为这真的很重要。 我们已经接近推出 涉及公众利益的模型了。 CA：山姆，我之前问你 o1-pro 推理模型，它太棒了…… SA：谢谢你的 200 美元。 CA：（笑）一个月 200 美元。 太划算了。 我问它：我能问你的 最尖锐的问题是什么？

29:46 它思考了两分钟。 两分钟。 你想看看是什么问题吗？ SA：好啊。 CA：“山姆，你在帮助创造的技术 可能会重塑我们整个物种命运， 是谁赋予了你（或任何人） 这么做的道德权威？” （笑声） “如果你错了， 你该如何承担个人责任？” SA：问题很不错。 CA：太厉害了。 SA ：在过去半小时里， 你一直在用不同方式问我这个问题。 不是吗？ （笑声和掌声） CA：我要说的是这个， 这是我对这个问题的问法。 SA：但是没有答案？ CA：你想问我什么问题？ SA：你会怎么回答这个问题？ CA：从你的角度？ SA：或者作为旁观者。

30:32 CA：我不知道。 我被你搞糊涂了。 我对你有点敬畏。 因为你打造了世界上最惊人的东西之一。 外界对你有两种说法。 第一种是你高瞻远瞩， 实现了不可能，惊世骇俗。 员工比谷歌少得多， 却做出了史无前例、极为强大的东西。 你们做的东西真是太棒了。 但另一种说法是， 你们改变了立场， 从 OpenAI （本意为“开放的 AI”）—— 这个开放的东西—— 变成了被诱惑去创造超强模型。 你们已经失去一些关键的员工。 外界有这种说法。 有些人认为在这个领域里不能信任你。 我想知道你到底是哪一种。

31:18 你如何描述自己？ 山姆，你的核心价值观是什么， 它们能给全世界带来信心， 相信你配拥有如此大的权力吗？ SA：我和所有人一样， 也是一个复杂，多层次的人， 很难一言以蔽之。 也许有些好话是真的， 也许有些批评也是对的。 就 OpenAI 而言， 我们的目标是做出 AGI 并传播它， 保证它的安全性，以造福人类。 我们在这方面做了很多工作。 显然，随着时间的推移， 我们的策略发生了变化。 我们其实不知道在成长过程中 我们会发展成什么样。 我们认为不必让公司围着这一点转。

32:04 我们已经很了解会发生些什么， 这些系统会从资本中得到什么。 但我认为， 让很多人用上 功能强大、高度安全的 AI， 为他们提供工具 成就任何他们想做的了不起的事情， 你没法否认我们做得非常棒。 我确实认为我们应该更多地开源。 我认为，出于之前说到的各种原因， 由于我们不确定这些系统将产生什么影响， 如何确保它们的安全性， 所以我们采取预防措施是合理的。 你之前提的很多问题表明 至少有些人赞同我们的运作方式。 现在我认为整个世界 都有了更好的理解，

32:50 是时候把强大的开源系统推向世界了。 如果你明年再邀请我，你可能会对我吼叫， 不高兴有人滥用这些开源系统， 你会质问：“你们为什么要这么做？ 你们不该回到开源。” 但是我们做的每一件事都有取舍。 在这场 AI 革命中， 我们只是一个参与者，一个立场， 努力尽我们所能 并以负责的方式 将这项技术推向世界。 我们肯定犯过错， 我们以后也一定会再犯错。 总的来说， 我认为在过去的近十年中—— 已经很久了—— 我们差不多已做完 打算做的事情。

33:36 前面还有很长的路要走。 未来我们的战略将发生更多的变化， 但我们会坚持这个使命和努力方向。 （掌声） CA ：你发了…… 这张《指环王》中的至尊魔戒， 你的对手—— 现在算不上你最好的朋友了—— 埃隆·马斯克说 你已经被至尊魔戒腐蚀了。 这个指控…… （笑声） SA：嗨，史蒂夫。 CA：老实说，这一指控也适用于埃隆。 但我很好奇，各位，你们……

34:21 SA：我可能会回应。我在思考。 我可能想说点什么。 （笑声） CA：每个人都在想， 我们看着科技公司 CEO 权力越来越大， 越来越有钱， 他们驾驭得了吗？ 还是太难以抗拒？ 权力和财富有时会 让人无法做出正确的判断吗？ 而你非得紧抓住那枚魔戒不放手？ 你怎么看？ 你会不会有时候 感觉到那个戒指的存在？ SA ：与其他 CEO 相比， 你觉得我的表现如何？ 他们手握大权后， 改变了自己的行为处事。 你怎么看？ （掌声） CA：你有一个体面的……

35:10 你不是一个粗鲁、愤怒的人， 不会咄咄逼人地指责他人。 SA：有时候我会这么做。 我就这么一个恶习。 （笑声） CA ：过谦了。其实我很欣赏 你的自我管理方式。 有些人会问，这是真实的你还是什么？ SA：不，我想听听反馈意见。 你提出“索伦至尊魔戒”什么的， 那我来听听你们的反馈。 你觉得由什么事可以看出 我被权力腐蚀了？ CA：我认为人们担心的是， OpenAI 转变成了营利性质， 有人就会说：“你看吧。 你被对财富的渴望腐蚀了。” 到了某一个节点 就没有任何公平可言了。

35:58 不过它会让你变得异常富有。 顺便，我个人认为这不是你的动机。 我觉得你想创造非常酷的东西。 我担心的是，看到别人这么做， 你心里会有竞争感， 就很难以合适的速度开发。 但是你告诉我， 如果你没有这么想…… 世界上很少有人 拥有你的能力和潜力， 我们不知道那是什么感觉。 是种什么样的感觉？ SA：其实，一如既往。 我认为你会逐步适应任何事情。 如果我从 10 年前穿越到现在， 一瞬间会让人摸不着头脑。 但一切都会成为新常态， 没有什么不同。

36:46 坐在这里谈论这个问题很奇怪， 但是，日复一日， 我说的是最好的情况， 就是每天都一样。 CA：你还是你。 SA：从很多角度来说，我肯定也变了， 但我自己并没感觉有什么不同。 CA：你发的这条很美，你的儿子。 你写的最后一句话是： “我从没感受过这样的爱，” 在座的各位父母都懂这种感觉， 这是抱着孩子的人类溢于言表的 生理情感，而 AI 永远不会有。 我想知道，这是否改变了 你对一些事情的看法， 比如说，有一个红色的盒子， 有一个装有红色按钮的黑盒子， 你可以按下那个按钮，

37:31 从而给你儿子一份最美妙的生活， 但也留下了 10% 毁掉他的可能性。 你会按下这个按钮吗？ SA：理论上不会。 如果问题是，我在工作中会不会这么做？ 我的答案也是不会。 有孩子改变了很多事情。 这是发生在我身上最神奇的事情， 每个人说的感受都是真的。 我的联合创始人伊利亚（Ilya） 就曾说过这么一句话。 大意如此： “我不知道人生的意义是什么， 但一定和宝宝有关。”

38:18 太对了。 它让我不愿再 在一些事上花太多时间， 与我孩子分离的代价太高了。 而我…… 我之前就很在意不能让世界毁灭。 我现在也很在意。 没有孩子我也会在意的。 （掌声） 我肯定会更多地考虑他的未来， 但我也感到有责任 为了全人类的未来尽我所能。 CA：特里斯·哈里斯（Tristan Harris） 本周在这里发表了非常有力的演讲， 他说，在他看来，关键问题是

39:05 你们和模型行业的同行都认为 先进 AI 的发展是不可避免的， 竞赛已经开始了， 你们别无选择， 只能努力赢得这场竞赛， 同时尽可能地保持负责心。 也许会出现一种局面， 你的超级智能 AI 能够遏制其他人的进程。 正因为每个人都认为 这些进程不可避免， 这种信念就会导致 重大风险和不稳定性。 你认为你们和同行 都觉得这是不可避免的吗？ 你觉得有没有办法， 让我们可以达成共识，

39:51 放慢脚步， 让整个社会都参与讨论，表达 “我们不希望发展得这么快， 太颠覆了。“ SA：首先， 我觉得人们一直都在放慢脚步， 因为技术还没有准备就绪， 因为有些东西不够安全， 因为有些东西用不了。 我认为，大家都在搁置、暂停、延缓， 不发布某些功能。 确实会有这样的情况。 这就是为什么我觉得 之前的记录很重要。 如果我们匆匆发布什么， 却出现了各种各样的问题， 要么产品不如人们的期待， 要么存在重大安全问题等等。

40:36 我之后再来谈谈我们的一个改变。 我们的大部分工作 都会有所交流，唯独一个例外。 我们所有的努力都很注重 AI 安全性。 我认为…… CA：例外是什么？ SA：我不会说的。 我们投入了很多心血去把它做好。 讽刺画简单把这描绘成疯狂的 竞赛或冲刺什么的， 其实忽略了我们想要快速推出模型， 为人们创造优质产品的其它层面。 但我们感到影响太大了……

41:23 如果你去参加 OpenAI 或其他公司的会议，你会感受到， 哦，这些人真的很在乎啊 。 我们最近确实改变了 如何看待传统安全性的某一方面。 通过我们的新图像模型， 我们为用户提供了更大的自由度， 可以自由地控制 我们传统认为的言语危害。 如果你想让模型对你恶言相向， 模型会这么做吗？ 以前我们有更严苛的防护措施。 但我认为模型对齐的一方面， 就是遵循用户的意愿， 只要不超出社会划定的广泛界限。

42:10 如果你要求模型画出大量暴力内容， 或者强化某种刻板印象， 那问题就是，它该不该这么做。 我们现在对此比较宽松。 当它开始与现实中的危害因素互动时， 我们必须弄清楚如何设定界线。 但也会有企业说，OK， 我们已经听到了社会的反馈。 人们不希望模型以他们认为 不合情理的方式审查他们。 这是一种公平的安全性的妥协。 CA：但鉴于这是一个群体共识的问题， 解决方法是让人们集中起来， 一起探讨，达成新的共识。 如果有一帮人，在世界某处，

42:58 愿意组织一场峰会， 邀请最优秀的伦理学家、技术专家， 不用太多人，小型峰会而已， 你和你的同行在此 尝试找到世界公认的安全界线， 你愿意参加吗？ 你会呼吁你的同事参加吗？ SA：当然，但我对我们 数亿用户的共同需求更感兴趣。 我认为过往有很多事情 都是在小型精英峰会上决定的。 AI 最酷的一点是我们的 AI 可以和地球上的每个人对话， 我们可以了解每个人的诉求 汇集而成的价值偏好， 而不是由社会捧出的一小撮人 坐在一起，做出决定，

43:43 我觉得这很酷。 （掌声） 你们会看到 我们在这方面更多的努力。 当我们犯错时， 由于在场的精英对人们想要 怎样的图像生成防护措施各执己见， 而不在乎人们真正的诉求， 我们又无法直指现实世界的危害， 所以我们做出了改变。 我为此感到自豪。 （掌声） CA：历史证明，数亿人的共同行为 会导致意想不到的结果。 SA：100 个人坐在一起做决定也会。 CA：但数亿人无法控制…… 他们不一定知道下一步会导致什么。 SA：我希望…… 你说得对，完全正确…… 我希望 AI 能让我们 更明智，做出更好的决策，

44:31 可以和我们对话， 如果我们说，我想要 X， 与其让舆论七嘴八舌， 不如让 AI 说， 嘿，我完全知道你想要什么。 如果说到底，这就是你想要的， 那就由你自己决定。 但你有没有从这人的角度 考虑过这个问题 或者这件事会产生什么影响？ 我认为 AI 可以让我们变得更明智， 做出比以前更好的共同治理决策。 CA：我们没时间了。 山姆，我想说最后一句。 考虑到所有因素，你觉得 你儿子长大后的世界会是什么样的？ SA：我记得…… 已经是很久以前了， 我不知道第一台 iPad 是什么时候问世的。 大概有 15 年了吧？ 我记得当时在 YouTube 上 看到一个视频，

45:16 有个小朋友坐在候诊室， 那儿有一本杂志， 那种光面的老杂志。 小朋友把手放在杂志上， 做着触屏的动作，有点生气。 对那个小朋友来说， 杂志就象是坏掉的 iPad。 她/他想象不了 一个没有触摸屏的世界。 对每位看到这情景的成年人来说， 感觉太奇妙，太新鲜了，象个奇迹。 当然，杂志就是那时世界的常态。 希望我的孩子（们） 永远不会比 AI 更聪明。 他们成长的世界 一定有非常智慧、 强大的产品和服务。

46:07 他们成长的世界 一定有善解人意的计算机， 还能帮你做 你想象到的任何事情。 这将是一个物质相当丰富的世界， 一个变化速度很快、 新事物层出不穷的世界。 这个世界里，个体的…… 能力、影响力， 远超现在个体所能达到的。 我希望我的孩子、你们的孩子， 会带着怜悯和怀旧的心情回看我们， 想着：“他们过得也太苦了，啥也没有， 以前的世界太糟糕了。“ 我觉得这就挺棒的。

46:54 （掌声） CA：你创造的东西太厉害了。 太令人咋舌了。 我认为，在接下来的几年中， 你将面临有史以来一些最大的机遇、 最大的道德挑战和最重要的决定。 请记住，在座所有人都将 为你做出正确的选择加油助威。 SA：我们会尽力的，非常感谢。 CA：感谢你来到 TED。 （掌声） 谢谢。 SA：非常感谢。