Vol.17 OpenAI 创始人 Ilya 伊利亚 的 5 个关键演讲

卷首语

每次有人问我 GPT 的本质、局限或者 OpenAI 的发展历史时，我都会强烈推荐对方去 Youtube 或者 B 站搜索 OpenAI 三个创始人（Sam Altman, Ilya Sutskever, Greg Brockman）的演讲和采访。

能听当事人本人讲的东西，就没必要找二道贩子转述。更何况，这三人的表达能力都非常出众，说话简短、精确、生动，听起来绝不会无聊。

Sam 出镜率比较高，今天先跳过，我们来推荐 Ilya 5 个演讲和访谈。这些视频对我自己启发很大，我们经常说认知决定方向和定力，也经常讲要根据实践来反馈迭代，OpenAI 一路走来的过程，是我见过的最好的、能把这两个表面矛盾道理融合讲通的案例。

每个视频，都提供了 Youtube 和 B 站版本，建议感兴趣 AI 的同学们可以都听一遍，每个人听到的故事会不一样，得到的启发也会不一样：）

AI BUSINESS

OpenAI 创始人 Ilya 伊利亚 的 5 个关键演讲

每次听 Ilya 的演讲或者采访，都会有非常多完全意料之外的启发（我这里也只列出了自己的启发片段，而不是总结他表达的主要内容）。

强烈建议自己完整听一遍，每个人的角度和获得的启发不一样。

英语 OK 的同学们尽量看 Youtube 版本，B 站版本翻译大多有点问题。

    Building AGI,

Alignment, Spies, Microsoft, & Enlightenment

• 他把 AGI 类比成现在 Tesla 的自动驾驶，看起来啥都能干了，但实际上又离 L5 还有距离

• 采访者质疑 GPT 无法有突破性的创造力，他给了一个有趣的角度——如果 GPT 能够模仿一个”有洞察力、智慧和能力的人“呢？如果我们承认 GPT 能够精确模仿和预测行为，那么当TA 模仿一个有突破性创造力的人的时候，会发生什么？

• “提出新想法”没有“理解现有想法、理解正在发生的事情、理解真正发生的潜在现象是什么、理解潜在的影响是什么、为什么我们以这种方式而不是另一种方式做事”重要。深度认同，鲁梅尔特也讲过类似的话

• AI 下一个发展点可能是可靠性和可控性，可靠性意味着信任模型的输出，可控性意味着可以控制它

   中文版：

   Youtube 原版（推荐）：

https://www./watch?v=Yf1o0TQzry8

    What's Next for 

Large Language Models (LLMs)

• GPT 的成功，来自于工程和科学的完美配合
  
  
  
  
• 最重要的是，能够把“预测”和“理解”这两个概念联系起来
• 缩放定律（Scaling Law）很重要
• 以往的研究，都会默认基于固定数据集来优化，这让人很方便比较算法，但也会把研究者的思路禁锢住——往往没想到大规模扩大训练数据集
• 各种 AI 生成能力中，编码能力很重要，因为这个能力使得 AI 可以操纵计算机
• 学习能力，有一部分就是泛化能力，泛化能力强的话，很少量学习就能解决大量问题
• 不一定要模仿生物学，而是以正确的方式受到适当启发

   中文版：

   Youtube 原版（推荐）：

https://www./watch?v=UHSkjro-VbE

    Fireside Chat 

with Ilya Sutskever and Jensen Huang

这个对话，非常清晰地表达了 Ilya 为何选择这个技术路线来探索 AGI：

• 他相信，预测下一个字符，会让模型发现数据底层的秘密
  
  
  
  
• 真正的难点不是搞数据，而是意识到预测下一个字符，是一个值得追求的目标
• 有效的数据压缩，其实就是一种有效的无监督学习

• 曾经他们用 LSTM 做亚马逊商品评论的“下一个字符预测”，过程中发现模型生成了一个神经元专门用来判断“情感”（sentiment neuron）

   中文版：

   原版（推荐）：

https://www./en-us/on-demand/session/gtcspring23-s52092/?ncid=so-yout-561702

   The Mastermind Behind 

GPT-4 and the future of AI

• 对人工智能感兴趣的初始动机，是对于人类意识的好奇
  
  

• 很重要的一个发现，就是意识到 predicting the next thing is all you need —— 做预测下一个东西的模型，可能可以通向 AGI。精准预测的前提，是深度理解。

• 规模并不能解决一切问题，首先要有一个可以受益于规模扩展的结构，另外也要精确判断要规模化（scale）哪些东西

• 不要太相信自己现在对 AI 局限性的判断，我们两年前也很确定另一些局限性，不就已经被打脸了么

• LLM 极度擅长学习，但其实并不那么擅长输出。（不知道为什么，直觉这个见解很重要）

• 多模态很好，但纯文字可能也已经包括了很多相关信息。比如颜色，如果能直接看到颜色，当然学习效率会提高很多。但如果不能看见颜色，只能通过文字学习，在理解了各种颜色在高维向量空间的关系之后，也能知道颜色之间的关系（我的理解是，甚至于比单角度“看见”的理解可能更“对”）

• 语言是一个序列，图片也是，生命也是

   中文版：

   Youtube 原版（推荐）：

https://www./watch?v=SjhIlw3Iffs&t=13s

   Inside OpenAI

• 预测下一个字，是一个可以被定义的任务。相对来说，”理解“很难被定义，所以可以考虑用”预测“替代理解（背后还是”精准预测需要深度理解“的认知）
  
  
• 意识不是一个是或者否的问题，而是一个程度问题，比如人喝醉、疲劳时意识就比较薄弱，而昆虫和人类相比，意识也比较薄弱

• 为了防止权力过度集中，我们需要开源。但如果 AI 能力过于强大（比如可以自己搞生化实验室），这时开源就不安全了。好玩的是 Ilya 认为现在还没有到他说的危险时刻，所以现在不开源更多开始从竞争角度出发

• 早期训练需要大量数据广泛训练，才能让模型正确理解问题，后来不那么需要（感觉很像人脑……其实我们是千万年进化出了人脑，后续才可以有强学习能力）

   中文版：

   Youtube 原版（推荐）：

https://www./watch?v=Wmo2vR7U9ck

待办清单

    直播一键预约