hello 大家好，我是小俊。今天我们的嘉宾是 Google DeepMind 的研究员姚顺雨。
矽谷有两个很有名的姚顺雨：一个之前在 OpenAI，后来去了腾讯出任腾讯的首席科学家，他之前也来过我们节目。那今天我邀请的是另一位姚顺雨，他此前在 Anthropic，现在在 Google DeepMind。我们从近期一系列的模型变化开始聊起。
接下来就是我对顺雨的访谈。
配合一个公司来说，他能够实现这种比较 TOP 的机制是一个很独特的事，这对于其他模型公司很难吗？ 很难。比如说 OpenAI 就干不了，就是咱们也比较难。大公司和 startup 的打法本来就不一样，因为 startup 重要的是「make bet」，就是我得赌一件事。
嗯，我觉得大家现在就是每个人都是冲浪的人，本质上是在冲那个浪啊。AI 这个事本来也不太需要脑子——不太需要脑子，真的不太需要脑子。需要什么？我觉得这个行业最重要的特质就是「C」，就是做事，然后对自己做的事负责任。
矽谷不是有两个姚顺雨吗？你要不要先给大家介绍一下你自己，然后给大家科普一下两个姚顺雨的区别啊？ 可以。我叫姚顺雨，然后显然也有一个跟我几乎同名的朋友。我们俩主要履历也有一些 overlap，所以说可能看起来非常难以区分。
我以前是做学物理的，本科的时候在清华，那时候做态理论，后来去斯坦福做理论高能物理，然后和量子信息、黑洞相关的那些方面。离开斯坦福之后去伯克利短暂地待了两个星期的 postdoc 博后，然后就离职了，去了 Anthropic。在 Anthropic 待了一年，去年 9 月底、10 月初的时候加入了 Google DeepMind。
如果大家非要区分的话，我觉得最大的区分就是那个顺雨一开始就是一直都在做 CS（计算机相关的），而我其实某种意义上来说是个半道出家的，之前是以理论物理为主的。
你们是不是好朋友？你们好像大学就认识，而且是一级的对吧？ 对对，我们本科就认识，因为我们本科是一级的，都在清华。但他一开始就是学计算机的嘛，所以他在姚班（计算机科学实验班），然后我在基科班。后来他去了普林斯顿，我去了斯坦福，这可能也是另一个有点令人费解的点——好像这个普世世界里觉得斯坦福应该是学计算机的人该去的地方，然后觉得普林斯顿是学物理的人该去的地方，但我俩反过来了。所以说也可能产生了一些费解的事情。
我们俩其实也真的挺不一样的。我觉得他是一个比我有趣得多的人，我从他身上过去也能学习到一些很不一样的点。比如说他可能花了很多时间去思考，比如在 AI 方面，他花了很多时间去思考人和 AI 的交互，然后包括一些产品上的事情。我觉得对我来说是一个很不一样的朋友，我也从他那学到了很多东西。
你们之前在矽谷的时候多久见一次面啊？你们现在是不是还频繁打电话？ 呃，我们在矽谷的时候见面确实挺频繁的，可能每几个星期吧。但是好像见面主要是为了凑一块玩玩啥？就是真的纯玩，可能出去散散步、车车（开车兜风）有的没的，然后可能有时候吃个饭、打个牌啊之类的。
他回去之后，我们也还是经常会打电话。最近一次电话聊了好像就是前一两个星期啊。
你怎么知道的？ 呃，可能就是会过几个月，然后就问一下大家最近的情况吧。
那是不是多次想把你拉过去？
呃，可能有这个意思吧。但是，但是我觉得不关键——不关键你为什么不去？我觉得对我自己来说，我没想清楚吧。嗯，我觉得多半是我自己的原因。然后，呃，我也没有去任何，呃，中国的地方。然后我觉得主要原因是因为在去年的九月或者八、九月这个时候，我觉得那时候我离开 NSORFIC。离开之后决定要去哪的时候，最大的动机是我想学一些不一样的东西。对我来说，可能就没有去考虑，没有更著重地去考虑说能够——我去领导一个项目或者领导一个 project 之类的。我更多的是那个时候优先去学习一些东西，所以那个时候选择去。
我发现你们两个老被放在一些比较和讨论中。对你来说是困扰更多，还是享受更多？我没什么感觉。然后因为我这个人也不太关注社交媒体，所以我其实真的没什么感。嗯嗯。
因为那个，剩下的他在去年的时候说 AI 进入了 the second half，进入了下半场，这个成为了一个非常有名的观点。你觉得今天的 AI 在一个什么样的时期？你能给他一个定义吗？
对我来说，我可能看得没有那么清楚什么叫做上半场，什么叫做下半场，或者说这个定义一直以来对我并不是特别清楚。对我来说，确实现在 AI 进入到了一个阶段，就是我觉得大家都已经开始不那么担心一件事——不是能够做得到，而是担心这件事是不是被良好定义。我觉得这是一个很大的区别。比如说，我觉得一年之前，就是可能去年年初的时候，那时候我在 SB，然后大家可能担心的事情还是说 OpenAI 这个 reason 做得这么强，我们有没有机会能够追上，然后有多大的机会能够超越他。大家还很担心这个事。我觉得现在，就是在任何——至少在 JNOI 和这三家当中，我觉得没有哪一家会真的担心自己追不上。
嗯，然后我觉得可能现在对这些大厂，大家更难的事情是想明白要去做什么。这个是一个——我觉得是一个 bet，但是也是我觉得也是一个很需要人的 insight 的事情。对，那这也意味著模型的能力被拉平了，对不对？
它变得同质化，被商品化了。所以模型之间没有很大的区别，就是在好坏上没有很大的区别。但是它需要分化——嗯，我觉得从用户的实际体验上来说，这三家的模型是能够感受到区别的。但是，难的一点是，过去这个区别在纸面上也能看出来。在纸面上（指的是一些公开的测量标准，比如像 Benchmark 这种测评规范），比如说大家以前能够去看 SWE-bench、HumanEval，然后可能数学方面会比较简单一点的 GSM8K，难一点的像 MATH。那个时候感觉就是，你从纸面上就能看出来：这个模型好像 reasoning 强一点，那个模型好像 coding 强一点，那个模型某方面强一点。
现在，现在就是在纸面上大家其实都比较相近。然后你去看那些指标上的消息，比如看 SWE-bench，你会发现好的会比不好的可能高一个百分点或者两个百分点，但其实大家都在 80% 附近，数字高一点低一点其实主要是 noise（噪声），而不是 signal（信号）。但是从另一方面来说，大家在使用上确实还是能体现出区别的。
我觉得就我个人了解到的信息，Claude 目前仍然是在比较通用的工具使用类，比如 agent 表现最好的；然后在纯粹 coding 的方面，可能最近 Codex 稍微追上了一点，把这个差距缩小了一点；而 Gemini 可能在纯 reasoning 和一些比较日常的使用场景下，目前还是比较好的。然后在 coding 和 agent 上，还处于一个比较接近的状态。
对于这些能力，他们是有意选择优先发展哪个方向，还是说好和坏的区别就是能力问题还是意愿问题？
我觉得其实是有意愿的成分在的，尤其是在过去的情况下。主要是医院——就是当大家能从表面上就看出区别的时候，那时候医院肯定是占大多数的。因为可能像 Cloud 一直更看重这种使用工具的能力，嗯，然后包括 coding，那可能 OPI 有一段时间非常看重 coding，当然现在也开始看重 coding 了。那时候肯定是医院会占大多数，因为你花——你更有意愿的话，就意味著你能花更多的精力去构建合适的基础设施、合适的架构、合适的数据。然后尤其是数据，它是一个从某种程度上来说很花时间、很花精力的事情。所以说，那个时候肯定是一专注的。但是到现在这个时候呢，我觉得两方面其实都有，因为其实表面上都看起来差不多，然后甚至你做一些更内部的测试来说，这个数字也都变得差别没有那么大了。然后这时候更难的事情就是，你该怎么去定义你的问题、定义你想要的行为，嗯嗯。然后在这个事情没有定义得那么清楚的时候，模型的很多差异其实来自于一些——其实是你想像不到的事。对，「想像不到的」指的是——呃，我觉得当然「想像不到的事」就是，你现在去问，其实我很难给你一个特别清楚的答案，可能过一段时间之后回过头来看，我才能给一个清楚的答案。但是我可以举一个——呃，想像不到的例子，就是比如说，比如说退回往回退，可能一两年、甚至三年的时候，那时候如果你比如说去网上取这些预训练的数据的话，你可能宣称模型就会发现，模型在写代码的时候——当然没有这种 A（这个）的写代码，它都是写一段代码。那时候你会发现模型写代码写得很好，但是可能那时候大家不知道为什么。但是这个里面意外的原因可能就是，你从网上随便去——如果不做任何的数据筛选的话，自然的这个 code data 的质量就会比别的高一点，因为你去看网页，你会发现 GitHub 的质量是显著比别的正常网页要高的。
在进入我们今天主题之前，我想先聊聊我们最近模型的一系列的静文。就是你看最近大家都在讨论 Open Cloud，嗯嗯。你作为一线的研究员，你对这个新的产品形态是怎么看的？你周围有哪些讨论？我觉得有趣的是，我感觉这个事情在业外的讨论好像比业内的讨论更激烈。哦，业内没有人讨论？呃，业内有人讨论，但是我觉得对内的人来说，他并不是一个——嗯，特别令人惊讶的事。我怎么说呢，就是可能在公司内部也有人已经做了类似的这种实验或者这种 demo，只是可能并没有作为一个产品去很认真地宣发，然后把它打磨然后发出去。对对。然后实际情况就是，你去看这个 Open Cloud 最早版本的 GitHub 上的那个 code，其实那个 code 从某种程度上来说写得也不是特别干净，但是我觉得它很重要的事是，它给大家展示了这种可能性。嗯，那可能展示这种可能性之后，未来像 OpenAI 作者自己也加入了，然后那可能就是这些模型的实验室或者说一些大一点的创业公司会很快跟上，然后把这个东西打磨成一个真正可用的产品。嗯对。所以我理解，其实在 Open Cloud 发布之前，Google 就已经有人在做这个事情了，只是还没有发布，因为大公司的流程比较长。对，我的——我至少我个人所得到的印象是这样的，所看到的是这样。所以这种「lay open cloud」这种产品，它背后本身说明了什么？
在今年初的这个时间点上，我觉得其实——技术上来说——并不能说明什么。就是说，这个产品当然依赖于模型能做的很多事情，但是那些事情的能力其实并不是到今年初才准备充足。我觉得可能在去年，比如 Opus 发布 4.5 的时候，那时候 OP 其实在能力上比 OpenAI 的 GPT-3.5 都要强一些。所以我觉得在那个时间点，你做这件事就已经可以展示出来了。然后其实它一开始发布也没有立即火起来，而是过了一段时间才活跃起来。
所以说，我觉得对我来说，技术上它并不是一个那么令人惊讶的事情，它是模型能力的自然延伸。对对对，我会这样觉得。但是我觉得它可能带给大家的惊喜是：以前可能大家都没有意识到——嗯，它让大家意识到了这件事可以做，意识到什么？就是意识到你可以让模型做很多事情，也就是你可以控制很多不同的模型，然后做很多不一样的事情，再把这些事情汇总之后，做一个很长、很长、很长时间跨度的工作。我觉得以前大家并没有广泛地对这个形成社会共识。而这件事情给大家展示了这样一种可能。
你看，从去年火的是 Midjourney，今年火的是 Open Interpreter（假设 “open cloud” 指代此处）——从 Midjourney 到 Open Interpreter，变化是什么？是模型能力的变化，还是产品的变化？这也是一个我其实一直没有理解清楚的事情。嗯，就是 Midjourney 和 Open Interpreter 之间的本质区别是什么？这是一个我自己也没有完全看明白的事情，说实话。
或者换句话说，可能 Open Interpreter 这件事火了，但是如果你要回头问我说：「为什么 Midjourney 做不了这个？」我不明白 Midjourney 为什么做不了。嗯，可能只是它没有去做。但是你看，不管是 Midjourney 还是 Open Interpreter，他们最后都选择了「卖身」——Midjourney 卖给了微软，Open Interpreter 卖给了 OpenAI。这个现象说明什么呢？为什么他们都卖了？我觉得我自己的感受是：一个东西如果要长久地生存，还是需要考虑一些壁垒的。壁垒是模型吗？我觉得至少目前来说，很多壁垒都是在模型层面。但是未来会不会产生产品侧的壁垒？我觉得还说不定。因为大家在市场上讨论的都是老生常谈的话题，比如很多人会谈论什么数据飞轮之类的事情。目前来说，我觉得没有哪一个场景真正形成了数据飞轮，甚至 AI 纯粹原生的应用场景。我觉得目前除了写代码（ent coding）之外，没有哪个场景是 AI 真正原生的场景，并变得非常成功。
因为从某种意义上来说，ChatGPT 其实是搜索的一个延伸。Chat 是搜索的延伸，它为什么不是独立于搜索的？因为你想，大家和 Chat 最多的交互是：「我有一个问题，就问这个。」然后这个其实是搜索本来就该做的事情。但是它带来的比搜索要强得多的一点是：它变得非常互动（interactive），就是它有交互性，你可以追问，然后它甚至可以帮你总结出一些通过它获取的信息，帮你把它压缩、浓缩成回答你问题的那个信息。这是以前搜索给不了你的。嗯对，但它当然不是完全一样的需求，但是从需求的大方向上来说，是比较类似于搜索之前的需求。
Midjourney 和 Open Interpreter 我觉得都是现在最有名的，但是最后都卖给了模型公司。这是不是说明壳（产品层）还是难以逃脱模型的掌控？这个迭代速度不够快，是不是？
我觉得在目前这个情况下，活下来大概有两种我能想像的方式。
第一种想像的方式就是像你刚刚说的：「逃得够快」——就是我增长速度足够快，以至于在模型公司反应过来的时候，我其实已经占领了大量的用户资源。然后，在模型公司追赶你产品形态的时候，我又自己研发出了自己的模型。我觉得 Cursor 就是在走这条路。嗯，Cursor 其实在这种 AI 原生场景下，几乎是我能想到的创业公司里增长最快的了。嗯，就算这样的公司，他现在也很有危机感。他有多有危机感？呃，反正我的感觉是，对 Cursor 来说，现在和模型公司已经进入了一个非常微妙的关系。就是曾经他们是亲密无间的合作伙伴，提供模型，Cursor 做产品。后来 Cursor 有了自己的 Code Interpreter，现在变得非常成功，然后模型公司又自己试图做自己的模型。所以 Cursor 在努力地选择如何应对。所以说，我觉得都不用说未来了，其实现在他们就已经处于一种比较竞争的关系了。
那如果在竞争中落后的话，我觉得是比较麻烦的。因为代码这个事情，Cursor 这个事情，其实本质上是一种服务于专业用户的专业需求，是一种效率工具。效率工具很容易出现的一个场景也就是「赢家通吃」。我觉得这个不管对 Cursor 还是对其他做 Coding 工具的公司来说，可能都是他们比较担心的事。嗯，对。
然后这是刚刚说的第一条路，就是你长得够快，你在别人还没想吃掉你的时候就疯狂增长，等他想吃你的时候，你已经足够大了。
另一种方式就是这个市场足够小，小到公司根本懒得去管。我觉得 MidJourney 就是这样一个例子。嗯，就是这个市场小到可能虽然你说咱们努力一把，能不能做出竞争？那个事情可能花一些精力、花一些钱、花一些数据是能做到的，但是足够小，以至于可能他们就不太会在那上面花时间了，看不上。对，我觉得那可能也是一种活下去的方式。
所以哪怕是今天，也没有谁成功逃逸出模型公司的手掌心。有谁成功逃逸了吗？目前我觉得大的还没看到，小的可能像 MidJourney 这个例子。当然肯定有别的例子，只是我还没看到。对，小的我觉得会有例子。Replit 算吗？呃，我觉得他们有机会，他们有机会。反正就是不能做那种通用的场景。我觉得这是创业者自己要决定的事情，就是你要不要抱著万分之一的生存机率去赌一把大的，还是抱著百分之一的生存机率去先吃一个小的事情。
如果是你，你会怎么选？如果是我，我内心肯定是想吃一瓢大的。但是，呃，真诚地说，我觉得第一步是不能一步登天的。所以如果是我，我会选择先吃一个小的，但是我会选择一个有想像空间的小的。
你说 OpenAI 为什么要收购 Opal Cloud？他为什么要收购 Minus？Google 为什么谁也不收？Google 也收了，Google 买了 Winsurf 的人，OK，Windsurf，OK。呃，我不理解什么叫「你不理解」？说实话，我觉得 Meta 买 Mus 这个事，我觉得对他们来说，最大的用处——如果抛开花了多少钱之外——最大的用处是获得了一批很好的在亚洲的产品团队。在亚洲说明什么？
因为我觉得一方面，显然大家都知道中国的 AI 人才储备还是非常丰富的。虽然目前从纯技术层面来说，中国的 AI 还没有真正追上美国，但是显然中国有很多优秀的人才，不管是从技术上还是从产品上。我觉得可能中国在本质上的人才素质是比美国更好的。
所以对他来说，我觉得 M 斯（Mus）成为了他在新加坡的一个「毛点」（焦点），他可以从那里吸引一些人才，比如从中国、新加坡或者东亚的。然后，嗯，我其实没有特别看明白这个产品本身对 MYA 来说有多重要，或者换句话说，就是为什么 MA 不能自己做这个产品？但是不管是 Mus 还是 OpenCloud，它事实上就是诞生于外部的团队。为什么不是矽谷的这一帮研究员做出来的呢？有没有反思过这个问题？
对，我觉得对对对。对我来说，这个问题其实，嗯，我觉得一个公司一旦变大了之后，它的负担就会变得很重。比如说，作为一个研究员，我们可以做一些看起来很有趣、很有特点的产品，但是一旦把这个产品公开给公众，需要负责的事情就非常多了。
第一，你的产品不可能一上线就告诉所有用户：「你得再去买一台电脑来做这件事，否则它就有可能会获得你电脑上所有的权限，然后把你的系统搞崩。」嗯，作为一个大公司来说，你不可能这么做。Google 是不可能提供这样的产品出去的，对吧？嗯，所以你的产品要花很多时间打磨，然后你要确认法律上没有风险，用户使用时又不会损害自己的品牌。而且，如果你把它送出去了，可能还要提供比较固定的资源去维护（serve）这个模型或者这条产品线。所以对大公司来说，我觉得还是有挺多负担的。
但是对于个人来说就无所谓了，就是：「我反正是一个开源的项目，我带马拉基又如何？你来一起写吧，对吧？」对。但是我觉得不管是 Mus 还是 OpenCloud，它其实指向了一个方向，就是可能这也是 2026 年的某种趋势的可能性。
嗯，你对 2026 年怎么思考和预期的？嗯，我觉得其实有太多的可能性。然后对我来说，从模型能力上来说，我觉得，嗯，模型有时候我特别说这个口号，就是：「我觉得模型做到『T with finite context used as infinite context』。」换句话说，就是你用有限的 context length 去训练它，但是它可以在使用的时候用非常非常长，甚至接近于无限的 context。我觉得这件事今年是有机会能够实现的。然后这件事情实现之后，我觉得会解锁很多新的应用，也会因为——举一个最简单的例子——就是你有可能可以让这个模型跟你持续地交互，然后持续地获取你的信息。它在运行的过程中会持续地根据当前的场景和你的行为，可能把那些它觉得不重要的信息扔掉，然后就成了大家梦想中的个人助手。
我觉得从技术上来说，这件事今年无论如何会实现。但是当然，我觉得现在大家没有达成共识的是技术上怎么去实现这件事。嗯，嗯，现在有很多技术路线，但是我觉得更多的是在尝试哪条路线能够跑通。同时可能有好几条路线都能跑通，那我们到时候就要在实验上去测试，在用户常用的使用场景下，哪条路线的效率是最高的。我觉得现在更多处于这个阶段，而不是说大家没有想法的结论。就是大家有想法，但是要确定哪个想法是最后的方案。
站在 2026 年的 Q1，作为一线的研究员，你觉得模型的进步速度在放缓吗？
我觉得完全没有——完全没有——我觉得完全没有。它的速度曲线对比 25 年、24 年的变化是什么？呃，这个很难量化地说，因为就是你得给一个标准，我才能量化地告诉你。因为如果你给的标准是，比如说，我就看在某一个 benchmark 上，比如说随便一个尺度上，它每一个月涨多少个点，那这个事肯定会变慢的，因为根据定义，这个 metric 最高就到 100，所以你越接近那个值，肯定是越跑得越慢。
嗯，但是这可能并不代表用户体验或这个模型的能力增长。因为可能从 50% 到 60%，它可能感觉好了一点；但很有可能，比如说从 70% 到 75%，它反而比 50% 到 60% 那个还要好得多。嗯，这是完全有可能的。如果是 80% 到 90%、90% 到 100%，这个感受会更显著。那也不一定，因为可能过了某个点——比如到 80% 到 90%——用了之后就发现没有任何区别，甚至还变差了。
你说「完全没有变慢」是基于什么标准？我觉得是基于我个人作为一个研究员的感觉，就是我个人得到的感受是：这个模型学东西的能力越来越强了。以前可能让模型学会干一件事情需要动很多脑筋，但现在可能不需要动那么多脑筋了。
最重要的事是，你要把这个问题定义清楚，然后想清楚怎么去构建合适的数据。当数据现在变得更广（比如环境之类的也都包括在内了），然后剩下的事情好像很多时候是瞬间的了。
对学习能力变强是为什么呀？ 模型的学习能力变强，我觉得可能一方面原因很多，但我觉得可能一方面也是因为预训练（pre-training）其实在过去的几个月里，我觉得还是越来越强了的。
预训练？ 对，模型的预训练其实在过去几个月里还是变强了。嗯，我觉得这个可能是一个——呃——从某种意义上来说比较有争议的事。因为几个月以前，我觉得就是很多人已经在讨论预训练的这个 scaling law 是不是已经到头了。嗯，我的体验是没有，而且我的感觉是在未来的四个月也没有看到到头的迹象。
觉得到头的是为什么呢？ 我觉得……嗯，我显然不知道大家觉得到头的原因是什么，因为我自己没觉到到头。但是我的猜测是：一个人觉得一个规律到头了，无非有两种情况： 1. 一种情况是他觉得这个规律的适用范围到头了，就可能从根本上讲，scaling law 就是没有办法无穷延展下去的。这个维持有可能是对的，但这是一种猜测，就是这个人可能觉得这个规律范围到头了。 2. 另一种可能是这个人觉得这个规律其中的一个条件不能满足了。比如说，他觉得数据就已经撞上墙了，那我完全没有办法把它延续下去了。
但其实还有第三种可能性：第三种可能性就是，其实嗯……他这个工作哪里有一个 bug，他自己没发现，所以他觉得到头了。
哦，对。我觉得从我的观点、从我的观感上来说呢，我觉得可能绝大多数强的人是因为第三种——是有 bug。
是哪种 bug？ 我觉得 bug 是有很多种可能性的。比如说： - 一种可能性是你做的时候一些科学的假设没有做对。比如说，你选什么样的模型大小、选什么样的期待的训练数据量，然后这个数据量是从哪里选，有可能是这些比较科学的选择没有选清楚，这是一种可能性。 - 但我觉得还有一种可能性就是纯粹的 bug。这个其实在业界我觉得也不惊讶，很多时候修好一个 bug 带来的精进是远大于一些很神奇的技巧的。
对哦。然后呃……大家还有另外的情况，我觉得我就举了这两种例子，反正都是我见到过比较多的情况。
那你们的 bug 怎么办？你们怎么解决 bug 问题的？
我觉得这更像是一个信念的问题。因为当你遇到一个 bug，你觉得它不能解除时，就会说「这个到头了」；但当你遇到一个 bug，觉得「哦，这个肯定可以解决」时，就会觉得「这还没有到头」。因为肯定每个人都会遇到 bug。
我觉得……呃，这可能就是其中一些比较鲜明的东西。但对我来说，更重要的一件事是：当你一件一件事情和你预测的不一样时，你能不能系统性地排除各种可能性？这个我觉得是一个很重要的事。这也是我觉得我们和其他团队（比如桃）相比，尤其在预训练上吧，就是说，当某一个尺度上的行为可能和你想像中不一样的时候，大家能够去设计合理的——我们所谓的 application——合理的这种实验，能够看出来测试你的一些想像中的可能因素是不是真的因素。我觉得这个做法作为你的系统性才是关键。
嗯，对。你觉得模型能力还能提高，那它的驱动力——数据、算法——你觉得它的驱动力主要来源于哪个？
呃，我觉得其实都有，但是从某种意义上来说，数据和算例其实是很强关联的一件事。数据和算力……嗯对，因为你算力上去了，自然就会需要更多的数据；数据上去了，你就自然需要更多的算力。然后算法上来说，我觉得算法的作用往往是有一个相变的，就是算法有一个阶段是你完全没有搞清楚该怎么做。那个阶段，算法会非常非常关键，因为你完全没有搞清楚怎么做的时候，你可能就完全没有办法 skill up，嗯，然后可能就卡在那了。但是在某一个点，你可能发现了算法当中最重要的这件事，它可能一下就从「完全不能做」变成了「能做」。然后之后算法的提升，更多的是一种比较平滑的提升，就是它可能从某个程度上提高了你的计算效率。
我觉得举例来说，比如从语言模型的预训练来说，那可能这个算法上的跳跃过程就是发现——就是发展出 transformer 这件事情。但发现之后，更多的都是慢慢——就是平滑地让它的效率，或者你使用算力的效率变得越来越高了。对，所以现在的驱动力是算力和数据。我觉得在现在比较清晰的框架里面，主要的驱动力是算力和数据。
「清晰框架」是指，比如说预训练和后训练，不管是基于强化学习的后训练，还是基于监督学习的后训练。在这两个比较清晰的 paradigm 下，确实算力和数据是主要的驱动力。但是不可否认，可能有别的方向，可能驱动力是什么意思？
举个简单例子，比如说多模态生成。嗯，那个我觉得可能就是一个算法上来说还没有太想清楚的事，所以那个还是一个科学问题，还没有解决。但是语言已经不是科学问题了。呃，自然语言的生成，我觉得目前这条技术方案撞到头之前，在科学上是比较清楚的，但是工程上还有很多很多要做的事。
嗯，你觉得通过预训练提升模型能力，还有多少、多长的路可以走？可以预期到吗？
就是这样，就是当你没有撞到头的时候，你其实不知道这个路有多长。我能看到的就是现在还没撞到头，但我也不知道哪天会撞到头。如果真的让我去估计一个时间线的话，就像刚才说的，我觉得接下来四个月还是会继续，但是 AI 这个方向没有人能预测四个月之后的事。
嗯，所以过去几个月，你在看预训练和模型能力的时候，你还是很兴奋的？
嗯，这是你周围的普遍心态和状态吗？我觉得是的，我觉得是的。这是在 Google 的一个小环境里面，还是说在整个矽谷的环境里面？
我觉得很难说在整个矽谷——因为矽谷是个太大的「衣服」，可能做产品的人对产品很兴奋，对吧？对做产品的人来说，他们最兴奋的可能有无分轩轾。但是对做模型的人来说，可能我们会对这种模型的进展更、更兴奋一些。
对我来说，对于做模型的人来说，兴奋是一个共识吗？在过去四个月，我个人认为是的。哦，我个人认为是的。至少在我能接触到的范围内，我觉得在和 Google、大家们来——大家可能想得更多的是：我们的 AI 会不断进展下去，很快我们就要被替代掉。替代掉之后，我们该干点啥？而不是「模型撞到头了该怎么办」这个问题啊。
为什么在过去几个月，coding 的发展速度是最快的？为什么是这个场景啊？我觉得 coding 这个场景，首先，coding 这件事在过去几个月发展最快。我觉得 coding 这件事，其实从 Cloud 3.5（外界有人管这个叫 C 3.6）之后，一直都处于高速发展的状态。嗯，然后我觉得那个是去年初还是前年底？那个是前年 10 月份。前年 10 月份，OK 对对。嗯，应该是 10 月份，有可能 10 月份或者差不多那时候。从那之后，我觉得一直都属于高速发展的状态。
我觉得 coding 这个场景有两个最大的优势： 第一个优势就是它的 feedback signal，就是它的回馈信号是很好定义的。因为比如说，你去——比如说像 software engineer 这种 task，有时候经常情况就是：我需要写一个 code 实现一个 feature，一个特征。这个特征需要的是某些输入，会得到某些输出。这就是一个很容易能够测试的事情。所以它的回馈信号非常清晰：你输入和这个输出能够对上，就说明你的实现是成功的；不对，就说明不成功。但这只是一个例子，就是在这种和写 code 相关的领域里面，有很多很多这样良好定义的情况。
然后另一个比较大的优势是 coding 的数据，有一个非常天然的基础。嗯，这个基础就是 GitHub。GitHub 上汇聚了过去几个 decade、几十年很多很多优秀的程序员所写的代码。嗯，然后从那些代码出发，是可以构建出非常、非常、非常多的环境。我觉得这两件事，从模型的角度上来说，是为什么 coding 可以做得很好的原因。
当然，我觉得从产品上来说，还有另外一方面的原因：coding 这个产品的使用需求，从某种程度上说是比较统一的。它不像你去做一个像社交软件或者游戏，可能每一个人都有不一样的品味，然后你可能很难——就是能够满足每个人的需求，那可能就是需要推荐算法。但是 coding 这件事好的地方在于：优秀的程序员写代码，其实风格是比较类似的。什么风格？简单来说，就是好的代码是不脏的，是有一些共同的标准的。比如说，像你说的——结构清楚，是未来的开发，然后有合理的抽象。当然还有别的很多很多标准，但是我觉得好的程序员往往是有比较共识的标准的。对这件事来说，所以这件事从产品上来说，其实让 coding 这个产品变得更简单。
那你现在的工作会用 code 写代码，它能帮你提高工作多少倍啊？
你问了一个「我差点会不会开除我」Google不能用的哦。好的，对，就是我觉得对我来说，一个保守的估计可能90%的code是模型产生的。但是，可能就是我需要花很多时间去看这个code是不是写得合适、写得合理，是不是真的符合我想让它写的内容。
然后我觉得，有了AI辅助工具之后，可能写code这件事最重要的地方变成了：你怎么去设计、你怎么去设计你这个code的逻辑，然后它需要和哪些文件相关联，需要做哪些事情。然后你需要给这个模型可能一些合理的上下文（context），比如说这个code你可以做一个reference去参考一下。
对，真正去输出code的部分，我觉得模型比人的能力强太多了。所以说，对我来说，你要实际去数有多少行code是我自己手写的，有多少行是模型写的——我觉得保守估计模型写的超过90%，不保守的话可能就是99%甚至100%。剩下的10%是它不能写，还是为什么你没有让它写？嗯，保守估计90%给自己留点面子，我觉得它不能写而我能写的部分已经越来越少、越来越少、越来越少了。
过去可能是什么样的情况？我觉得很早的时候，可能在一年半以前，那个时候市面上其实说白了就只有Copilot（CL）一家能够真的写这种软件工程的code。嗯，那个时候还是能体会到很多很多缺陷的，比如说它有时候写code就只关注这一个文件，不会很关注多个文件之间的关联。然后如果一个class的定义其实藏在很多层之后，或者说它没有直接被套用在这个直接的结构里面，可能这个模型就找不著。
现在我觉得这个问题已经越来越少了，真的越来越少了。你作为一个researcher，你的写程序的工作量能够达到过去的多少倍？因为从写code的角度来说比较难量化，但是如果从做实验、实现一些idea的效率上来说，我觉得可能比起一年甚至一年半以前，都是20甚至50倍的加速。因为现在模型真的变得很厉害，就是你可以同时开好几个，然后好几个idea同时去试。甚至有些时候模型可以帮你监控一些实验、监控一些结果之类的，所以还是真的有一个挺大的效率提升。
但是，如果从个人工作时间上来说，我觉得它好像让我工作时间变更长了，这是为什么？就是因为开发的速度变快了之后，就越试越想试，有越来越多的想法要去尝试。所以感觉以前你可能会遇到一个东西，觉得这个文件以前没见过，自己看不太明白，你要花时间去找那个人、约那个人，可能就要花几个小时。现在就不是了，你看到这个文件不懂，拿去问一下Copilot或者我们来问，可能五秒钟就告诉你结果，你就接著干了。
所以从工作时间上来说，我觉得好像工作时间反而变长了，而且工作的密度也变高了。
「Google已经不是那个Google了，是吗？」 不是那个可以养老的Google，不是那个work-life balance的Google了。我觉得在AI这个领域，没有人可以养老。所以你现在早几玩啊？ 我一般可能早上九点钟开始，然后晚上到公司吗？
九点——我早上九点钟回来。可能先起来看一下邮件，然后看一下我前天晚上的实验，然后到公司，一般十点左右。然后晚上，如果我一个人在美国的时候，我可能就会待到十点、十一点这样。当然，如果我家人在——我老婆在的话，我可能就会早一点回家。但在家里反正也是一样。
我觉得这个「战场」、这个领域，没有谁是在躺著的，除非就是你已经完全对技术没有兴趣了，对自己没有追求了。嗯，那你躺著其实也没有人管你。嗯，但是我觉得大家还是比较「self-driven」，就是还是自己想干。
你觉得其他领域会出现更多这样的「cloud code」的时刻吗？Coding 之后会在哪里爆发？
你问了一个好问题。我要是看清楚了，我可能已经出去创业了。但是，但是确实就是，除了 coding 之外，我们已经能看到，就是对很多别的方向已经产生大的影响。但只说那些方向可能并不是一个好的、这种市场上的方向。比如说，好多现在做基础科学的研究，比如做数学啊、做理论物理，好多人其实已经大量地使用 AI 工具。因为过去你可能——像我们做 AI 研究，其实很像，就是说，你可能想到一个想法，你想跑一个数值。学物理的人又不是很会写 code，光是弄明白怎么打开这个编译器、把 code 跑起来，可能半天已经过去了。现在就没有这个烦恼了，就是你现在想试，五分钟之后 code 写完了，你就可以开始了。
对，然后甚至像 Jupyter（Jupyter Notebook）发布之后，有很多基础科学的研究人员就把这种，比如说数学推导啊、数学证明啊，然后甚至就是去看这些不同的文章，然后归纳这些事，全都交给模型了。所以说，已经——我觉得对除了 coding 之外的方向产生了影响。当然，就是那些基础研究，你可能很难变成一个万众瞩目的事情，嗯，除非你真的发现了一个以前人都没发现的、很妙的理论，是吧？比如 AI 产生了「统一场论」这样级别的东西，那可能会变成众瞩目。但那个时刻可能还没到来，但是影响是已经在了。
哇，AI 好神奇啊！他为什么首先上来做的都是人类觉得最难的那部分工作？我觉得这是一个特别好的问题。就是，我觉得过去的——嗯，在我人生的阶段里，大家往往会觉得最智力上有挑战的工作，反而是那些比较理性的事情、比较客观的事情。嗯，比如说数学、比如说写代码、比如说 AI 研究，嗯，还有科学研究。对，就是越是这些事，其实 AI 越容易做好。因为你一旦想清楚这个事怎么去评价，你就知道怎么训练。
那人为什么比较难呢？我觉得你看，人都是智力分配最高的那部分人在做这些工作，对。但是可能未来就不是这样了。未来会怎么样？我觉得未来其实会发生一个改变，就是那些 AI 就是——有很多 AI 其实没有那么容易做，但是反而是人可能做得比较好的。比如说做产品。我说实话，觉得做好一个好的产品经理，是一个我现在想不明白该怎么训练 AI 去做的事。这是为什么？因为没有标准，没有标准，就是刻度什么叫做一个好的产品？我其实想不太明白，没有一个很完整的标准。你一定是做出来之后给人用了，你才知道他好，大家才会说他好。对，我觉得那个就是一个回馈信号很不明确的事，那个我就不知道该怎么去训练 AI 做。
对程序员什么时候会被彻底取代吗？会有这一天吗？
嗯，我觉得这一天会来，但是它不会是一瞬间的来。就不会是程序员都还在，过了一个晚上，第二天程序员全被开除了，不会是这样的。它一定会是一个渐进的过程，但是大家现在已经看到这个渐进的过程，因为有些公司已经开始裁员了。
对我来说，从某种意义上来讲，AI当然是一个很好的东西，但从另一种角度来说，它可能也是一个很不幸的事。就是AI是一个很centralized的technology，它会让少部分人变得更强，但会让大部分人失去他们的独特价值。所以说，我觉得对于传统的软件工程来说，最终的结果可能就是现在1%的人干了过去所有人的工作，拿著现在100倍的工资。
那你对程序员有什么建议？ 嗯，我觉得可能……呃，接受新事物吧。我觉得很重要的一点是，未来程序员可能很重要的一件事是怎么和AI去有效地协作。比如说，有很多事情是AI可能做不好的，或者不是那么擅长的，比如怎么去合理地设计一个事情的实现方案，然后怎么样设计让它跟这个公司未来的发展比较契合。这些东西可能很难去告诉一个模型让它理解，所以这些事可能还需要人来做。但是，像过去很多程序员做的具体工作——比如你的经理告诉你「实现这个方案，下周五之前给我」——这样的工作未来可能就不会再存在了。
那剩下的那千分之一的程序员，或者说什么样的程序员，他们的特质是什么？ 呃……我真的不知道会是1%、千分之一，还是万分之一。嗯，也可能是1%。你不要那么悲观啦。 呃，我是一个著名的悲观主义者，所以……也不要太乐观。
我觉得未来好的程序员，首先在技术上一定是非常强的。因为如果你技术上弱，那没有什么道理AI还不能取代你。但技术强可能不会是唯一条件，它可能只是一个充分条件。另外一件事情我觉得会很重要的，就是你得能够理解你的这部分工作在一个大的组织或者一个大的公司里，该怎么配合进去。这件事情可能也是一个重要的能力。
然后，当然还有可能别的很多事情，比如说这个人的规划能力是不是足够强。他规划能力强的话，可能可以同时把一个很复杂的事情拆解成很多相对较小的事情，然后用不同的方法去做。但现在看来，这三种能力是重要的，可能AI还不能完全做到。我代表不了六个月之后，可能六个月之后你再来问我，我发现最后一个能力AI已经能干了，就只剩两个了。再过六个月，可能剩下的两个也能干了，那我的回答就会变得更悲观。所以说，没有人能预计六个月之后会发生什么，我只能说从现在的观点来看。
刚过去的那个春节，很多人关注另外一件事情是：Sora会让Google焦虑吗？ 我觉得……呃，有可能有，但是这个焦虑的情绪目前还没有传导。可能让Google DeepMind负责多模态生成的团队会有一些压力，但是如果你要问我的话，我可能不觉得他们有什么可焦虑的。我觉得并没有体现出什么优势，更多的是我觉得自己在产品效果、数据等这些细节上会做得非常非常好。我觉得确实是自己过去在多模态生成上一直以来都有比较强的优势，但是我个人没有体会到这是一个范式上的变化，可能不足以让大家非常焦虑吧。
但是肯定是有压力的。对于Sora来说，它的产品能力是来自于模型能力，还是产品能力？
呃，我没有自己也干过，所以我也不知道具体的细节。但是你要让我猜，我觉得可能摩西还是占大头的。嗯，能力的好坏来自于什么？来自于数据。因为算法可能没有本质创新，我觉得算法首先就是因为刚才说的，多态的生成属于科学问题。对，多态的生成还是有一个比较科学的问题。所以说，多态理解解决了吗？呃，比生成肯定是要更系统、有更系统的理解了。但是比起呃……Tax图来说，肯定还是没有那么固定的。在生成上可能就是因为它是一个还没有办法上还没有固定的事，可能每家用的技术都会有一些大的或者小的区别。然后现在更多的只是能看到说，效果上来说，可能Midjourney和Google的Imagen属于在效果上来说做得比较好。嗯，所以它可能也是来自于细节做得更好。
对，如果你要让我猜，我会猜数据。数据啊，你要让我猜，我会猜数据。但是我也没有自己干过，所以也是我硬猜的。嗯，你怎么看Google自己挖走的吴恩达？我觉得……我喝得有点评价，永会。我觉得，我觉得我过去没有和永会一起工作过，所以我其实真的不是很能给什么很客观的评价。但是我觉得，我去了咱们那之后，呃，看到的更多的是永会好的一面。就是我觉得，他通过我看他以前写过的代码，以及他带过的项目，我的感觉是他是我讲到的少数层级非常高，然后人也很senior，但是还有很强的技术能力。我觉得是非常非常少见的。所以我觉得，我可能还没到能够评价永会的这个水平呢。但是要让我说的话，我觉得永会是非常非常强的。
嗯，你说站在2026年这个Q1的拍一张快照，你觉得中美的模型能力差距是在放大还是缩小？差多远？
我觉得，呃，如果现在放中、快照去看过去一年的发展趋势，或者过去一年半的发展趋势吧，显然这个中美之间的 GAP 是越来越小了。但是最后这个 GAP 会不会完全弥合，甚至中国超过去？我觉得这是一个不清楚的问题。我觉得对中国的 AI 研究员来说、研究机构来说，也是一个机会。
然后，呃，我觉得一个很真实的事就是，中国在实际的算力资源上来说是占很大劣势。但是这个很大的劣势可能反而逼出了一些有趣的事。比如说，中国的模型公司其实对 distillation（蒸馏）就做得特别好。嗯，对，最近达瑞不是点名了三家公司——真流？他对我觉得其实可能是一个征兆。这个事存在是一个「新常不宣」的事实。但是我觉得征流（distillation）也有不同的方式，就是也有硬征和聪明的征两种不一样的选择。
嗯，应该叫「应征」啊。应征就是，最简单的例子就是我从 cloud 里面取出一堆它生成的（数据），然后强行在上面做训练。如果干这样的事，我就觉得首先商业上也不是很道德，然后治理上来说也比较愚蠢。因为干这个事的公司，本质上来说，他体现出来的一件事就是他其实都不知道自己想干嘛。他能干的唯一一件事就是抄别人，然后让自己的模型数据上能看得好看一点。对，但本质上就说明他自己都不知道该怎么做。这是硬征。
但是其实征流也有一些很有趣的科学问题。就是比如说，我是不是有可能——随便举个例子——有没有可能是我生成自己生成数据的这个链条当中，用到了别的模型作为辅助？或者说，我自己模型升级的答案用别的模型作为它的评价者？这个其实是一个我觉得商业上来说比较灰色的地带，但是从技术上来说其实很有意思。因为你想，从某种意义上来说，可能中国的实验室成了做 MTI agent 训练的先驱区域，而且是真正的 MTI agent。因为如果从不同家的模型里，用这种比较聪明的方案把它们融会到一个训练系统里的话，每家模型它可能是分布很不一样的，它的语言分布很不一样的。这个就是真正的「往人」的，他可能比起比如说我用好几个咱们来一块做是一个基本上更有趣的事。
所以说，我觉得对我来说，聪明的征（distillation）我不知道这个商业上最后会不会变成一个很明确错或者很明确对的事，但是技术上其实很有意思。你刚才说的这两种，真没说的是谁？能不能后期把名字避掉？
我，我首先没有在中国工作过，所以我不知道确切的事实。但是我的感觉就是，我们应该是应征过，然后可能曾经应征过，但是后来可能慢慢也在努力向「软」的方向转化。我觉得比较明显可能「硬征」的比较少的，是自己。我觉得自己是，我感觉到这个模型还是比较有特点的。特点体现在哪里啊？
比如这个模型，你说他有多聪明？我觉得豆包肯定没有 GPT-4 和 Claude 的聪明。但是豆包首先，比如说豆包的语音生成非常非常强。哎，这个很难吗？在技术上确实豆包是做得最好的。因为我发现我生活上的问题，我只想问豆包，因为它很快。但其他模型为什么不优化这个产品功能呢？我觉得还是跟他的用户群体有关系。在美国，我觉得大家的这个想法更专注于怎么能够提高工作效率，你生活没有一些困惑吗？
我生活中——首先，我个人确实是一个生活上比较无聊的人。所以，我生活中没有很多有趣的困惑可以去问「豆包」。我生活中更多的困惑都是技术上的困惑。问咱们这种聪明的模型，就是最好的。对我来说，没有什么半夜去打「豆包」或情感电台的需求。不只是情感，就是很多比如说你做饭，你可能会遇到一个什么问题，你可能其实需要一个人告诉你，但是你又不知道、没有这样的人。嗯，那些我觉得可能更多是数据上的问题。然后，可能更多的是说，美国的公司现在主要的优先级是在智能或者工作效率上。嗯，未来有天会不会变成这些日常的事情？我觉得是有可能的。事实情况是，你如果去问这种日常话题，其实你能发现咱们每一代到另外一代，会做得也越来越好。嗯，所以我身边很多朋友，包括我自己以前也是，就是我以前在的时候可能写C会去问C的，但我可能日常查个什么东西，我就会去问GPT。对，你用我帮没有？我其实只用过一两次，我发现你们都不怎么用。呃，是不是有比试恋？
首先，有智力的比试恋没有，没有没有，不质疑，不至于。就是我觉得，首先就是跟在中国的人试图用美国的模型会有一些复杂的事一样，我在美国用中国的模型其实也是挺复杂的。第二呢，就是确实也没有，尤其是我觉得我可能生活中工作还是工作休闲的时候，就是找不一样的工作，所以对我来说，我的最好伙伴就是Cloud和GPT。但是，呃，可能对别人来说并不是这样。所以可能也只是我个人的问题。我自己用「豆包」的那一两次，是因为有人给我展示「豆包」手机。嗯，对，那你怎么看「豆包」手机？
我觉得是一个很好的想法。我个人觉得效果上来说，其实做得也还不错。当然，我不知道的是技术上来说，它的优化做得有多好。就是说，它实现一些任务的实施，从效果上来说是没什么问题，但我不知道它会有多大的消耗。如果这个消耗非常非常大，那可能是一个基础上需要解决的问题。因为你并不希望什么让你的模型去帮你订了一张高铁票，结果花的钱比高铁票还贵，这个肯定是一个不能接受的事。所以说，可能技术上来说，我个人不清楚它有多成熟。然后，我觉得长远来说，对大家来说还是一个挺——不能说惊讶吧，但是让大家觉得挺兴奋的事。
然后，我觉得可能苹果以前也想干这样的事，只是苹果可能自家的模型一直不太行。苹果好像不是在他的AI战略。现在我觉得呢，苹果一定是在AI战略了，因为曾经Siri手机助手是苹果发布会里一个非常非常重要的闪光点。嗯，但是自己的模型没赶上趟，现在可能要通过和咱们合作来试图做这样的事。至于现在他是不是重视，首先我也不知道。你要让我猜，我肯定觉得是重视。但你要让我解释他为什么从外界来看没那么重视，我的唯一猜测就是：如果你外界来看就显得很重视，但还做不成，那就显得很蠢啊，很丢脸啊。对，我不在意。
哎，我们说一下「豆包」的模型啊。你刚刚说「豆包」的模型比较有特色。你们具体一点：第一个是语音做得很好。我觉得语音做得很好，是我能感觉到最有特色的事。就是我觉得语音这个效果，可能客气的说，可能是全世界最好的之一；不客气的说，我觉得就是全世界最好的。嗯，所以很难吗？
呃，我自己没做到那个地步过，所以我也不知道是不是难。但是我觉得可能是一个很费功夫的事，不管从数据上还是各种优化上来说，是个产品的事，还是个模型的事。它一定会是模型的事，它有可能也包含一些产品的部分，但一定是一个模型的事。嗯，对。
然后我觉得这是一方面。另一方面，我自己的感受就不多了，因为我其实用的机会没那么多。那可能就是更多的是来自于——就亲友的反馈，也就是说，这个「多巴」这种关系，就是 F to talk，就是聊起来很有气氛。但我觉得那个更多的是一些主观的反馈了。
嗯，我觉得他的那个——一个是语音，然后一个是他生成得很快，也是一个很重要的因素。因为很多模型它都在给你展示思维链，但是我就说，那个生活上的所需，我不想看他的思维。对于这个时候，我觉得技术上并不难，只是可能大家目前还没有花更多时间在这上面。
然后事实情况是，如果你去尝试 3.1 和 3 的话，你会发现 3.1 在完成同样一个问题的时候，已经会比以前快很多，然后废话少很多了。所以说，我觉得这个不是——嗯，在我看来不是一个记录上的难点，他更多只是什么时候去重视、去做这个事。我觉得可能就是现在，现在美国的这几家还都处于在努力把智能的上限往前不断推进，而杰呢？
呃，当然他也肯定是在推进上限的，但是我觉得他可能就是在用户的用化上也做得不错。
嗯，最近还有一个话题就是中国的机器人很火，在春晚上。我不知道你对这个有没有什么观察，看过一些表演。嗯，也在亚马逊上搜过一些价格，确实很惊讶，他居然这么便宜。买了吗？没买。我买的也没什么用，但是确实我以前会——我不知道我以前脑海里觉得这种人形机器人，然后当然就软件层面其实没什么，但主要是硬件。我觉得硬件想做得这么成熟，可能怎么也得是个什么大几百万美金啊这样的。但是好像我去看了一下价格，比这要便宜很多。
嗯嗯，我觉得这还是体现出中国在硬件这个产业链上还是很有优势的。但是我并不知道他作为一个——他作为一个机器人硬件来说，我觉得确实是非常非常强。然后从软件上来说，没太看明白。我觉得机器人的模型也是一个目前非共识比较大的事情。对，怎么说？
就说他，我觉得机器人的模型可能更多地处于 feature engineering 的时代。就是你有一个给定的环境、给定的场景，你去优化这个场景，大家是知道怎么做的。嗯，但是做 RL（强化学习）嘛，做强化学习，构建合适的虚拟环境——还是虚拟的、这种数据——然后你去做训练，是可以提高的。但是它没有很强的泛化性。嗯，我觉得这个就是有没有泛化性，其实是很多 AI 方向的一个分水岭。就是一个确定的场景、一个很单一的场景，能不能做好这件事？这不是最近这几年才解决的，嗯，十几年前就能干，对吧？
就是像语言也是，语言在这个基于 Transformer 这种类似架构之前的时代里，并不是说完全做不了，对吧？那时候你也可以训练很强的模型去做翻译，嗯，你也可以训练一个很强的模型去做语义分析。但是你不能做的事，是水平地提高所有的能力。嗯，这个我觉得是一个分水岭。然后我觉得 L（大模型） 贵在 Transformer 和 GPT 之后，跨过了那样一个阶段，跨过了一个就是可以水平地提高所有能力的阶段。然后你可能在一个点上来训练它，会把这样的能力抽象地泛化到所有相关的场景。
但是机器人，我觉得还没到那个阶段，更多的还是在那个阶段之前。就是我有一个单一的场景、单一的事情，然后我能够为这个事情去做优化。所以你怎么看矽谷的这些机器人团队啊？还包括 Jamina 内部也有很多机器人的人。嗯，你会怎么看那个方向？有点这……这算什么？这是你们的方向，还是你们的平行方向，还是什么？
我觉得过去是一个挺平行的方向，但是现在机器人，我觉得大家也在尝试，就是能不能利用语言模型作为一个基底模型，然后在那个上面去训练这种类似——比如说像 VLA（Vision-Language-Action）啊，这种类型。特别是多模态模型，对对对。然后所以现在来说，就变成了和语言模型这条线比较相关的一条线。嗯，然后我觉得我个人的感觉是，他们未来会变得很重要，但是目前还没有找到自己的路。嗯，但是他们做的事真的很有意思，我非常推荐大家去看看机器人的实验室。比做语言模型的实验室要有趣得多！
做语言模型的实验室感觉就是正常的办公室，但机器人他们是真的——就是会有人去操控这个机器人，采集各种数据，然后去看这个机器人在仓库里去取不要的货物啊之类的，干这种事情，就是很有意思的一件事。你去的是哪家？呃，我去……我自己实验室不是，就是那个 Google 自己的实验室去看过，然后还有那个 Dexterity AI（DNA）嗯，我也看过。他们是叠衣服的机器人，对。他们就是场景更单一点，就是叠衣服是一个机器人，可能做一些别的，比如倒个水啊之类的，这样。
对，你直观感觉机器人进展相当于大模型的一年前还没到 GPT 的时刻，对不对？一定没到。我觉得一定是没到。嗯，就是相当于大家还没有想明白怎么去 skill up。我觉得对，我来说不管机器人还是多模态生成，都还没到这个点。嗯，那接下来进入今天的主题，我们还是对你非常感兴趣，然后聊一聊你是怎么从一个学物理的人进入 AI 的世界的。嗯嗯，你从小在哪长大？你是怎么长大的？
哦，我出生在宁夏，然后一个很小很小的城市，叫——大口？看你这困惑的表情就已经说明了这个城市有多小。这个城市过去的存在是因为一个煤矿，因为石炭井，一个煤矿，然后有了这样一个城市。所以我在那出生，但是我小学的时候跟我父母一块去了上海。然后，所以我小学的后半段和初中、高中都是在上海。
然后我上本科就去了北京，就是刚才说的那些，上本科在北京，然后博士在美国。
你想，你从小都曾经很厉害是吗？你是物理竞赛保送的？然后在清华和普林斯顿做的是理论物理？ 我不是物理竞赛保送的哦。我觉得我小时候挺菜的。首先，我读的初中和小学都是无名之辈。我觉得我当时读的初衷好像就是竞赛不是一个你该考虑的事，处于这么一种……这么一个初衷。那个学校叫上南中学东校，又是一个大家听了很困惑、一脸雾水的学校。
既然都说到这了，那小学是哪个小学啊？小学叫啥来著？我的CT management（认知负荷管理）能力太强了，我已经不记得叫什么了。嗯，所以……嗯，对。
然后，就是那个初中，一个班里面的小环境还是有一些想要好好学习的同学的。但是总的来说，那个初中……我觉得……然后我觉得可能学习还可以，还可以，就是当时的状态。就是上海高中有所谓的那时候有所谓的「四大名校」，就是什么上海中学、然后华二、交大附中和复旦附中。然后我当时的状态就是能上这四个学校，但上不了这四个学校里最好的班。特别想搞竞赛，因为以前都没搞过竞赛。
你初中开始搞竞赛？ 我初中没搞过竞赛。你没搞过竞赛，为什么想搞竞赛？ 因为没搞过，所以想搞。怎么直接入这概念？ 我这个人，我这个人的个性就是总是爱干一些自己不太会的事。对，然后当时没搞过竞赛，但是知道有这么回事，所以觉得一不教育、一不焦虑，就是上大学之前得干一票。但是呢，那个成绩也没好到那个份上，所以去私立学校——就是最好的那四个学校是进不了搞竞赛的班的。
我当时就发现有一个稍微差一点的学校，那个学校叫格致中学。啊，稍微差一点的学校，但是那个学校……然后我感觉这个竞赛，按照现在的话说就是underdog，用当时的话说，我感觉就是「光脚的不怕穿鞋的」。嗯，我觉得嗯……可以一搞。嗯，所以就……其实当时那时候就是那时候上还有所谓的「推优生」的制度，就是你可以在考试前就去和某一学校签约，然后你就提前锁定那个学校的名额，然后就直接去他们那，就很自然去了。然后去搞了竞赛，搞中了。
对，然后所以你其实是在上海私立学校的普通班里面，和这个格致中学的竞赛班里面，义无反顾地选了格致中学的竞赛班？ 呃，当然，我也不能说我做选择的时候，这个上最好的四个高中是那么板上钉钉的事，虽然后来的分数确实够了，但那时还没中考。对，但是当时就觉得，就算能上，我也应该去一个underdog的地方赌一把。为什么？因为想干这个事啊。
你想干竞赛的目的是什么？ 我觉得当时最主要的是体验。我觉得没干过，一定要找机会干一下。为什么一定要「赶」一下这个？
呃，第一就是觉得它确实难吧。哦，就是确实比——就有一种对男的兴奋感。对，嗯，就是确实至少当时没搞的时候，大家给我的印象就是感觉这个事比你不搞竞赛学的那些东西要有挑战性得多了。嗯，你觉得干这个事，人确实干，你也就只是这个平庸石头里最光滑的那一个。所以我当然觉得要干，当然所以就去看了，当然干了之后也实际上带了一些好处。就是我后来回讲起来，如果当时没去搞竞赛，可能就进不了清华了。
哦，你是有加分还是什么？当时其实那个竞赛的保送生制度已经比较锐减了，就只有进国家集训队才能保送。我那高中反正——我觉得我当时没进国集队这个水平的，所以就别说了。嗯，但是呢，就是我在考高三竞赛之前，阴差阳错地去华参加了一个夏令营，然后阴差阳错地在夏令营的最后一天听说了他们在搞自主招生。嗯，但是主要是面向北京的学生。我就疯狂给招生办的老师发短信，说我要跟他们一块考。哦，他答应了，然后他就答应了我们去考——你们还是你？就是答应了我们这高中一块去的那几个人去考。就上海，上海这边去那个夏令营的那几个高中同学去考。
哦，你有什么理由说服他？你发短信我已经忘了这个短信具体怎么说了，但这个短信大概说的意思就是：你给北京的同学考，为什么不给上海的考？大家气壮。嗯，你当然觉得他们开后门吗？我也不是觉得他们开后门，就是觉得人家有这个机会，凭什么不给我们？大家都在一条线上竞争嘛，就是你们当然是同学。嗯，哦，然后所以就发了这个信息，然后人家就真让我们去考了。
几个人？呃，我去不太清楚了，可能有上海去那个考场，可能有七七八个人的样子。是你发那个短信？呃，可能别的高中也有别的学生发，但我们高中是我。哦，就是都是上海高中去北京参加那个夏令营的同学，参加夏令营的同学。嗯，对对，然后就让我们去考，然后就——这么好说话。对，所以我从那件事得到的人生最重要的道理就是：胆子要大。你不争取是永远得不到的，争取了也有可能得不到，但不争取就绝对得不到。
哦，你当时发那个短信的时候坦吗？你当时还高中欸。我已经不记得了，当然觉得自己这是个很大胆的事吗？还是还好？没，我当时蛮脑热的，都是现在就得争取，再不争取明天就争取不到了。就当天就发了，就是我在听说的那一天就赶紧去疯狂发短信。疯狂发给谁发？发给招生的那个清华招生的老师。就发给了一个人还是多个人？我记得了，应该是一个老师。哦，他很快回了吗？嗯嗯，我觉得清华就是有意思了。我不知道他们自己有没有讨论了，但是反正最后说了是同一——嗯，然后就一起考试了。对，所以我——所以我为什么我感觉我一直对清华还是挺有感情的，就我感觉这个学校是愿意给大家提供机会，给大家提供平等机会的。
嗯，对。那个考试考得怎么样？呃，我当然出来的时候觉得考挺崩的，因为有半导体没做出来。但是我后来发现别人没做出来更多，果然就招了。对对，你们那一波上海同学进了几个？呃，好像两个。自招生是减分还是什么？是降到一本线。降到一本线，对。哦，嗯，然后来你高考好吗？后来高考果然没考到清华的分，但是就是除了清华之外的学校都能上。哦，所以为什么网上都嫌你是保送的？
我觉得就是，大家如果没在那几年上过学的人，很难理解清楚那几年到底发生了什么。因为在我那两届之前，还是拿了省一等奖就能保送的——拿了省一等奖就能报送，就能保送的。就会我们那时候就是，拿了省一等奖进了省队，然后再代表省队去考国家的比赛，然后进了国家集训队才能保送。
我是进了省队去考了国家比赛，但我没考进国家集训队，对。所以我那届，我是没有保送资格的哦。
「你搞竞赛搞得好吗？」 我觉得挺菜的。就是，难道不是没有干到最好就是很菜吗？然后显然没有干到最好啊，所以就是很菜。
「你家里人对你搞竞赛这个事情是什么态度啊？」 我觉得我爸妈最好的一点就是他们不太管我。他们可能曾经也试图管过我，后来反而管不住。哦，怎么管不住？就是我也不听他们的哦。哦，我觉得可能大多数中国家庭都是，孩子和父母商量已经算是很好了。我一般都是通知他们一下：「同知了啥？」 「同知哦，我去自主招生了哦。」然后包括中高考填志愿也是我——我爸妈甚至可能都没见过我的志愿单哦。他们比较服我吗？他们我觉得就是，当你没有办法理解别人在干什么的时候，别指手画脚就是最好的。我觉得我爸妈这个道理懂得。
「那你是比较叛逆吗？」 我觉得我是比较——因为我觉得我个性是，我很 care 想做的事。如果这件事是我自己想明白了要去做，就是别拦我。嗯，然后我也一定会尽最大努力做到最好。但如果这个事我不想干，比如我干也没用，我也不会干。
「你的胜负欲强吗？」 挺强的哦。对，但我觉得我更多的是在跟自己较劲吧，不是不太愿意和别人比哦。对，当然就是，如果——就是如果正好是，我觉得这事很重要，你也觉得这是很重要的，那我肯定要搞好。
「那你到了清华就更神了，去学了量子物理，为什么呀？」 呃，对。我当时做那个宁拍理论，然后呃，为什么选这个专业？阴差阳错。嗯，现在回头来看，当然能编造出一些听起来很合理的理由，但摸著良心回到当初，我觉得就是已经阴差阳错了。就是当时我们在机克班，然后机克班有一个非常好的传统，就是首先机克班虽然在物理系，但他不限制学生干什么，所以机克班实际上三分之二的学生都不会做物理哦。然后——
「对于那，你为什么会进这个班？」 呃，当时清华的物理系全都是几科班，现在可能不是了，但是当时是。然后他另外一个好的传统是，他鼓励学生在实践中学习，所以他鼓励学生尽早地去进到科研的实验室里去，然后去和在科研中学习。然后我当然是很想做理论，然后是觉得爽吗？
感觉感觉就是你对某个东西有一种著迷，可能也是一种病。之后可以再讲这个病带来的不良后果是什么。
然后，那个……对了，我现在搞理论。当然，机克班或者我们家学堂班有一个更小一点的班，然后那个老师就推荐说高等研究院是个很好的地方。清华高等研究院就是杨振宁先生创立的那个研究院，是个很好的地方。完了我就去那里找老师，然后正好有一个那时候还很年轻的老师叫王忠，是我本科的老师。嗯，那时候他也……然后我俩就聊。我当然啥也不懂，但他还挺耐心，还给了我一些 paper 让我去读。然后读了之后我就跟他讨论。后来又发现太理论了，尤其是当时做的那个方案就是跟拓扑绝缘体相关的方向。其实这是一个很适合本科生上手的方向，就是它需要的背景知识不太多。嗯，它只需要你可能懂最最基本的，就是你得会量子力学、会统计力学，过去物理就是非常非常容易学的技术是基础的。但是它可能很考验你对这些知识理解的深度。所以对本科生来说，其实是一个特别特别好的方向，就是你能够很快地上手去做一些实际的项目。
然后我们就一块做了一些工作，其中可能在开放量子系统里面的那个工作，现在看来还是一个挺重要的工作。对，然后从某种意义上来说，我觉得现在回头来看，做那个工作、做那段时间的课研，其实和现在做 AI 特别特别像。就是它更多的是你有一个想法，你有一个理解，然后你可以在那个阶段，就是你可以做一个数值的实验去验证你这个想法和理解是不是对的。你发现 AI 其实也这样：你有一个想法，你有一个理解，你去设计一些实验验证你的理解是不是对的，然后你设计一些模型，上了训练的 pipeline 来把你的想法实施出来。对，所以说其实这两个是很像的。
嗯……你们讲一下你这个非厄米系统的研究啊，可以讲。我尽量说人话，嗯，但是也有可能实际上说了鬼话。所以要是不想听的人可以跳过，划一下进度条。
非厄米系统是这样的。量子力学一个最基本的假设是：一个孤立系统，它的演化被幺正演化所描述。幺正演化是个什么？幺正演化的意思就是它是一个线性的过程，然后这个线性过程可以被一个算符叫做哈密顿量来描述。嗯，哈密顿量从某种意义上来说，它有点像这个体系的能量，但不完全是，就是有点类似于……所以它决定了这个体系随著时间的演化。
然后如果是一个孤立系统的话，这个哈密顿量会是一个厄米的矩阵。厄米的矩阵就是你转置一下然后取共轭复数，它和原来是一样的。但是呢，真实系统绝大多数都不是孤立系统。比如说你我作为人，肯定要和外界有信息交互、有物质的交互。材料也是一样，就是你一块材料放在那，除非你抽特别特别真空的，你总会和外界有交互，你得和外界的环境有交换。所以真实体系大多数都不是孤立系统。然后孤立系统它就不会被一个幺正的过程去描述，然后它所对应的哈密顿量也不会是一个厄米的哈密顿量。就是这个非厄米这个东西的来源，它本质上是为了研究开放量子系统——就是和外界有交换的量子系统——它的行为。
嗯，然后当时发现一个很困惑的事。我们一开始是想研究这个开放量子系统里的一些突现现象，然后就发现手算出来的理论结果和数值模拟对不上。嗯，然后更确切地说，就是手算这个结果是假设了这个体系是一个周期性边界条件，比如它在一个环上或者在一个轮胎的表面上。然后数值的话，就会因为和实际的情况比较类似嘛，就会算一个开放边界的，就是一个……
方块这个材料上的行为就发现这两个结果对不上，然后就试图理解这个事。后来就发现大家过去用来描述凝聚态系统的一个基本假设——就是所谓的「布洛赫假设」——认为物体的本征态都是一些平面波的线性组合。这种「平面波线性组合」的假设，其实在分数量子霍尔系统里面会 breakdown，也就是会变成错的。实际情况是，后来我们发现，在拓扑系统里，其实它的这些能量本征态都有可能会聚集到这个体系的一边去。
然后我们就系统地建立了这套描述的方法，建立一套体系去描述一个开放边界的非厄米系统，它的本征态该怎么描述，进而描述它的一些随时间演化和动力学。所以这是当时这份工作的核心。
后来因为这其实是一个学术上的更新，所以有很多很多 follow-up 的工作。但是后来我换方向了，所以就没有太在这个方向继续做了。
你为什么不继续做？ 很难抓住一次学术的变化，是不是？ 很难抓住一次学术的变化，是的。这就是人性的弱点，就是我感觉我总爱挑战一些自己不会的事。尤其是当时，我觉得在那个方向可能那个工作从过几年回头来看，就会是这个领域最重要的贡献。后面你再去做一些工作，可能确实会让你更有名、获得更多的引用、写更多好的期刊文章、找到一个好的教职，但是感觉作为一个科学生来说，就没那么令人激动了。所以我当时就想换个东西做，换一个自己不太会的东西做。
对，然后所以读博士的时候就换了一个方向，去做高能理论物理。 高能理论物理？ 对，高能理论物理。
所以你本科和博士也是不一样的？ 也是不一样的。还不是从物理跳到 AI，其实你本科博士看起来都是物理，但方向已经发生了很大的变化。对，是两个几乎没有任何联系的方向。
哦，你这个很神奇，还包括你选竞赛去格致中学也很神奇。 对。
这是你的什么人性？ 我觉得，说难听了就是爱折磨自己，说好听了是挑战自己。 嗯，被折磨开心吗？ 我觉得如果未来被折磨而被折磨，那这个人就是有心理疾病。但是如果一个人是为了学习更多的东西、丰富自己的经历和能力而被折磨，我觉得是值得的。
哦，你本科那个老师——王中老师——也是个 underdog 是吧？ 算吗？不算，人家做得挺好的，怎么可以这样说？ 在那个时候，你刚刚才说他很年轻吗？ 没有，他很年轻，但是我对他的印象一直都是：他是一个很能看问题、试图理解问题、理解得很清楚的人。确实可能不像很多老师那样，就是很有名气在社会上或者很光彩夺目。那时候不是，现在已经很有名气了，那时候还没有那么有名气。但是我觉得从能力上来说，我觉得他是很强的。
对，然后其实他一开始是跟张守成老师学习，独立博士后。 所以说能被张守成老师挑中的人，基本都不会太差。 嗯。
他对于你博士换方向说过什么吗？
没说过什么，我觉得他是一个——他是一个不爱干涉别人的人。我不知道他内心是怎么想的，但是我觉得他是一个不爱干涉别人的人。
子物理整个是一个什么样的世界观啊？嗯，呃，我觉得，我觉得最大的区别就是，我觉得有很多和经典物理有很多很多不一样的地方。但是我觉得它们俩是一个对应的概念是吧？经典物理和量子物理，呃，它俩是在不同能量和时间或者空间尺度下的理论。就是说，本质上我们这个世界都是量子的。当然，就我们现在也不知道比更小的尺度上会怎么样对吧？在更小的尺度上有很多不一样的想法，比如说弦论是一个想法，然后还有其他的想法，比如全息原理也是个想法之类的。但是那些都没有办法被验证。被验证了的、在小尺度上的有效理论就是量子力学。最小的尺寸对，就是被实验上能够验证的。嗯，最小尺寸的有效理论就是量子，当然这里面包括量子力学和量子场论。
然后经典物理是当你看所看到的这个空间尺度比较大的时候，这个量子物理慢慢慢慢退化成经典物理。嗯，所以它更多的是在不同尺度下的不同的一对描述。这个其实在物理上一个很深刻的想法，就是所谓的重整化群。重整化群说的事就是，描述一个体系的理论在不同的能量尺度下可能看起来是完全不一样的。然后哪怕它们可能从根源上来说都是一个大一统理论。当然现在没有什么真正的大一统理论了，不是。如果存在的话，它们哪怕在根源上同一个根，但是它们在不同尺度上可能看起来也是完全不一样的。所以经典物理和量子物理更多是两个不同尺度下的描述。嗯，对。
讲到量子物理里有几个词好像是相关的，比如说蝴蝶效应，嗯，比如说量子纠缠。嗯，能不能讲这些？对，我觉得这个可能是大家能听得懂的，然后我也不懂物理，大家不要骂我，我也不懂量子物理。嗯，对。我觉得量子确实是一个大家比较耳熟能详的，量子物理比较独特的事情就是很简单了。就是说，我有两个例子，比如它们属于一个纠缠态，然后我可能它们实际上离得很远，但实际上我可能对其中一个做些测量或者微扰它，也会影响到另外一个的状态。这个是真实存在的事，真是存在的。
对，什么样的会有量子纠缠？什么样的两个物体？有很多，就是有很多实际的情况。实际上当你看得足够细、足够微观的时候，绝大多数的例子可能都处于纠缠态。但是实际上来说，你可以——但是实际上来说，你可以比如说制造一个粒子和另外一个粒子，你先把它俩靠在一块，然后把它压缩到一个叠加态上，然后你可以把其中一个拉得很远，它们就成了一个距离很远的纠缠态。然后甚至好像我记得几年以前还有人专门去做，就是把一个细菌和一个什么什么东西放在一个量子纠缠态里。什么叫「支配在一个量子纠缠态里」？这个是可以人为操作的，这是一个可以操作的事。为什么？怎么操作？
一般来说，就是通过一些测量和演算服的作用，能够把它制备到这个状态上。但是这里面难的，其实是实验上怎么实现这个过程。就是说，你可以想像，做一些量子测量和一些所谓的量子门的操作，其实是比较难的。因为——越扣就是——每一个体系它其实都不是孤立的。你可能觉得这两个资源我准备一下，它就纠缠到了，然后我再把它拉开不就完了？但是实际的问题是，这两个例子其实活在我们这个世界里，会不断有别的状态干扰，或者外面的热量扰动它一下，这个状态就没有了。所以难的是怎么在具体实验上去实施这个过程。
然后，纠缠的另外一个例子可能更好说明。我其实应该提那个例子，就是薛定谔的猫。薛定谔的猫啊，对，那是一个更好的例子。就是说，它的状态其实是叠加了：某一个放射源发出粒子导致猫死了，这是一个状态；另外一个状态是放射源没有发射，猫活著。这两个东西的叠加状态。比如说，你去测量一下那个放射源，发现放射出来了，你就确定猫死了，不管这个放射源离多远。所以这是纠缠。但是蝴蝶效应是另外一回事。
蝴蝶效应就是耳熟能详的部分，其实反而是经典物理。就是大家今年常听到的蝴蝶效应，那个著名的例子：什么南美洲一只蝴蝶扇了一下翅膀，半个月之后可能在北美引发一场风暴。但从更数学的表述来说，它就是：在时间起始的时候，如果你做一个很小的扰动，然后你测量这个扰动产生的影响在未来有多大，你会发现这个扰动的变化是指数级变大的。这是它数学上对经典蝴蝶效应的一个描述。
但是之前大家比较困惑的一件事，就是这个事情在量子体系里怎么可能存在？因为量子体系刚刚说了，量子体系是一个么正演化的过程，所以从某种意义上来说，就是你如果一个状态和另外一个初始状态的夹角不太大，那么经过一些演化之后，这个夹角应该不会变得很大。所以怎么会存在这种——初始状态差别很小，在未来变得指数级变大——的情况？好像在量子力学上看是不太可能实现的事。
但刚刚又说了，其实我们的世界在微观是量子，然后在宏观就变成经典了，但它们是一脉相承的。怎么可能这个有、那个没有？这是大家都理解的。当然，后来大家就有一些更好的理解，就是说：其实你讨论量子里面的蝴蝶效应的时候，不应该讨论两个态之间的变化，而应该讨论一些所谓的 local observable（局域的观测量）的变化。那个其实是对应了经典物理的你看到的那些变化。
嗯，那你读了四年的量子物理以后，你当时在想什么？你觉得物理对你的帮助是什么呀？
在我本科要毕业的时候，我觉得本科期间读物理最大的帮助，第一是想问题要想清楚。就是读书不在于读得多，而在于读得深。你读得多不代表你能够发现新的东西，但如果你对一件事有和别人不一样的理解，那才是对这个社会来说更有价值的事。这一点。
另外一件事就是别太相信理论，别太相信纯理论。因为都说这个结论，但当时那个事发现的主要原因还是因为能做数值模拟。一开始是因为数值和理论对不上，才仔细研究那个问题，然后发现了这个事。
嗯，对。那你博士为什么去读了高能物理？也是一个理论啊。
这就回到了这个话题：总爱挑战很难的事。有时候也会带来一些不好的结果。什么不好的结果？
比如，我就觉得——我觉得我的这个博士，对我自己来说学到很多东西，成长很大，但是对这个世界来说，没有产生什么贡献。就高能理论这个方向来说，它是足够难，非常非常难。然后，嗯，但它不好的事情在于，它其实不是特别可以验证。嗯，没有什么客观的评价标准，因为呃，高能理论已经发展到了——就是实验完全追不上的阶段了。实验完全追不上，你在理论讨论的那些，不管是能量尺度，还是这种微观的尺度……所以说，它是怎么进步的呀？它的进步依赖于什么呀？如果不是实验，呃，那一个一个进步的来源是来自于数学上的自洽性。就比如说，你提出一个框架来描述这些事情，那你能不能和现有的、已经被验证的、更低能标下的理论相自洽？就比如说，你研究弦论，那可能自然大家的问题就是：弦论能不能在低能情况下回到量子场论，或者回到量子力学？这个自洽性就提供了一个判定方法。我觉得这个是很合理的，就是很科学的一件事。当然，也有一些不科学的因素，就是当这个领域完全没有实验、没有客观标准的时候，肯定不会只有一个框架出现，肯定不会只有一个研究下的框架出现。嗯，这个时候，谁做得好、谁做得不好，其实就依赖于领域内那些「老灯」的主观判断。你是被谁伤害了吗？我……我也没有被谁伤害，只是我在那个领域待的时间越长，就越觉得这件事——嗯，就是人这一辈子也没多长，为什么要把自己的时间浪费在伺候老灯身上？对对。所以感觉是花了五年学了很多知识，买了一个大教训。这个教训就是：要做有比较客观评价标准的事，嗯，或者从另一个角度来说，就是要做对这个世界能够产生影响的事。嗯，所以，其实你本科还是比较顺利的对吧？在量子物理这个研究领域，你很快就有了非常好的研究成果，而且是颠覆性的变化。但是你很快觉得没有信心了，所以你想到博士去挑战一个更难的事情。然后在博士期间，其实是比较落寞的，呃。从结果来说是这样的，外界看不出来，外界看都是非常光鲜的——博士在 Stanford。我觉得，我觉得从实际的科研产出来说，我觉得没有人会说我博士今天的文章不好，但是摸著良心说，对这个世界有多大的影响？我觉得几乎没有，几乎为零。对，所以对我自己来说，我自己很不满意，但是我觉得呃，确实也没有不满意到说我会担心有人说我在混日子。确实也没在混日子啊，就是你还是能达到所有的外界标准的。对，这怎么做到呢？就是我觉得这真的很多事情冷暖自知，对吧？对，是的。我觉得呃，达到外界的标准，或者达到一个小圈子的评价标准，像虚荣心一样。就是一旦有了这么一个小圈子，你知道他们的评价标准之后，做得好是很容易的。但是，就是其实你哪怕不认可这个标准，你也是可以达到的。嗯，但是你还是知道你是不认可的，因为有时候你哪怕不认可，你达到了，我也可以蒙蔽自己，嗯，就继续往前走。嗯，但我后来就发现，我蒙蔽不了自己，骗不了自己。嗯，对。是哪一年发现的？
我觉得可能从不是最后的两年吧，就会有这样的感觉。但是那时候确实也没有想好，没有想清楚——如果不做这个，该去做什么？那可能就花一些时间去了解一些不一样的方向。比如说，一开始我可能更多的是去了解量子算法或者量子信息这样的方向。然后拿了 Postdoc offer（就是博士后的 offer）之后，感觉这件事更紧迫了。因为离开学校的时候，你还可以用一个学生的心态；离开学校之后，就是自己的 career，你得给自己找方向。
当时就是觉得，可能量子计算和 AI 是两条路，我觉得给年轻人、给新人机会比较多的——哦对哦。所以你博士后的方向是什么？ 博士后没有固定方向，博士后其实就是理论物理这个方向。博士后是一个很独立的职位，就是你自己想叫他干什么就干什么。对他来说，更多的是从某种经费来源上讲，有点像「搞慈善」——就是谁谁搞慈善啊，就是有一些可能不管是在意科研组织还是个人组织，他可以给学校捐一笔钱或者给学校拨一笔钱，然后学校用这笔钱来招一些国际学者，在一个系里面去做他的研究。然后把自己研究的广泛性告诉系里，觉得他更多的是一种社会氛围的工作。
所以其实没什么限制，就是你想干什么就去干什么。但是我其实也没做多长时间的博士后，实际上可能到了伯克利待了两三个月，但官方来说只待了两个星期。官方来说是什么？就是我其实在入职之前已经去哪了，因为我反正人就在那个区嘛。哦，我入职之前就去那边了，但是入职之后其实只待了两个星期就辞职了。哦对，这两周发生了什么？ 什么也没发生。我本来都不准备入职的，但是伯克利的人太好了，就没事——就是等事情定了再说，能来多久就来多久。哦，你有告诉他们你其实在跟其他机会谈吗？ 我告诉他们，我觉得我可能会去做 AI 了。我要不就别入职了？ 嗯，但是伯克利——或者不止伯克利，我觉得就是这两个学校的老师都人很好，他很照顾你。他就觉得你还没有完全谈定，那还是先把现在的工作先拿著。
你觉得物理对你后来做 AI 有什么帮助吗？ 嗯，我觉得硬技能上其实没什么帮助，就是存一些工具性的技能。从物理到 AI 的转化其实是非常非常少的。但是我觉得，非要问的话，可能主要的——不能说是能力吧，就是性格。可能是做物理的人会更想刨根问底，更想理解一件事，然后更想做事很系统。因为我们习惯那种很系统性的，不管是做实验的方式还是做理论的方式。所以我觉得这个可能是一个比较好的地方。但是我也不觉得这是做物理的人独有的。
嗯，就是为什么做计算机的人没有这个特性？我觉得我认识很多做计算机的人也有这个特性，那很多做化学的人也有这个特性，学生物的人也有这个特性。所以我也不觉得它是做物理独有的。但事实上，就是可能比较有趣，这个领域里面确实有很多——尤其是像语言模型这种比较 large-scale 的 AI——确实有很多物理出身的人，然后做得很成功。对，有些人操作这个公司哦对。
因为很多人在描述这一代 AI 的时候，都会说是黑盒。你能用科学的角度来理解一下这个黑盒吗？
就人工智能的运作而言，我觉得——嗯，这事儿所有东西都是「黑盒」。就是说，哪怕像物理这种大家觉得很理解的东西，其实也并不是真的有一个从微观行为一路演化到宏观体现的完整理解。嗯，比如不管是刚刚提到的量子力学还是热力学，其实都是在描述某个能标下的行为，本质上这个系统还是一个「黑盒」——你还是不知道它最核心的动力学机制是怎样的。
AI 也是一样，就是「黑盒」不「黑盒」其实都是相对的。我们确实对语言模型没有理解到「神经科学手术刀」级别，也就是说，我们无法精确理解某个行为是由哪一个神经元、哪一个人工神经元的哪一次激发产生的。嗯，没有达到这个层面的理解。除非是在一些非常简单、规模很小的网络里面——比如说，像玩具模型那样有所谓的「可解释性」（interpretability）团队，他们可能会做一些类似的工作。但在实际可用的语言模型里，都没有达到这样的理解深度。
但是，这也不代表我们完全没有理解。比如说，Scaling Law（缩放定律）就是一个描述了在特定尺度下，模型随著模型大小和数据量的增加，在特定指标（performance）下变得越来越好的规律。所以，你说我们是完全没有理解吗？如果说 Scaling Law 不算是理解的一个小部分的话，那是不是我们也可以说，我们对这个世界其实也完全不理解？这个世界也是一个完全的「黑盒」。
所以，Scaling Law 是一种科学规律，它是一种经验规律。经验规律和科学规律之间的界限是很模糊的。比如说，我们回头去看热力学的各种定律——第一定律、第二定律，还有克拉伯龙方程这些东西——在当年被发现的时候，也都是经验规律。嗯，但只是说，后来随著时间的发展，我们慢慢知道了它们的微观机制，于是它们可能就变成了更基础的科学规律。
我觉得，像 Scaling Law 或者类似的这些东西，目前肯定还是很经验性的。但是未来，当技术变得更加成熟，大家开始越来越多地理解它微观的过程时，会不会变成一个科学规律？如果这个定义是存在的话，我觉得是有可能的。
能不能用科学的表达来解释一下所谓的「智能涌现」呢？嗯，首先这个说法本身就不太科学，所以自然也没有办法用科学的语言来表达一个不科学的概念。「智能有限」吗？对，就是我觉得「智能有限」。对我来说，它更多的是一种主观的感觉，而不是一种客观现象。嗯，就是当很多人说「智能永远涌现」的时候，他们脑子里想的可能是：以前的语言模型只能做某一个方向的事，比如只能翻译、只能做分析、只能做什么，但现在模型好像可以做所有的事。但这件事，我觉得对我来说更像是一个技术上的「涌现」，而不是行为上的「涌现」。也就是说，我们通过研究发现了如何进行大规模的训练，然后能够水平地提升所有能力。我觉得这才是更本质的事。
至于「智能涌现」这个概念，其实我觉得每个人心里的定义都不太一样。对你的定义是什么呢？对我来说，就是没有定义。对我来说，唯一实质的区别就是：有没有发生一个记录上的改变，使得我们可以做到「skill up」——可以水平地提升所有的能力。这对我来说是一个定义良好的概念。
最后，你是在量子计算和 AI 之间选择了 AI，这个转变是怎么发生的？对，我觉得还是花了一些时间去了解两个方向的瓶颈在哪里。好处是它们都给年轻人机会，都有发展空间。但量子计算对你来说，好像离你的主线更近一些，在那个时间点对不对？
这就是为什么要去了解一下细节，因为了解细节之后发现不是这样的，而是反过来的哦。因为量子——这些都不是量子，就是量子计算——我觉得它现在的主要瓶颈其实是在实验上，并不是你怎么去设计那些算法或者设计那些算子，更多的是你怎么在实验上实现它。那个事反而是我不擅长的，反而是和我过去很多我有兴趣的事其实是比较不相关的。然后反而跟我相关的事更多——像 AI，就刚刚说的，AI 更多的是你有一个想法，然后你可以用一些数值去验证。这个数值在 AI 里面看就是训练一个模型或者怎么样。对，然后这个反而和做物理很像，他甚至就是为什么我之前一直爱把这个和 18 世纪的物理学做比较。就是他热力学，对，更像那个时代的物理，就是那个时代理论和实验不分家，没有什么理论物理学家、实验物理学家，你就是搞物理，就是搞物理的，你自己可以做实验，然后也可以做理论的推测。我觉得有点像，内所以其实从理论物理跨越到实验物理的距离，比你直接跨到 AI 要远得多哦，其实要远，而且从兴趣上来说也更远。
你不喜欢实验物理？ 我觉得做实验……嗯，确实不是我的兴趣所在。虽然我——虽然我不自己做，但是我确实很有兴趣知道别人实验做得怎么样。不用做实验吗？用，但是它是更多像数值哦。对，它不太像那个，就是你实验室去搭一个光学品，然后什么……我觉得实验真的，可能因为是我不懂，我没有达到那个境界，所以我有些事在我看来挺玄妙的。比如说，大家都知道这个光学要怎么搭，嗯，但有的人就能给你搭出来，有的人就是耗了六年都没搭出来。这个是动手能力，我就是没搞明白啊。我有时候觉得真的是有点悬妙。嗯嗯，所以还是数值、数值要清晰很多。对对，对我来说，做数值或者像 AI 就是训练模型啊，然后研究各种不一样的技巧，看某些细节，这些事对我来说反而是——嗯，是我能想明白他为什么要这么干。嗯，但是在搭台的这个事上，我就是一头雾水。
你做过是吧？ 我当然，就是大家可能都做过基本的。读物理的人肯定都做过基本的实验培训，但是更多就是我有很多做实验的朋友，然后不管去看他们的实验室，看他们怎么做实验，还是跟他们聊这些怎么设计实验，我就感觉很多事我其实不太能够理解。但是他们确实有的人就是做得好，有的人做得就是不好。
所以你说现在从事 AI 研究像 17 世纪热力学研究，其实在表达虽然大家没办法很清晰地从科学上去解释和理解这个事情，但是它并不会阻止它的发展。对，就是它更像是为什么呢？比较那个时代热力学，就是那个时代大家其实不理解什么是热的微观理论，大家不知道热是什么东西，就像现在不能理解——对，就像现在大家不能理解这个 language model 里面那一个个神经元是在干什么，其实大家也不理解，但是不妨碍你有一些好的经验律，比如这里学的各种定律和现在的各种 scaling law。所以说从这个角度来说，从这个方向的角度来说，在这个层面上来说，它是类似的。然后从研究人员的角度来说，就是刚才说另外一个问题，就是他理论和实验其实不太分家。嗯对。
那你是怎么去面试这个 topic 的历程是怎么展开的？ 我觉得其实主要还是因为有前同事、前辈。就是其实有很多做物理出身的人，尤其是做理论物理出身的人，甚至为什么呀？他们从人的选择上为什么会选择这一波人？
我觉得当然就是很多人可能会找一些原因说，做物理的人擅长这个或者擅长那个。但是就我个人的视角来看，我觉得主要的原因还是 connection，就是联系。因为 Phi 的创始团队里面，当时有三四个比较技术的人，其中有两个现在还在技术一线领导的，他们俩都是做物理出身的。然后他们可能招的一些人也是做物理出身的，所以就这样一直延续下来。但其实到了现在，在我之后，几乎也没怎么再招完全没有 AI 背景的人了。所以说，这也是一个时代的产物。
然后我当时决定去做，所以就试著去联系一些地方。你只找了 DeepMind 吗？没有，我还找了 OpenAI 和几家，比如 Google DeepMind。但因为他们当时速度太慢了，所以最后没有出现在考虑范围内。不过「速度太慢」指的是他们面试的速度慢。后来显然他们的进展获得了长足的提升，后来动作就非常快了。
然后呢，我也联系了一些地方，但可能没有找到特别合适的人。后来我联系了我的第一个经理，他以前也是做理论物理的。他当时跟我说，他们在尝试做强化学习，做这种大规模强化学习，有很多科学问题需要去理解。那个时候是 2024 年 9 月，强化学习领域还没有现在这么成熟。那时候大多数人其实都不知道怎么做，因为 O1 还没发布呢。那时候大家只知道有这个东西，但还没看到结果，也不知道具体怎么做。当时大体上知道方向，但有很多细节需要仔细研究。所以他就跟我说有这么一个机会，问我要不要来面试一下。我觉得他可能觉得这是一个好机会。
你当时怎么认知强化学习的？没认知。你大概知道 TRPO 吗？对，我大概知道这个流程，但我不太知道具体的工业级别的魔法性是怎么训练的，只知道学术界是怎么训练的。所以其实当时的认知，在我现在看来就是没有认知。然后更多的是觉得这是一个不确定的事情，但也是一个好的机会，所以我就去试了。
当然也有面试的准备和过程。怎么准备的？我当时跟谁面的？后来我的一些同事当时也面过。面试题也不太难，但对我来说，我当时也不知道怎么准备，就把能找到的课程自己学了一遍，能做的作业做了一遍，然后自己手搓了一套。就是那个 Andrej Karpathy 有个著名的项目，叫 nanoGPT 还是什么的，反正就是可以在 Google Colab notebook 里面训练一个很小的 GPT 模型。我就手搓了一下那个，然后就去面试了。很快就拿到了 offer。
然后你第一个方向就是大规模的强化学习。当时其实有两个组的 manager 来跟我聊，一个是做 evaluation（模型评测），另外一个是做强化学习。我选择了强化学习，当然选择强化学习是因为它更加不明朗。那时候公司也还很小，不像现在是一个大公司了。我去的时候，我们那个大的 team 才只有十个人左右，不是十个人就是十一二个人。大概是这样？
呃，叫 Horizon 对。然后那个时候，那个大 T（也就是大 TEM 的平台）有什么？那个大 TEM 其实后来几乎就是强化学习的方面都在这个 T 啦。那他整个大组就是一个强化学习的大组。
首先，这个创业公司也很难说这个组的目标是什么，因为他可能曾经也有过很多不一样的目标。但只是那个阶段可能主要的目标是做强化学习。对，然后当然底下也有做更多组，比如做环境和 INFR（基础设施）的组，也有做这种 research 和算法的组。然后我去的那个组是比较偏 research 和算法组。
嗯，那个组大概多少人？那个时候可能七、八个人的样子吧，总共。但是对，这是整个公司的规模——7、800 人。
你一进去对这个公司的印象是什么呢？我觉得，我对 Horizon 的印象其实还是挺 consistent 的。就是我觉得进去之后，公司的印象就是执行力非常强。就是他其实是一个比较「拼」的公司。对，然后所以很多事情决定了之后就会全力以赴。然后公司其实员工之间的氛围也很好，就是大家都不会藏著掖著。尤其去说，很小吧，所以就是大家都认识，所以就分工很好。
然后，呃，我觉得如果只是做语言模型相关的事的话，其实现在回头来看，那是一个非常非常好的学习机会。就是你能够接触到这个模型训练的方面，然后都能找到对应的人去问。对，那个时候的 topic 已经有了，现在我们都知道他那个非常坚定的 BAT 了吗？有的，有这个 B 来自于哪里？为什么会有这个 BT？
呃，我不知道他完全的来源在哪，我自己能看到的一个显然的来源就是前一代模型 Claude 3 发布之后。嗯，Twitter 上（那时候可能还没叫 X）有很多人在讨论说，那个 C3 好像写 Coding 比 GPT-4 强哦。嗯，那个年代 GPT-4 还是一个大家觉得不很大的模型，所以能有一件重要的事比 GP 强就很厉害了。所以出来之后，我觉得至少是其中一个原因，就是很快地对这个市场做了反馈。对，这也是我觉得这个公司很强的一点，就是他 execution 力非常非常强。一旦给他一个信号，让他觉得是很 reasonable、这个公司该做的事，那就会铺上去，他没有那些打组织内耗的问题。
对，为什么他的 Coding 会比 GPT-4 要好？不能说哦，是有原因的，是有原因的。但是是个随机的原因，不是一个「我这么选择所以有了这个结果」的原因。是一个纯技术言语的问题。但是确实，我不能确定一开始是随机的还是故意选择的。你要让我猜，我肯定会觉得是随机的哦，纯纯技术的原因。是有某个人做了某个事情，呃，是确实有某一个团队做了某个事情。
对，是自上而下的还是自下而上的呢？我觉得最开始可能是最自下而上的，但是后来就变成那个自上而下的事啊。就是要快速捕捉到一些市场的——就是内部和市场的信号。对对，我觉得这个闪，然后要赶快要铺上去。对，我觉得这个闪是非常非常强的，他非常非常的 reactive，反应非常快。
他执行力来自于哪里？来自于 D 这个人，来自于他的某种特质。我感觉就是，嗯，配作为一个公司来说，他能够实现这种比较 top-down 的机制是一个很独特的事。为什么呀？
因为嗯，实行起来其实有一个很难的点。嗯，就是你做技术的决策人必须也是公司本身的决策人。嗯，首先就是你技术上得能服众，下面的研究员才会——你才能够，就是让下面的研究员信服去做这个事。另一方面，就是你得是公司的决策人，你得能为这个公司负这个责任。嗯，有这个条件，就是说他的技术上的 leader 其实也是公司高层的。那是——你指的是谁？不是 Dell 嗯，就是像 JC Penney 和然后像他们俩，就是公司高层的，他们自己做这个决定。那是人家的公司，所以他有权力做这个决定。那达有作为 CEO 他会 yes/no 吗？我不知道他们决策层的讨论里面 OK 大有起到了什么样的作用。我只能说，就技术 leader 是有决定权的。嗯，我只能说对我当时的工作来说，我结束的最多就是这。嗯，可是这对于其他模型公司很难吗？很难。比如说 OpenAI 就干不了，伊隆的时候难得不行吗？一开始的时候有可能可以，但是后来一方面我也不知道因为什么原因，他好像就是失去了这个做决策的能力，然后走了。所以就——哦，其他公司呢？其他公司我觉得都比较难，就是咱们也比较难，但是我觉得咱们就是另外一套打法，不太一样。就是说，我觉得就是大公司和 startup 的打法本来就不一样。因为 startup 重要的是 make bet，就是我得赌一件事。嗯，我如果想要赌，就意味著我能够很快地做一些决策，然后很强力地推进一些决策。嗯，那可能在这种情况下，我觉得是一个很有优势的事。所以我觉得从组织上来说是比较有优势的。但是作为大公司来说，他可能就是另外一套想法。因为大公司的想法可能是，我不仅能尽量减少做赌的成分，而是我能在方方面面都有储备，然后任何一个事成了，我都能跟上。然后如果有事我自己做成了，我可能还能领先。这可能是大公司的应态。所以说在 Google 是一个很传统的、很 bottom-up 的组织，就是公司从上面可能有一些比较良好定义的框架，来看你的工作是好是坏，来引导你做一些公司需要的事。但是本质上还是你自己来决定自己做什么。嗯，所以你觉得 Anthropic 能做到这一点，是因为他独特的文化、组织和文化吗？听起来其实应该是其他公司也能做的，但是却非常奇怪地发现其他公司很难做到，而 Anthropic 可以做到。对，我觉得还是需要技术的或者公司的 leader 有公信力吧。这个其实挺难的。我觉得你说的还不是 CEO 有公信力，是技术的一号有公信力。对我来说，我觉得技术的一号位有公信力很重要。嗯，但是与此同时，CEO 可能没有成为一个阻力。这个难吗？嗯，这个我觉得就得看你这个高层定的这个 trust 有没有足够的互相信任。嗯，这个也很关键。我觉得这点也是在 startup 很强的，就是他 core team 没有一个人离开公司。他们如果你去看他们过去，就是一群真正一起打过仗的人。过去他们源自于他们都是以前 OpenAI 的，对。然后像他们甚至好多人都是在一系列关键的 paper 上的合作者。因为你像 Skin Language 这个 paper 是 2017，然后 S，当然还有 W，然后还有一些可能 TR 也在吧，我不太记得 T 在不在。然后 GPT-3 就是 TR 在，然后 BL 在，然后 J 和 S 也都在，D 也都在。所以他们是一块抛过战豪的人。嗯，我觉得互相之间的信任还是很关键。嗯，有很多公司可能就是干著干著，连这个小集体都团结不住了，那你怎么能指望这个大公司能团结住呢？你在说 OpenAI 是吧？啊，你加入 Anthropic 公司正在做的最重要的项目是什么？你才刚到那个大项目里面了吗？
对，就是当时做这个项目，就是为了做大规模、大尺度的强化学习，然后能够用它来提升模型的能力。嗯，这就是当时最重要的事情。然后我们当时做这个团队……呃，当时的研究重心就是这件事。嗯，这也是这个团队后来慢慢变大，然后变得越来越重要的原因。最终带来的结果就是大家熟知的 3.7，也就是 C 3.7 这个模型。对你说，内部有一个 3.6，这个……啊不是，内部叫法跟外界的 cloud 3.5 其实有两个版本：一个可能是 6 月的版本，另外一个是 10 月的版本。然后你也可以看出这个公司当时也没什么产品能力，居然把两个模型都叫同一个名字。所以后来外面的人为了区分，就把 3.5 的后面那个版本叫 3.6。所以我们内部也跟著外面的习惯，就叫 3.6 了，而新的模型则叫 3.7。
哦哦，所以你去看实际的公司产品时间线，其实 3.5、3.56、3.7……怎么会有一个 3.5？这到底是怎么想的？你觉得我说的那个时候，可能真的没有什么产品上的规划。所以你第一个项目是 3.7 还是 3.5？3.7，3.7 还是 3.5？其实我……呃，没怎么参与，几乎没参与。因为 3.5 的时候就已经看到了 C 的一些迹象，对吗？你才刚开始的 3.56 的时候，已经看出 SOF 的模型在 HC 会比别的模型强了。这是为什么？因为他们把它收进来了。所以你进去的时候刚好就是他们知道了这件事情，管理层也知道了这个迹象，然后他们要「make batch」的时候，你的运气很好啊。
我觉得……我觉得对，我觉得大家肯定已经看到这件事能做成且重要。嗯，但是不太清楚怎么去把它做成。然后我去的时候，是跟大家一起去研究怎么把它做成。啊对，所以方法是大尺度的强化学习。从大的角度来说是这样，但是当然有很多技术细节是需要去研究的。这里没有什么弄虚作假啊，有很多 NDA 的内容呢。有很多是会写得这么详细吗？
呃，其实原则上来说，原则上来说，员工在任职期间和离职之后，是不能透露任何跟公司内部相关的信息的。但实际上来说，就是大家心里都有一个度，就是说如果这个东西没有公开的话，肯定是不会公开去谈的。但是我觉得虽然我不能公开去谈，但我觉得把简单的事情做得比谁都干净，是最关键的。什么叫「干净」啊？你才用过这个词。
对，就是我觉得有很多花里胡哨的技巧。比如说做强化学习，最简单的 algorithm 就是 policy gradient，但这不代表这是唯一的 algorithm。它有别的算法，比如说各种复杂的搜索。但是这些复杂性是必须的吗？然后这些复杂性可能给你带来了一些……一些非必要的牺牲，它可能给你带来一些基建上的困难。那你怎么去避开这些事？这些事其实做研究需要去理解的。嗯，就是怎么去 balance 这些不同的因素，然后选到最好的那条路，最稳定的那条。
然后我觉得很多的「弄虚作假」其实都在这些细节里面，怎么去处理这方面的细节。对，那个时候怎么来描述 CD 很重要呢？我觉得他认为是大约模型的一个分支，一个重要的分支，还是什么呢？
我觉得每个人可能想法不一样。对我来说，嗯，对我来说，它重要的原因有以下几点：
第一个原因是——超一直在讲的事——就是说，coding 本身也是做原创性研究的一部分。如果你能够把 coding 做得很好，那可能会让你的研究效率有显著的提升，就形成一个研究上的飞轮了。哦，这是一方面的原因。
对我来说，另一方面的原因是因为 coding 其实是模型、使用工具和环境交互的一个很好的抽象。首先，这个抽象刚刚已经说过了，就是这个抽象的好处在于，比如说回馈信号清晰，然后数据充分。其实你很难在别的场景下找到能同时具备这两个特质的使用工具的场景。嗯，所以对我来说，这是一个很好的抽象。在这里面做的一些研究，可能对更通用的那些使用工具和环境交互的能力，有一些有用的 lesson，有用的课程。
那时候 Curse 是什么状态？那时候 Curse 还是一个产品公司。我觉得从某种意义上来说，好像在我去演之前的那段时间里，Cloud 和 C 都属于比较 underdog 的状态。然后在 3.5 到——就是 3.6——外界的 3.6 这一代的时候，首先是模型能力上去了，然后 Curse 又发现这个模型真的能够做 H&T coding 的工具了。嗯，对。但是这个壳包著这个模型，一下子让公众——不是公众，就是软件工程那个圈子——当时体会到了：诶，这事好像是真的，是效率工具了。所以后来这个一下就起来了。
那时候他就 OP，就意识到 CER 是未来的精神对手。那不知道该问 3.7 是怎么做出来的？嗯，这个是一个分水岭。对于 Undoopic 来说是一个分水岭式的模型。我觉得对于后训练来说，也是一个分水岭。就是在 3.7 之前，后训练都处于一个比较——嗯，比较小规模，然后可能就是修补补模型的这种状态。大家不重视后训练吗？也不是不重视，就是一开始大家其实很长时间都没有搞明白后训练该怎么 fill up。
哦，但是在那个阶段，不管是 open and software 还是包括像中国的 DeepSeek，他们意识到了这个事该怎么去 skill，该怎么——就是——你得找到合适的环境。这个环境它的回馈信号要足够清晰，然后这个环境本身也是一个很强的数据源，然后在这上面其实能让这个训练非常稳定。这个事就能做成。嗯，对对。
我记得那时候其实大家都不知道 OP 那个项目是什么，就知道他的代号叫 Strawberry，然后大家觉得会带来一个新的范式，新的范式就是后续训练、强化学习。但是更多的就不知道了。
对，其实——嗯，其实我觉得我去的时候，大家已经比较清楚这个事大概该怎么做，就是大概的方向是怎么做。然后，嗯，当然后来就是随著我对这个领域知道越来越多之后，我就发现其实那个时刻，OFI 做的方式和其实还是差别挺大的。怎么说？
就具体这种算法和使用数据的方式，其实不太一样。虽然都叫「后训练」和「强化学习」，虽然都要这个，但是——当然——我觉得那些不是本质区别。就是说，从大的方向来看，他们是同一个：就是找了一些、找一些这种反馈非常清楚、非常客观，然后数据本身又比较干净，对于模型来说是可学习的，然后在上面做稳定的强化学习。大的方向来说，都是这个方向。
但距离实现其实差别比较大。后来事实也证明，距离实现其实每家方向都不一样，但是都能做成。嗯，而且当时 OP 的目标也不是 coding。当时我了解到的叙事是说：预训练作为第一个「饭碗」已经金矿快挖完了，所以我们现在开启第二个金矿，就是后续的强化学习，然后让 scaling law 继续……嗯。我觉得很长时间欧美都是这个想法，我不知道他们现在想法有没有变。嗯，呃，我觉得对我来说，我的想法经历过摇摆。
在三期那个时代，我其实觉得——我当时也抱著这个预训练已经快「Party is over」的感觉，然后就在你要入职的时候是吧？我刚入职，当时在做这种参观、实验的时候。嗯，呃，我当时也曾经报过这个想法，但是后来随著了解越深入，我就发现：其实还有很多东西。然后预训练这件事，它也不是告诉你要一直变大，嗯，它其实本质上是一个很系统的框架，能够告诉你做什么样的事更有效。嗯，然后呃，所以后来就发现其实还有很多事情可以做。事实情况是，后来和 Jam 的运作也一直在不断进展。我现在自己卡了，他现在又重视运行练了吗？他应该已经重视运行练挺久了，就是最近可能刚刚有点进展哦。
所以预训练和后训练作为两个「饭碗」，都没有达到它的那个平台期。我觉得都没有，但是你说要去预测到了多少，这个做不到。对，我觉得到达平台期有两种可能性： 1. 一种可能性是技术本身到达极限，就是你明明还有想让模型要做的事，但是这两项技术就死活不会了。 2. 另一种可能性是你想做的事到平台期了。
哦，我觉得现在是后者。嗯，就是我们现在知道了：哦，有一个 chatbot，你可以叫他做这个；又有一个 Cody，你可以叫他做那个。后面就不知道了，对，就不知道该交点他什么好。哦，就是说，模型还是一个非常聪明的小孩，你其实可以教他很多东西，但是我们人类作为老师，现在还不知道下一个东西该教什么。对对，或者说，该怎么去合理地教他，用现在的这些「饭石」啊。
嗯，说 3.7 还有什么版号？呃，这是几个月做出来的？这个最后林灵总从开始训练到发布，可能花了四五个月的样子吧。嗯，对，就是从你刚进去，就是从开始大家为了这个事做研究，可能花了两三个月，然后后来开始训练，到训练结束中间有很多事情要处理啊，然后有很多新的基础设施——基础设施真的很重要，很花时间——又可能花了两个月这样子。
你在其中做的重要的工作是什么？
我觉得我也没什么重要的。我觉得我个人对任何一个模型的贡献——我的陈述都是——我觉得自己对那件事没那么重要。我觉得我更多的是很幸运，也有机会在那个时候加入了一个重要的项目，做了一些事情。
嗯，因为从某种意义上来说，我觉得AI在最近这几年这件事本身是一个不可阻挡的趋势。嗯，它不在于你这个人去做或者不做，你不做也有别人一样能做出来的。所以我觉得在这个时代，其实所有给个人贴金的事情，都有点炒作的嫌疑。但是，确实我觉得对我来说，我是很幸运能在那个阶段加入一个重要的事情，然后学习了一些知识。
好的，那你在幸运的在那个阶段，在 OPIC 这家公司的大尺度强化学习团队里做了什么？
我觉得 3.7 时候可能主要做的还是，就是在 R 里做 agent coding 这件事。怎么把它 skill off，或者怎么去准备各种各样的环境和 data，然后包括算法上会遇到什么样的问题。当时主要的研究都在这部分。这没有什么 tips 吗？
现在来看没什么特别有用的。我觉得，我觉得说到技术的 tips，其实这件事一方面大家很愿意听，公司又不让你说，但实际上又没什么用。为什么？因为很多算法设计其实并不鼓励独立于算法，它是非常强的依赖于运算技术设施。
举个简单的例子，就是有些公司可能大家经常讨论一个问题，就是在强化学习时候，这个 sample——就是给你产生这些 trace、这些 token 的那个机器，和 trainer 用来实际训练这个模型、然后改变模型参数的这个机器，这两个机器可能会有不一样。当然不一样有原因，有些是因为数值上的不一样，有些是因为使用那种一步的训练架构。所以说，它自然从根本上来说就不一样。那你不同的公司，这个不一样的程度是不一样的，所以你算法上的设计也会不一样。
有些公司它可能这两个 difference、这两个区别非常非常大，那你算法可能最大的部分就是在于怎么控制这个，然后怎么让这个训练稳定，对于训练的实际效果之类的，就会稍微小一点。但有可能有的公司它的基础建设就特别特别好，这两个差别没那么大，可能就可以花更多精力在这个训练的效果上。
嗯，所以说很多这种小的 tips 其实是没有什么用的，很多时候是没什么用的。我是因为我确实也发现了，就是很多其他 lab——不是在这三家 L 里面——可能很想知道 A 怎么做这个，或者 B 怎么做那个。但其实我有时候不愿意回答，一个主要原因是因为我觉得本质上，我回答这个问题也是在误导。因为现在的 AI 是一个大系统，你其实要了解这个系统的方方面面，才能有一个全局的认识：什么事情因为什么而变得有用了，而不是说这件事本身有用。
嗯，从 3.7 到 4.5 发生了什么呢？呃，这个预训练联合会量，然后当然就是 skill up 上做得更多了，然后 data——不管是 data 还是训练的算例——都更大规模了。但是我觉得从本质上来说，没有特别特别大的改变。
嗯，到你离开时，他已经多少人了？接近 2000 人了吧，扩了一倍多。
嗯，所以你在 OPIC 时期，好像是他最具转变的一个时期。我可能就踩在了他还是个小公司的尾巴，就是我觉得进去之后过了可能三四个月，这个公司就已经开始人一下子变多了。文化有变化吗？
还是经历了一些比较混沌的阶段吧。然后，可能尤其是——可能就是在我离开的那段，快离开的那段时间——我觉得文化上还是经历了一些混沌。因为从外面来了一些人，然后可能跟本来的文化产生了一些冲突。之前的文化是，我觉得之前就是很简单，像是一个小房间，大家都是朋友，然后大家都知道对方在干嘛，也没有人特别会去做过多的个人宣传，或者做一些没有用的事。大家都有很多事要处理，公司那时候可能紧迫感也更强一些吧。
后来可能就觉得，这样人多了吧，这样的文化肯定会受到一些冲击。带来了什么风气啊？呃，我觉得确实有一些人，我个人不是很喜欢——当然不代表他们真的不好，就是我个人不是很喜欢——可能我不太喜欢在这个领域里面说很多话的人。我觉得「idea is cheap」，想法是便宜的，很多想法其实很显然，所有人都知道，难的是怎么把它实现，怎么把它变成一个一个小的、可实现的步骤，把它做出来。我觉得我不太喜欢那些一天中很多时间花在 Slack（Slack 是美国用的一个办公软件）上，或者在 Slack 上花很多时间讲一些大道理，我觉得没什么用。
嗯，你后来为什么突然离职了？你是完成了什么阶段性的工作吗？当时酝酿了多久？ 我觉得可能酝酿了一两个月，一个多月吧，一个多月一点，快……对对。我觉得一方面是，我其实不是太认同 D 大反这个事。哦，我觉得他作为一个公司的 CEO 来说，对他个人来说，他做什么样的观点我觉得都无所谓，但是作为一个公司的 CEO 来说，我觉得把一个观点推到这么极端的地步，是一个非常情绪化的体现。对，然后这是一个比较小的原因。当然，大方面有很多，比如公司的文化上有些冲击啊，然后包括自己可能也想去学一些不一样的事情。毕竟它非常专注，你可能如果很想做和语言相关的方面，或者做这种使用工具啊、coding 这种事，在那里其实很能学到很多东西，但是有很多不做的事。比如说，完全没有人做这种动态编译（JIT），你想学也没得学，然后可能也没有花太多的精力在更底层的工程技术、基础设施上。所以可能想要学习更多东西，也是我当时离开的一个动机。
嗯，那个占百分之多少比例啊？因为有的个人原因，我在公开场合说 40%，但是这个数字反正就是听听就好，这个数字就是告诉他，不是主要的，但它确实是一个很大的原因。对，没有控股，不是个控股原因，对，不是个控股原因，但是是一个 Majority Holder 的原因。
嗯，你这个选择也很神奇，因为大多数人在一个还是 underdog 的时候加入，会更有感情，然后会愿意陪公司走更长时间。但你反而跳去了 Google，因为很多研究员一进去 Google，他会觉得 Google 给的 scope 不够，所以他会反而想跳去像 XCL 或者 IC 这样的更小一点的组织。你这个反行动好像也是反的。 我觉得其实取决于你自己想要的是什么？
如果你很想要的是一个很明确的——像你说的——很明确的 scope，然后这件事和我最后的产品的模型息息相关，我一定要把其中的一个想法送到这个模型里去。嗯，那可能 Google 是一个很差的地方，嗯，因为毕竟有那么多的研究员，有那么多已经成熟的组织在做这件事情，是很复杂的这个过程。但是，我觉得如果你想要的是你有研究的自由、有探索的自由，然后想要能从更广泛的人学习，我觉得在这件事情上可能找不到第二个比咱们更强的地方。
所以，我觉得本质上还是取决于你自己想要什么。嗯，但是我觉得很多人离职——不管从哪离职换到另外一家之后——可能会觉得不开心的主要原因是因为没想明白自己要什么。比如说，你到了 Google，你可能该是——如果你刚开始想的是「我要有研究自由」，然后学习更多的动机是学习，然后你去了之后发现还是想要有产品 impact，那你可能就会很难受。你不追求 impact 吗？你也可以说，现在这个 AS 是一个非常大的系统，然后是一个很大量的人写作的一个东西，你在里面追求什么？
我觉得分阶段来看。我觉得在经历了太多和产品息息相关的事情之后，我可能也想给自己换个脑子，去学习一些不一样的东西。但是，你说有没有一天我可能又换回这个脑子，又想去产生一些产品的影响？也是有可能的。
产品影响力怎么量化？ 这个内部都很清楚吗？不好量化。嗯，就是我觉得，因为发论文的时候，还是有一套作者主导的评价体系。现在呢，嗯，其实没有办法量化。这也是为什么我觉得在这个时代，谈每一个人个体的影响是一件很虚无缥缈的事情。我觉得本质上还是这个组织做了这样一件事，或者这个世界需要这样，所以产生产品 impact 是个主观感受。在模型测试上是这样，在模型测试上这样对。然后，当然实际上你可以——我觉得可以细节谈的是——你自己做过哪些事情，具体的技术贡献，然后它在技术上产生效果，这个是可以客观去谈论的。但是比较主观的，是效果在最后的产品里占了多少比重，这个没有人能说清楚。哦，对。
在 3.7 上你能描述一下吗？你做了什么样的技术性的工作对模型是产生影响？ 主要还是跟 coding 的环境有关的工作，然后也有一些算法上的改进。算法上主要是怎么让这个训练变得更稳定。说实话，算法上肯定是有一些提升，但是也没有达到特别理想的效果。比之前的算法肯定是要好一些。嗯，对，但是那个我觉得也不是我个人的贡献。嗯，我觉得也是大家集体的贡献。啊，对。我每次问你，你都会说这是集体的贡献。
嗯，不是一个人英雄主义的时代了。我觉得个人英雄主义时代对于蓝鲸来说可能过去了。什么时候是呢？就是在「form」那个时刻。对，就是在那个技术还没到「skill up」那个点之前，找到那个技术的人可能是一个英雄，或者找到那个技术的一个小团队可能是个英雄。找到那个技术之后，可能很快用时间——从模型来说——都是我觉得更多的是集体主义。嗯，就是这个集体能不能一起工作，能不能为了一个目标一起花自己的时间、花自己的精力，这个是最重要的事，而不是每一个人提供了什么样的东西。
说集体主义的原因是因为，其实能力是来自于 AI 吗？
我说集体主义的原因是因为我觉得 AI 这个方向本质上就是——没有哪个（除了可能跳出一个 idea 之外）——我觉得没有哪个想法在背后有很深刻的动机。在之后的过程中，很多想法其实是非常 trivial 的，就是非常愚蠢的，谁都能想、谁都能干，只是你运气好撞上这个机会去做了而已。包括你在描述 coding，好像它也是某种随机性，但你要抓住它。
但是，我觉得做 C（编程）可能比做模型测试这些技术上的东西，可能还更稍微有一点「公司英雄主义」，就是说你能不能足够快地赌对事情。嗯，那确实还是一个很强的能力。但如果今天没有 OpenAI 做，可能别的公司也会做。我觉得这就是一个必然的事，所以它都是 AI 在涌现能力。对我来说，就是看你能不能抓住那个能力，不管是公司还是个人。
我觉得在这个可用的圆形模型（大型语言模型）出现之前，那个时候很多事情是一个非——就是有没有一个人能够发明一个东西、一个语言模型，能够大规模做训练？嗯，然后以及 GPT 这个范式能不能被发现出来？那是有很多不确定性。但是你说，比如那个时候，如果没有 Google PR（PageRank），可能 Transformer 就不会被发现，可能要过很多很多年，才会有另外一个有钱又有人的组织发现。那可能就是一个很大的影响。
但是进入那个阶段之后，尤其是到现在已经反过来了，就是任何一个组织想要停止 AI 进展，嗯，是做不到的。安倍晋三很担心美国那边有没有这个能力阻止别人发展 AI？他没有。你阻止不了别人发展，你停止发展，别人会发展，你的话语权还会变小。其实现在更多是这样一种状态：是这个世界在推著我们前进，而不是我们在推著这个事件前进。感觉未来我们会更加难以阻止。耶，我觉得已经阻止不了了。就是我觉得试图去阻止 AI 里的一件事发生，可能本身就不是一种正确的想法。
嗯，这也是刚才聊到的，因为提到所谓的「fake」（可能指误解或争议），其中一个很重要的动因是所谓的 AI 安全。我觉得他在 AI 安全这件事上，创立的时候动机跟现在有什么关系？现在的关系比较复杂，就是说一个很自然的问题是：大家可能会问一个做 AI 安全的公司，为什么现在开始训练模型了？嗯，他的解释是说：「我首先得拥有一个最前沿的模型，我才有话语权来推进我的安全。」所以说，他其实一直以来的想法是：我要做这个领域最好的模型，让大家不得不听我的，来推进我的安全政策。
但其实从我个人角度来说，我觉得这个想法是非常幼稚的。这件事现在看来，他不会发生，更有可能发生的是：大家都有很好的前沿模型，而你没有办法阻止这件事发生。对于这件事来说，现在更多该关注、更多该想的事是：如果你真的想要避免 AI 带来一些危机，什么才是一个更自动化的解决方案？
嗯，举一个自动化的例子，就是比如说核武器。核武器也是一个大家觉得可能有毁灭世界力量的东西，但核武器最后受到控制的方法，就是 MAD（Mutually Assured Destruction，相互保证毁灭）理论。就是说，当有很多个有核国家，他们互相都有对方的能力，所以通过这样一种制衡才稳定住。我觉得你要阻止 AI 干一些不好的事，可能最终是需要一种类似的机制来实现的，而不是希望一家公司制定一个法律然后管一件事。嗯，对，而且他自己制定，他也只能管得了自己。
嗯，你刚也提到 DeepMind 有个可解释性团队是吗？这个它的可解释性到达哪一步了？
在一些比较简单、然后比较「西」（sciency）的神经网络里面，他们能够做一些有趣的研究。比如说，看看某一个——呃——输出的或者输入的文字或者图片，它内在的表示是长成什么样的。然后，你可能把那个表示反转一下之后，它会输出一个什么样的东西。嗯，所以现在这样的研究——他吗？你刚才提到一个观点，就是 AI 本质是简单的。你这个……我们描述一下这句话。这是一个结论吗？对我来说，这甚至不是一个结论，就是这是我的一个 statement，是我的一个陈述，它可对可错。然后，我对这个陈述的解释是：我觉得它本质上简单的点在于，它能做实验。就是它和——比如说——本质上难的东西（比如物理）的区别在于，那些东西你没有相应的实验数据，你就理解不了那个理论。嗯，但是 AI 不被这个所限制。目前你理解不了没关系，我也可以往前发展。而且，事实上，我现在能够做任何我想到的实验，只是可能需要一些时间去提升计算量，或者把基础设施完善。但是没有什么本质上的困难。
所以我一直说，就是觉得 AI 没有给人「碰壁」感觉的原因，首先是很多东西你都能试；其次，现在不是说大家已经江郎才尽、没有什么想法可以试了，更多的情况是有太多的想法得一个一个试，花时间。嗯，对，感觉人好渺小啊。嗯，在这个实验事实面前，是的。
所以说，我觉得很快可能 AI 就会开始自己做实验了。然后……开始得多快？四个月内？我觉得未来的六到十二个月，AI 就会自己做实验。我觉得其实——当然——这话不太好定义，对不起，我说了一个很模糊的话。就是 AI 自己提高自己，或者自己来加快自己的发展过程，这件事其实已经在发生了，对吧？就像我们刚才最早时候聊过的，它已经开始帮我们实现一些我们想要的东西，然后大大加快我们实验的速度。但是我觉得，未来六到十二个月，它目前还做不到的事情是什么？是说，它能不能从头到尾地把一件 AI 研究的事做完？比如说，它不仅能写这个 code，它还能跑这个实验，跑完实验还能看到结果，看到结果还能分析结果，分析结果之后知道哪里做得不对，嗯，然后提出新的假设，涉及新的代码，跑新的实验。这条链条目前还没有完整，但我觉得这套链条可能是下一步会慢慢变完整的事。
嗯，对。基于你的各种原因，在你决定离开那家公司时，你对这家公司未来的预期是什么呀？
呃，我觉得我离开的时候，我对这个公司其实挺悲观的。哦，但后来显然是我过度悲观了。为什么悲观？我当时悲观的原因是，因为——呃——我觉得我当时离开时，S 公司（备注：应为某公司名）说了，其实主要的收入来源都是 API，就是卖卖图（可能指图像生成服务），然后这个差声音（可能指语音服务）是差生意。这个生意只有对一个公司好，就是 Google。嗯，因为这个生意最后就是得打价格战，就是这个弯处理（应为「弯曲处理」或「商业模式」），就是要打价格战。打价格战的话，你没有完整的链条是没有什么太多优势的。
但是后来，显然在产品方面，我觉得确实有很多巧思，做了很多好的事情。不管是像 Clock（可能指某产品名）变得越来越好用了，然后 C Work（可能指协作工具），然后和各种各样的工作和效率相关的事情都慢慢汇聚起来了。所以感觉它现在反而变得比我当时想的更有竞争力。
你要问我哪个会先死？但是——就不会真的死，就是哪个会先变得没那么重要。我当时会觉得 OP（可能指某竞争对手）会先变得没那么重要，但是后来，首先 OP 被 Google 揍了一拳，然后瑞（可能指某公司）自己又上位了。所以现在看来，好像瑞更加优势。
自己后悔过没有？
嗯，不太后悔。我觉得对我个人来说，我的个人动机还是想要换一个地方提高自己。嗯，我觉得对于这件——对于想做的这件事来说，这个选择没有什么错误。
你也提到 IC 的产品有很多巧思，特别是今年，像是 CWORK 这些。这个来自于哪里啊？我觉得我没看到 CWK 的发展过程，所以我不知道。然后 COD，我觉得人产品可能还真是有一些个人英雄主义的机会哦。是研究员还是产品？就是那个，我觉得 CCO 几乎至少这件事的开端吧，是他自己想要做这个事，提高自己或者同事的工作效率哦，最后变成了一个对所有人都很重要的事。
Waris 是一个什么样的人？ 我跟他没有太多的个人接触，我更多的是看到他在公司的时候的工作。他是个 researcher 是吧？对，但他主要是在产品那边哦。所以是有专门的产品部门的，嗯，以前没有分得那么开，后来有单独的。嗯，对，感觉是很懂 AI 的产品。
我觉得，我觉得这就是为什么刚开始说的时候，觉得这个产品经理可能还是目前挺难被 AI 取代的。嗯嗯，好的产品经理，而且它好像不是上一代那种产品经理，它不是那种 feature 的摆放啊什么的，他好像是知道怎么跟 AS 写作的某种产品经理。对，我觉得上一代产品经理可能也不全是，就上也有些——交互方式级别的变化。但每次交互方式级别变化，其实就带来一个很大的产品，比如说就是可能这个抖音就是一个交互方式级别改变的产品，那一下就带来了很大的，打开了新的方向。嗯，然后我觉得可能 Code 也是一个这样级别的产品。
嗯，CL、Code 和 CWORK 都是 BIS，我不知道 CWORK 是谁做的，我已经离开了。
说到你到了 Google DeepMind 以后的工作吧，工作重心发生变化没有？ 嗯，还是发生了一些变化的。然后我反正我自己主要在外就是做 MLD，然后和一些比较 R&D 的事，就是这两个其实才都大概提了一句。就是 ML Coding，其实它主要就是想要实现说的这个完整的 AI 自己研究自己的这个立场。那当然这个过程当中有很多实际的问题，也有很多实际的细节要去解决。就是我觉得大的方向上来说，大家其实是比较有共识的，是该怎么去做，但是还是回到细节，就是细节上有很多处理，比如说怎么样去选取合适的 data，怎么样去选取合适的回馈信号，以及它又带来新的基础设施的挑战。然后现在就是要把这些事情一样慢慢摸清楚。
然后像 horizon，就是刚才说的另外一点事，就是说想要能够实现说这个模型能够在「口号」上 finite but use as infinite。我觉得想要把这个训练的长度一直一直一直变成可能并不是单个这个训练的这个语段呢一直变长，可能并不是一个很现实的方案。但是很现实的事，你如何在有限的 context 之下去做更长的工作？其实你其实想，人其实就是这个样子。人的 context 其实很短很短，你现在问我昨天晚饭吃什么，我是一点想不起来了。嗯，你可能想起来我是一点想不起来了，因为什么？因为他对我现在这个场景来说不关键对吧？就是我知道昨天晚饭吃什么又能怎么样？就选择把它忘了。所以人本质上是很短，但他能够选择性的遗忘，然后他选择性的去 retrieve，就是去把这些重要跟当前场景相关的信息再抓回来。
嗯，对，所以说我觉得那个可能也是一个对我来说很有趣的这种方向。这两件事其实是有点有点相关、有点互补的，为什么？
就是这两个事，其实都在「模型使用工具和环境，以及不同的模型与不同的人交互」这个大的范畴内。在这个范畴内，大家过去完成的那个节点就是 coding —— 嗯，就是又是工具，又和环境（环境就是这个虚拟机或者你自己的电脑）做交互。然后这个事情，其实它横向就会长出不同的使用场景。那作为 AI research，其实就是横向这个场景里面的另外一个场景。这个场景它不仅在横向上是一个新场景，它在纵向上也让这个事情的尺度变得更长。嗯，因为你可能完成一个一个代码的补全是一个很快的事，但你做一个完整的 AI 研究或者做一个这种计算机科学的研究，那是一个很长的过程。对对，所以说它其实就像一个「替子型」一样，就是横向也有，纵向也有延展。嗯，对，L 是不是还是个科学问题啊？
呃，有科学问题也有工程问题。我觉得科学问题更多的是怎么把不同的方案尝试一下，以更有效的方式尝试之后，来找到一条最后我们要走的方案。那正有哪些方式呢？呃，我可能不太说得太细，但粗略来说：从有一些方案是从 pre-training 的角度，从训练角度来说；有一些方案就是类似于这种 sparse attention、sparse attention。比如 DPC 有些工作，然后学界也有很多工作。然后从 post-training 的角度，也比如说像外界比如说你每天用什么 Cursor 这些，他们就是很强的 context management，管理这个 context 的能力。比如说它可以让这个模型去选择：我把这个中间某一个段觉得不重要就扔掉了，然后那段重要就存在某个文件里，倒是再取回来。这两种大的来说，这两种方案都有人在研究。当然，它具体实施细节是不止我刚刚说的这些例子，刚刚说的这些例子就是比较公开的例子，距离实际细节当然就每个公司还有自己的小秘密。然后我觉得最终也都会大家都会互相知道。嗯，然后呃，我个人是比较花更多时间在后选方案的这部分上的，因为呃，当然首先因为我自己呃本来就没有花正式的工作时间在 pre-training 上。Pre-training 对我来说更多是一个兴趣，我想学习的事，但我自己其实没有在那上面做太多的工作。然后另一方面是我觉得后续的这个方案其实更符合我自己对这个事情的理解。我对这个事情的理解就是刚才一直在说的：能不能用短的 pre-training，但是它能做长 context 的事。Pre-training 那些方案其实本质上还是需要你有长的 pre-training，它需要数据里有……对对对。所以说，所以它不太符合我对这个问题的哲学。哦对，所以你现在看，可以吗？用短的去训练长的？我觉得可以是一定可以，但是我们不清楚哪个方案最有效，或者说哪个能在长文本上做得很好。好像为什么呀？有些技巧有一些让我很惊讶的技巧。哦，这是 pre-training 的事吧？长文本做得很好，一定是两边都有，但是我只是说对我来说，玉心联那边那个技巧还是挺让我惊讶的。对，欧，没有 J 号好在朝文上啊，但是但是也有说法，也有说法也不一样，就是有些人也说 J3 这一代长版反而变差了一点啊之类的。嗯对。
Again，你加入 JA 的时候，感觉大家对 JA 的预期不高吗？没，我的问题是当时一期已经挺高的了。你那是几年几局啊？我是二，就是去年的九月底。那个是咱俩，放咱俩三之前。你对他的预期高？嗯，其他人呢？
我觉得内部的人当时对（J）还是印象不错的吧。就是，我觉得嗯……之前一直觉得 Google 很有危机，在 OpenAI 的冲击之下，我觉得大家的感知可能在 2.5 这一代产生了变化。哦，因为 2.5 是一个明显你能看出来「上道」了。当然，之前 J 的 1.5 也有一些，就是嗯……小的事情，某一个距离方面做得已经算很强了，就是很明显它已经不是很「摸」——就是很明显它已经不落后了。但是 2.5 真的是真的一代，就是我觉得开始有人开始用的模型。我自己其实也用过 2.5，用得挺多的。
你是看到 2.5 之后的 J 嗯……我去 G（Google）跟著没关系，主要还是我知道 J 大概是一个什么样的状态。就是有很多人在做不一样的研究啊，然后我也知道一些人其实嗯……做研究很有意思。然后很多 J 的工程师，我觉得基础是非常非常非常强。我觉得我是从他们身上学到了非常非常多。对，然后对我来说，那是原因。但是我觉得从大家的感知上来说，可能内部的人在看到咱们的 2.5 之后，就可能已经意识到说「咱俩是要赶上来了」。对。
那，就你来说，是不是你加入了专门的一个信号？不是，我加入他们的一个信号。那你为什么加入这个？ ——就刚说，主要是因为我想做事。其实我想要去（J），但你知道他们的人很强对吧？ 对。 那个是因为，就是他们来找我的时候，肯定也会让我去和他们的人聊嘛。那从聊的过程中，其实是能够看出来状态怎么样。哦，是他们来找你的？ 对。但是我觉得最后变成双向奔赴了。
所以当时 OPI 不是选择吗？如果你想从 IC（Infrastructure Company）对 Open 也是当时的选项。OpenAI 当时应该还是比 Jamina（J）从能力上要强吧，在那个时候。但是不过，那个时候是不是各种内部的内斗开始出现了？ 我觉得对。就是 OPI 确实也是我当时的一个选项，然后当然还包括像 XIA 之类的。然后我觉得 OPI 最后没有去的一个重要原因，还是我对他的文化——至少当时来看，我对他的文化是有比较大的担心的。嗯，就是我觉得嗯……用种粗话来说，就是感觉他是「做事」的人，没有咱们那么多「奶」（玩乐/调侃）的成分。嗯，也更没有玩笑多。对，哦，这个我挺在意的。一种文化和人的清新感，让你去了呢？ 对。
然后你又转到了 3 的那个转折点是吗？J 3 应该对他来说是一个很大的转折时期是吗？ 嗯，我觉得从实际的效果来说，我觉得是两件事让咱们产生了一个大的转折，变成了市场里举足轻重的 player（玩家）：N（NO）和 J 3 两件事。嗯，就是你觉得如果只有 J 3，可能也不会有现在这么好的效果。因为当你的试用率连 10% 都不到的时候，你这个模型好一点、快一点，其实等它传播出去就是太慢了。但是 NO 把它做成了一件事：首先市场上这件事很爆款，然后大量的人去下载了 J 的 app，然后 3 又紧接著把这个部分留下来了。嗯，所以现在他变成了一个举足轻重的玩家。
我觉得可能就是没有咱们打这么一拳，那其实 OPI 的位置很爽——试用率已经高到你其实模型上干点啥，对他来说可能影响都没那么大。嗯，甚至说实话，我觉得就是真正普通人用模型的时候，对于模型的能力的感知其实很弱很弱的。绝大多数人甚至都不用欧系列模型，绝大多数人都用普通的那个 GPT 的。所以说，我觉得对咱们来说，这个 NO 把量打起来，然后咱们 J 3 又把人留住，是一个很关键的事。他有事实上抢走多少 OPI 的用户啊？
呃，我不知道现在具体的比例，但是我的感觉是，咱们来可能试战会在 20% 左右吧。但是我确实没有仔细去检查过现在的数据。嗯，就是从事后来看，这两个因素共同促成了 JNA 今天对于 open 的冲击。
那你从内部视角肯定能更前置地知道为什么，就是发生了什么，Google 会有这样的变化。对我来说，我觉得首先就是 Google 的技术储备一直是够的，嗯，人够，对人一直是够的。然后呢，组织上来说，就是后来变得越来越有一个更好的框架，来让大家一起干这个事了。所以说可能会慢慢有些进展。
然后，呃，我觉得从某种意义上来说，我作为一个局外人，从某种意义看来，我觉得欧还是救了 Google 一命哦。就是因为大家以前一直都担心说，这个聊天机器人会不会完全把搜索取代掉。如果这个事真的发生了，Google 其实很难受。但是好在呢，就是 OpenAI 把这个事做了，然后让 Google 意识到了这个事很重要，但是它又没有把这个事做到底，没有把这个事做到极致，又完全没有把搜索干掉，可能就吃掉了一些份额啊。结果让 Google 自己把钱、人也追上来了。
那现在难受就是，你要万一就是有个公司——就讲，在一个虚构世界，有一个公司不仅做了 bot，而且还一路高歌猛进，越做越好，真的把你一把就把你搜索吃掉了，完全没有你反击的机会，那就很难受了。
那 ChatGPT 没有吃掉搜索，是因为 OpenAI 干得不好，还是为什么呢？还是因为这个形态干不掉搜索？我觉得两方面其实都有。就是说，首先目前的对话这种交互方式，其实不会完全干掉搜索。嗯，因为它比搜索强，就像刚刚最早时候说过，它比搜索强的一点是说，它有很强的交互性，你可以追问，然后你可以让它帮你把一些很复杂的信息梳理清楚，这是它很强的地方。所以这部分使用场景，它确实会把搜索的人抢掉。但是搜索里还有一些非常「愚蠢」的——就是你有一个特别简单的事，你根本不想浪费这个时间在聊天机器人上。比如说，我就想搜「买大米」，我就一搜就完了，我还非得去问 ChatGPT 我还费劲问哪个好，然后它还在这赚钱、赚钱，然后给你个链接，你再点进去网页再去买，对吧？
没有那个必要。嗯，所以说，从事实的使用上来说，它目前的形态并不足以把搜索完全吃掉。对，然后呃，当然，从那个角度上来说，它可能在聊天机器人这件事上也没有做到「登峰造极」，就它还真的让别人——让 Google 把它给超越了。那就是说，它自己现在还不算赶上吧？在产品上，我觉得在产品上不算赶上，但是在模型上已经是赶上了。但是投资人投 OpenAI 的时候，他们会说他们下注的时候是认清楚 OpenAI 其实是一个产品公司的时候，它的护城河其实是产品和品牌。
嗯，那从今天来看的话，似乎 Google 还没有在这件事情上能够——嗯，不能说超越吧，赶上吧？对，就是我觉得这其实反正，这都是我作为一个局外人、观察者的视角来说。就是你今天是从评价、观察者的角度来说，我觉得 Google 传统上在产品上就是有点慢，一直都比较慢。嗯，然后所以你说 OpenAI 会不会在产品上有优势？我觉得然后 Google 特别擅长的一件事是找到一个极为简单的产品形态，大家都长一个样，它就疯狂给你卷技术，你就卷不过它。哦对，所以那个事不过长的，因为搜索引擎就是这样的一个事。搜索就是一个典型了，就是大家都是一个框、一个键，但它就是比你搜得快、搜得准，你拿它一点办法也没有。
嗯，所以这为什么就是我感觉，就是一直以来 Google 都处于一个「做得很好但不太被认可」的状态。大家总觉得这公司壁垒到底在哪？也没有什么产品的「小思」（指创新），也没有什么……它就活到了现在。所以它撑住好的原因是什么？我觉得还是——就人好吗？我觉得还是氛围，就是说是一个特别特别重视——以前就特别重视工程师，后来就是特别特别重视研究的这样一个氛围。所以它很适合那种通过技术能力一出手就能定义产品能力的产品。
如果从这个角度来看的话，那你觉得 OpenAI 的位置是稳固的吗？我觉得像谁的位置都不稳固。嗯对，我觉得就是 AI 的形态还有很长的路要走，嗯，没有到什么「中局之战」这个地方的感觉呢。对，感觉国内已经有点这意思了。对，我不理解——就是理解，我很费解就是，那国内觉得我们在争夺一个 super app，就是此消彼长这样。我觉得 condition on 聊天机器人这个事，就是 super app。嗯，那可能可以争夺一下，但是问题是你这个形态是不是 super？那个形态会不会哪天出了一个完全不一样的形态，然后你的功能变成那个东西的子集？这是很有可能的，是吧？
我觉得没有什么，我觉得我看不出什么不可能。为什么爆不出来？不是那个重心态，但是这么多年我们就看到这个了。对，就是都是一个对话。我觉得我在这个事上我确实没有什么——没有什么理性或者炼化的标准来说明，更多的是你觉得这事很蠢。就是这个模型明明有那么多的能力，但居然用的方法是「查得爆」的，就是不太 make sense，知道吗？所以需要一个产品经理来解放一下，人类到现在只通过 chat 来跟 AI 沟通，让你觉得很蠢是吧？很蠢。就是那应该用什么去跟 AI 沟通？没想明白。要想明白我就干了，你没有告诉我。
Google 内部到底发生什么变化，然后有了外界看到的和模型能力的「土匪猛进」？对，就是刚才说的，我觉得组织上更清楚了。然后组织上一旦清楚的话，组织变化了吗？对，尤其是像模型训练现在变得非常非常清楚，就是谁负责什么事情，然后每一个点、每一个节点上谁是负责人，这些事情都很清楚。以前是混沌的吗？
以前啊，最早时候很乱。我我没有最早时候在那待过，但是就是根据同事或者我以前认识的人的描述，以前还是更混乱一些的。嗯，对对。然后现在就是，至少运作现在是变得非常非常清楚。然后加上这个，这个 Google 一直有的这种比较强的技术背景，然后它做事也比较系统，所以觉得预训练在 Google 是一个非常非常可控的事、可预测的事。你能够知道下一代不会差，然后可能你还会知道它会有多好。对，通过这种自上而下的管理，它也不错。
那 Google 是这种自下而上的吗？他依然是自下而上的吗？他比以前肯定要更自上而下了哦，比最早的时候。但是他比说还是更自上一些，就是好像不同的文化都可以吗？对，就是对模型的训练。就是，我觉得大公司有大公司的打法，有 Startup 的打法。所以大公司是，你刚刚也说它是一个完全不一样的趋势，它是一个不一样的方法。
Google 现在是什么方法？我觉得 Google 更多的是像这种比较确定性的事。比如说像预训练已经是一个比较确定性的事情了，那可能 Google 就会更像把它做成一个工程项目。因为 Google 的工程管理能力又很强，所以说他就能慢慢把它做好。
什么叫工程项目？工程项目的意思就是，你其实是一个非常非常严谨的组织，然后很清楚我们下一阶段要做的是什么事情，然后去做这个事情。中间需要由哪几个节点被处理掉，然后哪怕是做研究，也会有一个很清晰的框架告诉你怎么去验证你的结果是好是坏、evaluate 的结果是好是坏。对，所以这个是 Google 很强的事情，在过去的任何一个大的工程项目上。
所以说，预训练其实我觉得现在进入到 Google 的舒适区里了。嗯，然后后续当然就是有更多的补充和调整。那可能后续来说，现在来说还是更 bottom-up 一点，就是大家可以跟我广泛地讨论。对，你说 PPO 是一种 RL，为什么这么说？
就是，我觉得就是你很难从纯技术的角度说，预训练和或者说这个监督式微调（SFT）和它的本质区别是什么？因为预训练和 SFT 本质也没什么区别，就是你无非就是把你拿到的那些数据当成你的 ground truth，然后你就把那个当成你的 expert，把那个当成你的专家输出，然后你朝那个专家输出的分布上靠，强行学习。可能就是更广泛的一个级别。
他就是说，我首先这个输出的东西也不是一个给定的专家，是我自己产生的一些东西，然后里面又有好的结果又有不好的结果，然后好的结果要往上靠，不好的结果要远离，之类的这样。所以说从某种意义上来说，PPO 和 SFT 是强化学习的一个分支。但是呢，这两件事确实在现在这个时代是有区别的。
我觉得对我来说，它的最大区别在数据上。就是预训练的数据更多的还是要 distribution 构好，就是分布足够的广或者足够符合你想要覆盖住的一些范围，但是数据的质量并不需要非常非常高。但是后续来说就反过来了，就是它分布上来说可能要窄，但是它在有的那些数据质量上会要求非常高。所以我觉得目前来说，对我来说它俩最本质的区别还是在数据分布上的区别，而不是在算法或者训练方法上的区别。
那像不同的 lab，它是怎么分这个组的？与训练和后训练有不同吗？还是都一样？
和 Google 比较类似，两个都是——就是运筹来说是运筹一个，然后后训练来说是后训练一个组。嗯，可能比较混乱哦。最早的时候，我一开始的时候，他是分三个组：就是他有预训练，然后他还有强化学习，就是 Strawberry（草莓）组，然后他还有一个 Post-Training（后训练）组。然后我的——我没在那边干过——但我的理解是，他的 Post-Training 其实不是他的那个 RL 组（Strawberry）和他的 Post-Training 形式，跟别的公司的 Post-Training 还有产品不太一样。
然后他可能是以一种不一样的方式切分：他把后训练当作产品来做，就是他的一部分后训练其实还是产品，是在做产品哦。他是只是名字没改过来呢？也不是完全是，因为绝大多数公司的产品其实不太碰模型了，他更多的是把这个需求——需要的这个特质模型特质——告诉训练模型的团队。嗯，但是他好像就是他的 P（Post-Training）既从某种程度上自己又是产品，但自己又能去迭代，就是——不是——他对于产品的理念就是，可能需要有懂模型的人来做产品。对对对，有可能，有可能是件好事。不过后来这个组织变化很多次，我现在也不知道他们组织变成什么样了。
哦，你们最近发了几个模型，然后我看到你也都参与其中：Jamina 3、DeepThink、Jamina 3.1 Pro。我觉得可能只能说是有幸参与，对，就是感觉都是集体工作。你为什么现在都变成明星人物，然后每次都被单独拎出来写一下？我不明白，我觉得其实不太好。每次看到之后我都感觉：明明天天该怎么去办公室见同事呢？会有异样吗？在办公室还好，我觉得同事可能还是人比较好，就是他们可能也不是特别看重这些事啊。但说实话，我是觉得我参与过的任何一个项目，不管是在 Google 还是在（其他地方），没有我都会发生，都一样会发生效果，也不会差太多。
嗯，我——我这是觉得大家现在就是，每个人本质上都是冲浪的人，那个浪啊，不是你那个冲浪的。嗯，浪是 AI 吗？对，就是 AI 这个事情本身是这个浪，它会往前走，不管你冲不冲这个浪，这个浪都会拍到岸上。嗯，只是说有人可能就冲了这个浪，有人就可能晚了一点没赶上那个浪。对，好。
你有幸参与了这两个工作的什么？呃，主要可能就是一些——有一些就是算法上设计的小细节，然后会一块讨论啊，然后呃，有一些——有一些数据上的东西。但是数据上的东西，我觉得可能对之后的工作会影响更大一些。嗯，这几个模型有翻天覆地的变化吗？
嗯，我觉得没有哪个变化大到从「不知道怎么做大规模强化学习」到「大规模强化学习」那个级别的变化。没有哪个变化大到这个地步。肯定都是会有一些小小的变化。这几个小变化，你们讲一讲就这几个新的模型——不能讲哦，好不幸，对不起。
最近我感觉模型已经发「麻」了，国内一堆模型，国外也是很多模型。你们……呃，国内 GLM、自己 DeepSeek 一直期待还没发，你能不能给大家画重点啊？我觉得，呃，从某种印象来说，都没那么值得关注。哎，大家在争什么？现在感觉「群魔乱斗」。我觉得有一些争的事情呢，其实现在看来，在这个时代已经没那么重要了。就是因为过去带来的惯性，大家会争各个 benchmark 的第一名，嗯，证明自己模型的基本能力很强。这个事情呢，其实到现在已经到了——就是公众关注那些榜单都有点打打满了。嗯，就是你想，最早大家关注这个 Sweet Bench，随便大家都打到 80 多。幸亏没有人超过 83，因为最近刚放一个 P 说超过 83 的话，有些题目都是不良好定义的。幸亏没人超过，谁超过谁就尴尬著。
然后大家以前 reasoning 就是打完 MMLU、打 MATH、打完 MATH 打什么 RACE 啊、这些办法。然后 RACE 咱们之前大家最高的都往网上说可能十几这样子吧，然后大家往上冲，然后才变成 30 多了。然后 Cloud4 4.5、4.6 变成 5.6，应该是变成 60 多了。然后咱们来算 DeepSeek 一下，达到 80 多。所以这个也打嘛，所以现在就是感觉光靠这种公众认知的模型能力，其实已经没啥太大的意思了。
嗯，然后呃，所以从这个角度上说，我觉得就是本质上就是没有什么太多的重点。嗯，虽然大家发得很快，嗯，发得快也说明其实这道题对大家所有人来说特别简单了，大家都知道弄好了，没有什么秘密了。对对，就是还是说还是那个「冲浪理论」了，就是还是这个浪在往前走。嗯，那大家下一个可能在寻找的目标是什么？下一个「饭事级」的变化是什么？还会有吗？
我觉得……我刚才自己聊的那两个事，我觉得 MLC LLM 和 LLM Horizon，对，然后这两个是我觉得——我觉得呃，是我觉得是一个可能没有到「饭事级」变化，但是我觉得是对于 Google 来说会很有价值的事情。嗯，因为首先 MLC LLM 是因为 Google 首先自己是一个 AI research 大户，然后它自己又是 AI research 最全战的，就是它不仅有这些语言模型、这些部分，它还有设计硬件的部分，从硬件接到模型的部分，这一整套东西如果能被加速或者说被更好的管理，那可能对这个公司来说是很有价值。嗯，然后 RLHF 就不说了，所有人都知道，所有人都觉得很重要。
所以说，我觉得那个可能是对我来说不能说是「饭事级别」，绝对是不到「饭事级别」，但是是一个我觉得很有价值、需要去在未来几个月之内能够看到曙光的事。然后我觉得「饭事级」可能还是那些非确定性的东西，就是什么「多模态生成」那个。我觉得可能会有一个英雄吧，或者会有一个英雄集体吧。然后像那种，会有一些还有聊比较多的 continual learning、嗯，世界模型呢？
我觉得 continual learning 和这种「狼」——刚刚说狼没有本质的区别——嗯，因为大家以前觉得这两件事差别很大，是因为 continual 模型的一些权重。然后你做这种，比如说像开放式的、大家做很多这种 cache management，是不会改变模型参数的。但其实你想，这两个没有本质区别，因为 cache 里那些 token 自己的 KV 不也是一种权重吗？所以说，你觉得这两种方案最后谁能更有用，长远来说更有用，我觉得是不清楚的。但是它们本质上都是为了做长期记忆（long horizon）这种类型的事情。
嗯，然后「世界模型」——一万人有一万个世界模型——什么意思？就是定义不清晰。首先，我不知道什么叫做一个「世界模型」。嗯，其实就是每个人在说他们做的世界模型的时候，可能也在说不一样的事。比如说，咱们做的世界模型可能就和比如说像李飞飞他们做的世界模型不是一回事。嗯，对，描述一下区别是……呃，我不是特别了解外面像李飞飞他们这些 lab 的事情到底是怎么样的。但是咱们的世界模型更多的是一种——是一种 end-to-end 级别的训练。他想要的结果是说，比如视频生成，大家能够给定一个描述，然后生成一个视频。但他想要的结果是，我不仅能够生成一个视频，我是能生成一个「场景」。什么叫一个场景？场景就是说，我生成了这个水合的状态，然后我还可以再给它一个 condition，一个条件，这个条件是我在这个状态下做了什么样的动作，然后它下一个状态会变成我上一个状态和动作的函数。然后它是按照这样去训练这样的能力的。所以说，这可能是一种方案。
然后，我首先也不知道大家最后想要的到底是什么结果，我也不知道大家对自己世界模型的定义到底是什么。所以我觉得更多还是一种探索的状态。
嗯，刚才我们一直没有聊到一个组织是 X.AI。我们刚才聊了 iC，聊了 OpenAI，聊了 X 呢？X，我是不明白。作为点评来说一下，我……他们怎么最近这么动荡？我觉得他们一直都挺动荡的。那为什么最近这么动荡？我也不知道。然后，我其实跟 X 接触得没有那么多，然后呃，我接触的一些人之前也走了，所以我也不知道他们发生了什么。
哎，对了，刚才说 iC 的时候，你说技术的一号位能被 MB 是非常重要的。那在 Google 这样的公司，一号位是谁呀？这个英雄是谁呀？我觉得英雄在不同的阶段是不一样的人，但是英雄的背后都有一个人，就是 SG，就是 Google 那个 Jeff Dean。对对，就是。我觉得最终很多很多大的决定可能不是由他来决定怎么做，但是最后拍板得他来拍。嗯对，现在也是。呃，我觉得可能更多的一线出现的是 JK。哦，就是 DeepMind CTO，然后他现在也是 Google 的 SVP。哦，D 在负责什么？我觉得 Demis 可能更多那种就是偏 Science 的事情，比如说那个药物设计、Isomorphic Lab 那些事情。对哦，JZ 他管的不多。呃，至少从我的视角来说，我看到的更多的人是 C。OK，但是有可能就是那个公司管理层的事，其实也有可能很多是我看不到的部分。
嗯，那我就不清楚了。你刚才也提到 AI 整个是一个系统吗？嗯，你对于怎么系统性地做 AI 也有什么认知吗？
现在经过了你这两年的工作，有几方面吧。一方面是从整个系统来说，它需要一种比较科学的态度，就是你要清楚地——像 Scan 一样——清楚地理解自己做了什么样的预设。嗯，然后我在做一个改变的时候，其实有哪些因素相关联，哪些因素是不相关联的？对，然后这是从组织情况下来说。
从人的情况下来说，其实需要人很 reliable，就是需要很负责任的人。其实每一个系统、每一个评价的框架，都很容易被 hack。你总可以做一些事，让你的指标看起来很好看。但是一个可靠、值得信赖的人，他其实是会想：自己做的这件事如果效果好的话，是不是真的好？比如在大规模上效果好，是不是我中间漏掉的那些因素对结果有影响？所以说，其实把试作系统听起来是一句话，但真正做起来是很复杂的事，就是有很多细节、很多阻力，因为它其实并不违背人性。因为每个人、个人的人性可能都是为了让自己做的东西能够提前更好，但是对一个公司或者一个组织来说，最有利益的事是公司的系统性做得非常、非常扎实、非常严谨。
这个能不能举点例子啊？好像有点抽象。对，它确实有点抽象。呃，所以这也是你说没有那么多个人英雄主义的一个表现。对，人要变成一个更可靠的系统组成部分。
我可以举一个例子，可能也是比较诡异的例子。就是，比如说做模型，你可能可以做一个算法出来，效果比别人好，但是可能更关键的问题是：你要去问，比如说在真正大的尺度下，我是不是能够保持稳定性，跟别人一样好？嗯，然后，我比别人的东西效果好，是不是因为我用了不一样的 data？以及我是不是用了更多的 training 的 flop？是不是用了更多的 sampling 的 flop？然后，我具体在真正的生产、最后的大规模跑 production round 里面，到底哪个才是我的限制因素？然后我该去看哪一个指标？这些可能都需要研究员自己对于这个系统怎么运作，有一个好的理解，以及对公司负责任，才能做到。否则，就是你很容易做到一件事：你可能比如说，你在考虑春（训练）的时候比别人耗得多，但你考虑春（训练）加三倍的时候比别人差了。你总可以选择你只做 training 噢，那这就很糟糕。对，所以这就是既要你个人负责任，又需要组织所建立的这个体系能够尽量发现这些有意或无意的边界情况。
但是你作为个体的话，你不知道怎么样是对全局最好的呀？呃，其实是需要，我觉得如果一个研究员做不到对全局去考虑的话，他就不是一个合格的研究员，在现在这个时代。嗯，就是这个和我觉得，这个和你在学术界做 research 是很不一样的事。因为在学术界做 research，本质上是一种「吃饱全家不愁」的状态：我为我的项目负责，对吧？我为我的可重复性负责。但是在一个公司里，你其实更多的时候是我得为这个公司负责。这是两种完全不一样的心态。
那你这种自觉性从哪里来了？不知道，我觉得我可能就是拉不下脸。拉不下脸是什么？对，就是你对一个公司的认识，你和这个公司的契约的一部分。哦，其实我觉得没什么道理不这么做。这么做是没有原因的。嗯，所以个人英雄主义会破坏这种整体性。嗯，我觉得如果只是为了个人英雄主义而做事的话，很有可能是会危害整体的。但实际上，可能你能力很强，然后你真的成了一个英雄，那也是有可能。嗯，因为你也经历了两个组织了，你觉得什么样的组织更能够激发智能？
在这个时代，我觉得这其实是一个很有争议的事情。刚才也聊了，就是不同组织可能有些比较「自上而下」，有些比较「自下而上」。那么一个自然的问题就是：这两种组织哪一个更能够激发创新？
过去的观点认为「资源向上」是激发创新的必要条件，因为就是你得让每个人有自由嘛，自己有自由才能有创新。嗯，但是完全「想而上」去就发现其实也不行，因为那样就乱了——就像 Google 之前的样子，对吧？对，就好在我印象里，从我了解到的情况来看，就是这样：大家甚至都不知道自己做的事情有什么用，那可能也不太好。所以可能需要有一个人，或者有一个小的集体，能够把这两件事情稍微融合一些。
嗯，对，就是对。为什么我觉得一个组织运行得好不好，看起来是组织的问题，但其实归根结底是技术 leader 的问题。嗯，就是这个技术 leader 有没有特质，能够把这个组织运行得很稳定。因为最好的那个状态往往都是最不稳定的状态，很容易往不好的方向滑。嗯，所以得有一个 leader 来控制这件事。
那你觉得都是技术 leader 来做这件事情，而不是 CEO 来做这件事情？呃，当然美国公司的 CEO 可能有不一样的职责，但是得有一个 leader。我觉得这个 leader 需要有两个特质，才能去做这件事：
第一个特质就是他自己有救火的能力。不是说他光嘴上说要做什么、要做什么，而是当一件事情真的遇到困难了，他能自己下场去带人把这个困难解决掉。嗯，当然绝大多数时候，一个 leader 可能没有时间去做这件事，但他至少要有这个能力。
第二个重要特质就是他得能够理解别人。就算一件事情可能是他不做的，但他能够理解到为什么别人做那件事重要，能够融得下别人——这可能是另外一个小特质。
嗯，对。你觉得 Google 的 TPU 在哪些方面表现得比 GPU 更好？劣势是什么？
我觉得，呃，从纯硬件的角度来说，很难说哪种硬件真的好或者坏，尤其是在这种大规模商用的情况下。因为本质上来说，GPU 和 TPU 在使用上的最大区别，除了硬件的差异之外，就是 GPU 有比较好的开源生态。嗯，不过这个事情在大规模商用的时候并不是一个问题，因为比如 Google 自己用 TPU，那自然会花时间去搭建这个基础设施。而基础设施就是一个——比如说，你一直跑 1000 张卡可能是一个很大的负担，但你跑一个几十万张卡的集群呢？大家一起建设基础设施也不是一件多大的事。
然后从实际上来说，在这种大规模商用的情况下，没有哪个硬件有绝对的优势，但是这两者确实有一些设计理念上的区别。比如说，GPU——至少我可能后来这几代 GPU 没有这么用过——像早期的 H100 那代 GPU，它的设计是说，我一个 Pod 里面可能没有多少张卡，比如说就八张卡，然后这八张卡之间可以互联非常快，所以这一个 Pod 几乎就没有什么 communication 的瓶颈。但是 TPU 可能就反过来，它抛弃了卡之间的互联，但是能尽量多地把卡放在一个大的架子里面。它就是有这种三维的设计，所以一张卡就只有在三个方向连接三个最邻近的卡，但是整个集群可以连成一个大的网络。然后如果你的 compiler 或者你的调度逻辑写得足够好的话，你是可以利用这样的设计，等效来说，获得更大的储存空间，也会减少很多通信的开销。
嗯，那劣势是什么呢？
呃，我觉得一个劣势就是，它肯定是比起 GPU 来说，在小的 SQ 上更加——呃，更加固定的一种结构吧。所以说，它的应用性或者它的通用性可能没有那么强。
嗯，对了，最近矽谷有很多 new lab 出现，你怎么看这个趋势？为什么他们都从这些模型大厂跳出去成立 new lab？我看不太懂。我的感觉是，绝大多数的 lab 不会成功，然后——呃，我觉得可能有一些 lab 是真的有厉害的人，然后像有些 lab 可能也开始在做一些事，比如说像 SQ 马他还是在探索一些新的东西。但有些 lab 就——请帮我把名字避掉——好比说，我就完全不知道他们到底要干嘛，然后这两人其实已经远离这个专业好久了。
我觉得 2026 年国内会非常看重 C 端的叙事，谁成为那个 super app，你怎么看？你觉得这个——这好像没有人在讲这个事对吧？就是因为美国的 enterprise，就是公司或者说效率软件这个市场太大，而且利润也太高，所以对于美国来说，其实 C 端之前就只有差不多一家在做，其实也没什么利润。所以说，现在大家可能重心都会先放在这种效率软件或者上。
嗯，然后所以中美的叙事已经发生差异化了。我觉得不只是 AI，过去的整个互联网都是不一样的。就是中国很强的就是 C 端，他能够想出一些非常非常复杂的产品性质或者结构，然后用一种你觉得很间接、很不自然的方式把这个利润滚下来。比如说什么叫很间接？就比如说像抖音这种东西，他并不是说「你看视频，我看一个视频收你两毛钱」对吧？还是说你可以免费看视频，但是我可以偷偷加广告，我可以偷做直播，我可以偷做电商。但是做效率软件没这回事，做效率软件非常直接，就是「我让你帮你写 code，我成本一个月 150，卖你 200，我赚 50」，就是非常直接的事。
嗯，对。我觉得美国在过去的体现就是在这种很直接的产品上能够把技术做到极致。但是一直没有哪个产品——然后我觉得就是复杂到说让你离不开他，你又感觉不到他在赚你的钱，但他实际上赚了你的钱。
对，哎，你这么说我突然觉得 Meta 就应该超自洽对吧？但我觉得 Meta 没有直接强，因为 Meta 他也找不到自己的定位，然后美国又没有一个做这件事情的公司。这个生态位还没有人找到，那 Meta 他就超豆包呗，他也不需要那么强的模型能力对吧？但我觉得还是美国做产品的本质上，做 C 端产品的人不行啊，比中国来说差远了。
哦，这是过去时间的积累吗？ 对，嗯。因为过去 10 年在美国的这个——政会都来自于做币的很多对对，或者就是在美国这种赚钱太容易了。赚钱太容易的时候，你不会费脑筋想怎么赚钱。
哎，不是很多人都要找你聊聊吗？有什么好玩的人啊？ 不，很多国内的人来科技公司来。我觉得我觉得都挺好玩的，然后确实发现国内人做产品可能还是想法更复杂一些，更复杂一些。对，就是想得更——想的这个回路更长一些，跟美国还是风格不太一样。美国是——我就美国刚才说了嘛，就是做个什么就拿这个卖钱了对呀，就是简单啊，就是这个事就是需要这个能力，有了这个能力之后就是要比别人便宜，我就能赚得比你多。
嗯，哪有一点办法也没有。嗯，中国呢？中国感觉都是这种——什么一开始不赚钱，但是一旦他开始赚钱，你就拦不住他。就是他真的能形成那个——那个——那个自己的那个圈，你就是他真的把那个圈转起来的时候，你再想往里插就插不进去了。
哦，你觉得美国公司现在看懂自己节奏没有？
我的感觉是——还没有，他都这么大了哦。你说，就是，是不是重视他？那肯定是重视的。大家肯定都知道自己是一家被严重低估的公司，从他的市值上来说，是被严重低估的公司。这是我觉得大家然后也很明确的，就是说在消费者市场这一端，其实我觉得没有哪个美国公司能和自己竞争。但是他毕竟实际上是中国公司，从公众的公众意识上来说，他毕竟是中国公司，嗯……对，看懂他了吗？我不觉得大家看懂他了。但是你看 M，他其实也在主动地从自己这边挖人嘛。嗯，你在 AI 行业有什么偶像吗？或者欣赏的人？
虽然你在 AI 行业时间很短，没什么……就是我感觉，我感觉我来这个行业的时候，个人英雄主义时代已经过去了。所以也没有什么英雄，有时候你甚至觉得旧时代的英雄有点蠢，对。所以说真的没有什么，你觉得谁比较……？这个还是不说了吧，n comment。
对，我觉得我觉得和做物理还是不一样。我觉得做物理还是存在著一些，我觉得真的比我聪明太多的人。比如我独立的时候，我那个年轻老板，就是我觉得他从 D 到 Sford，我觉得他就比我聪明太多了。觉得他可能也是看到他，我才觉得自己在那个领域也没什么用，有他了还干嘛呢，对吧？跑到 AI 来降维打击一下，是吧？也没较为打击，但是反正就感觉 AI 这个事本来也不太需要脑子，不太需要脑子，真的不太需要脑子。需要什么？我觉得这个行业最重要的特质就是 C 普，就是做事，然后对自己做的事负责任，这是最重要的特质。你说那些东西有多需要脑子？我觉得都是一些本质上就能干得活的。
可是你说 AI 没有个人英雄主义，现在一个 AI 研究员的价格炒得多高啊，跟球星转会一样。我不知道是好事还是坏事。对我个人来说，我当然很高兴，我受益于这个。但是，嗯……实际上来说，我并不知道这个事是不是一件好事。
你觉得为什么价格会变得这么高？我觉得可能一方面是大家觉得这个事很稀缺吧，可能确实也没那么充足。就是因为训练一个人虽然没那么难，但是你训练一个人是需要一个环境的。就是你得有那个机会去接触这件事，你才能学会这件事。你没有那个机会，你就是再聪明也没用。那可能过去能撞到这个机会的人没有那么多，所以说在供给上来说可能是比较稀缺的。从这个角度上来说，但我觉得另一方面也是可能对人的炒作有点过分了。对，非常喜欢神话个体。现在我觉得真的，再说一次，这是个集体主义的事。
那很多人也会很好奇，因为呃……可能很多公司也想招 AI 的人。那你觉得最重要的他是要靠谱，这个有什么衡量指标呢？就是怎么能够快速地判断一个人 C 不靠谱，做事不？每个人都有一些自己衡量的方法，然后我当然也有一些自己的 trick。就是我以前有出一道面试题，然后那个……我大概讲一下，这个应该不涉密，所以我也应该可以讲。实际很简单，就是说我需要这个人在 24 小时之内完成一个强化学习的项目，从 0 到 1。就是他要自己去选用什么样的模型，我告诉他有的资源是什么样的，然后他自己选用什么样的模型、用什么样的数据、用什么样的算法，然后把这个模型做出来。24 小时之内，我给他资源，他 24 小时去完成这个事。然后 24 小时结束之后，他会跟我有一个小时的讨论。
然后这个事呢，其实在 AI 时代没有那么难过。没有 AI 的话，这是不可能的，没有人能在 24 小时之内把它做出来。但有 AI 之后，其实特别简单，因为 AI 能帮你全套做。但为什么还要做这个事呢？
有两个原因让我设计成这样。其中，有很多原因，但主要是以下两个：
第一个原因是，我觉得在这个时代，去考察别人——比如说代码写得好不好——其实没什么用，因为绝大多数人都不会自己写代码。更重要的是，他能不能有效地利用 AI。这是一方面的考量。
第二方面是，这件事其实有个陷阱：如果你全盘交给 AI 去做，但最后却没有试图好好理解 AI 为你做了什么，那在后续的一小时讨论里，就会露出破绽——这是一个会「挂掉」的地方。所以，这个考验的另一个重点是：你有没有真的和 AI 形成协作，还是说你就直接全扔给它？我个人很看重这一点，因为这也反映出一个人做事是否「抛谱」（负责任）的一部分。
当然，这个题目的设计本身也有一些比较「阴暗」的巧思。比如说，为什么要设计成 24 小时？就是为了看这个人有多重视这个机会——能不能熬夜。如果他足够重视，就能撑过这 24 小时；如果撑不住，只能说他可能对这个机会也没那么看重。
对于比你更年轻的人，你觉得他们现在进入 AI 领域还是一个很有机会的「蓝海」吗？ 我觉得纯语言模型已经不是蓝海了。嗯，我觉得有点晚——「木板车」已经发车了。板车已经发车，那班车是哪一班啊？ 我感觉我入行的时候就是那班车。然后，可能确实在我入行之后，还是有些新人进来，但我觉得他们已经没有机会遇到那么好的时机了——比如能在一个还没那么大的团队里做一件事情。他们可能很少能遇到这样的机会了。
不过，我觉得 AI 是一个很大的方向，语言模型只是其中很小很小的一部分。还有很多其他事情，比如刚刚提到的多模态生成，可能还有很多机会；机器人可能机会更大。然后，包括更夸张的——比如说，你能不能用 AI 去帮助解决一些真正的科学问题，比如量子调控之类的，那可能就是更蓝海的「Blue Sky」项目了。
所以，我觉得对于足够年轻的人来说，做现在最热门的事情可能不是一个正确的选择。去做现在还没有人做到的事情，可能才是更好的选择。
你自己未来会怎么发展？你会在 Google 待很久吗？ 呃……我觉得不该这么公开地说吗？我觉得应该不会。我还是会尝试去挑战自己，嗯，要「折磨」自己。但可能需要找到一个值得折磨自己的事情。
如果 AI 不是你本质上的兴趣，你会不会觉得无聊啊？你的挑战在哪里？ 我觉得它虽然不难，但你知道和不知道还是有差距的。比如说，你从完全不了解其中的细节，到慢慢理解它的运作方式，这些过程我觉得还是需要花时间的。当你理解之后，我觉得对你未来做其他事情——不管是做产品相关，还是往别的 AR 方向发展——长期来说都是有帮助的。
你未来想在哪里发展？ 我觉得都还没想好该怎么「折磨」自己。你应该不会再跳去另外一个大公司了吧？ 应该不太会了。
你觉得你在学术界（ic）学到的和在 Google 学到的有什么不一样？
我觉得还是挺不一样的。我觉得就是，你可以把一个事情了解得很透彻，或者说把一条线——比如 Lage M 这条线的方方面面——了解得非常透彻。嗯，它给你这样的机会。然后在 Google，它更多的是一种横向的东西，就是它有很多不同的方面、很多不一样的人，然后能见到不一样的视角，也能见到不一样的研究方向。嗯对，就是你都可以看见。对，因为它够大、足够坚实，所以你能理解得更全面。
嗯，你有想过用 AI 去解决物理问题吗？比如你们那个理论物理，有人在做吗？所以我觉得不需要我去做。你对这个没有本质的兴趣吗？我觉得这件事首先对我来说目前不是最高优先级。我觉得如果哪天我把手上最高优先级的事情解决了，然后又没有找到别的事做，我可能会去做这件事。
你现在最高优先级是什么？ 我现在最高优先级是，就是把我刚刚说的这两件事情能够推进到一个——同时能够把它推进到一个比较稳定的状态吧。那个我觉得是我的最高 priority。但是之后可能也会有别的 priority。但是说用 AI 做物理，我觉得已经有很多人在尝试了，多一个我也不多，少一个我也不少，不如让别人先做。
你有特别崇拜的物理学家吗？ 也没有……有是有，但是有点多，不知从何说起。物理学家有，人工智能科学家没有。嗯，但这跟一个人的成长经历有关吧。我觉得就是，成年人很难真的崇拜一个人，但小孩子很多会。哦，你崇拜过谁啊？
我觉得物理学家其实还是有很……真的挺强的。但就是大家都说的那种，100 年前的那些人就不说了，像爱因斯坦、海森堡这些就不说了。然后包括大家后来都知道的，像杨振宁、李政道这些也都不说了。然后像我之前做拉格朗日体系的时候，其实有一个人，他后来也跟我讲，就是那个……你会发现这些人有些异常的远见。就是他在那个时候显得格格不入，但是你回头看，比如最开始做弦论 model 和这些分数量子霍尔效应相关的事情时，离最后大家搞明白这些东西，过去了好几十年。嗯，在那个时候他能够觉得这件事重要，一直在推进，我觉得这是一件很不容易的事。
当然，如果你非要在人工智能领域找一个类似的人，我觉得可能 JF 是吧。就是在大家都觉得这件事可有可无，或者不那么确定的时候，他一直在这个方向上做。那我觉得这可能是一个英雄级别的人物。嗯，在他之后呢？嗯，我觉得可能也有一些英雄的集体，比如像 Transformer 和那些……你可以说那可能是一个英雄集体。
讲过一个特别让我影响很深的话：我在这个行业又没有什么导师，又没有什么旧……我想喷谁就喷谁。这可能就是不做 AI 的好处吧？不，是做 AI 出生的好处吧？对，就是真的没有什么负担，没有哪个老人是你的亲属，所以你觉得他傻，他就是傻，可以直接说他傻，没有所谓。
你以前也这样吗？ 我觉得我做学生的时候还挺收敛的。哦，但我后来发现装没用，对自己也没好处，对别人也没好处。还是更直接地表达自己的想法是最关键的。我觉得直接表达自己的想法，短期内一定会有人恨你，但长期来看大家会欣赏这件事。
我们最近听谁说要把这个名字逼掉，我觉得挺蠢的，而且蠢得始终如一。哦，他有没有可能是那个对的人呢？
我觉得他说的话用 P 里的话来说就是「not even R」，因为不良好定义也很难说他说的是对是错。对就是有一天可能有一样的饭事发生了，他就可以跳出来说：「诶，我当年说过这个、这个、这个。」但是你就发现，可能如果范师运用这种状态，他也能说一样的话。这就是我为什么很讨厌这种很模糊的人的原因，因为一个东西模糊就是没有意义的。
你为什么觉得他说得很模糊？没有正确的定义就是一种「魔龙两可」。如果他有正确定义的话，我可以解释他为什么有正确定义；但他没有正确定义的话，我没有办法解释他为什么没有正确定义，因为他真的没有正确定义。
我觉得还是一个良好定义的事，就是他要——嗯，然后他的方式可能更偏这种更传统的、这种 new network modeling 的方式，而不是更……的这种。我觉得至少他是良好定义的，至于他对是错，那我觉得是未来会检验的事情。
嗯，觉得大多数老顽固其实都还好。就是我觉得——我觉得人年纪大了不一定会变成老顽固的哦。人年纪大了会变成两种状态：一种状态叫做「德高望重」，就是他会可能少指手画脚，还会花自己的利息去培养年轻人；另一种就是老顽固，就自己也不懂还乱说话。嗯，所以人老了不一定会变成老顽固。
你说受了谁的刺激？ 我也不知道我受了谁的刺激，但我确实见过不少老顽固。
从什么时候变化的？ 就是说话非常直接，开始不收敛了。就是你过去都是这么想的，但是你不说。我觉得我过去可能也会比较直接，但是没有这么直接。但做了 AI 之后就更直接了。这是没有束缚是吧？一是没有束缚，而这个领域足够客观哦。就是你其实不用太担心，因为自己的观点而惹到什么人，只要你的观点是自洽的——就是你有一套自己的观点的理论，你不是说随便喷人。那肯定是会惹到原因人的，对你是有——有一套自己的理解。我觉得其实大家是会尊重你的，因为最终你在这个领域做得怎么样，是有客观的评价标准的。
嗯，好。我们每个嘉宾都会推荐一本人生之书，要这本书真的对你产生过重要的影响。你要说的这本书是什么？
这是今天最难的一个问题。我感觉你还是高看了我的文化程度。我真的没有什么「人生之书」——说实话。嗯，真的没有什么。好，最近读了一本书，最近上次那个奇异博士说的是线条小说？最近读的书就是——就是唐传的《自转》。唐传修术的字对。然后你要非要说的话，可能有印象的……首先我这人确实不爱读书，我感觉就是我这个人文化水平比较低。然后我读书除了就是专业性的书之外，所有的书感觉都是闲书。嗯，像什么汤川的自传，其实本质上也是本书，但是就是我觉得显得挺有趣的，就是你能看到一个后来看起来如此成功的科学家，在他年轻的时候有一种挣扎感。然后可能还有一些……什么闲书，像小说这个。有本小说我很喜欢，那个《来自新世界》，是一个日本的小说。我觉得你要非常让我推荐的话，我可以推荐那个。
哎，你最近有看什么电影啊？什么电视剧？玩什么游戏？ 什么都没有。
一个全球范围内的「受死」吧？ 一个全球范围内你喜欢的地点？
全球范围内喜欢的地点。 我觉得现在你要非我选，我可能会选夏威夷，因为我很喜欢海。但是也很难说，因为之后可能去了更多海的地方，就另有人喜欢了。
一个少有人知道，但是可能需要知道的知识点。 嗯……别相信老算吗？
你有迷信过吗？ 嗯，我本质上没有迷信过，但是我觉得有时候可以靠迷信来安慰自己。
我说你有迷信过老顽固吗？ 哦，迷信老顽固啊？嗯，从来没有吗？
真的没有好，但是我以前可能没有这么恨「老灯」，后来就变得越来越恨「老灯」。为什么？可能就是当你自己有越来越多判断的时候，那些蠢的人就显得更蠢。但他们也没有伤害你啊，为什么会恨他呢？我觉得就是验证——每个人都有验证。欸，你的 MBTI 是什么？
不知道为什么这些年会有一个对于——就是年轻人对于年龄大的人——这么不友好的一个词出现。这来源在哪里？不知道，没有研究过，可以问问 J 然，让他 deep research 一下，看看「老当」这个词到底是哪来的。
那你心目中影响 AI 发展的几篇论文？Sequence to Sequence 是一篇，然后那个——我觉得是 Language Model 在 feature engineering 时代的高峰。嗯，然后 Scaring Loss 是一篇，就是主要卡在 OpenAI 的那里面。Skin-L 就是一篇，是一篇把这种体系化的研究方式引进到这个领域的论文。当然，最后实际上 Skin-L 的做法可能并不正确，但是是第一篇把这个想法引进来的，我觉得这很关键。
嗯，基于你当下的认知，一个关键的、重要的 bet 是什么？Rise。我们工作室叫「语言及世界工作室」。第一次听到这个名字的时候，你在想什么？我觉得这个名字有点正常得太平庸了。可以对，其实我觉得这个名字——可能放在十年以前是一个很独特的视角。但现在大家共识太多了。十年以前确实——对不起，我感觉我年纪也大了，可能不止十年了。就是可能在——什么，2014、2015 那个年代，大家都会觉得视觉是最重要的事。在那个时候，意识到语言是承载智能的重要载体的人，可能是一件不一样的事情。不过我觉得我们这个名字不是在 AI 的语境里面讲吗？嗯嗯嗯，那就值得深——
Google apps
Google Account
Frank Flynn flynnfrank135@gmail.com