151. 17岁被2026年ICML收录论文的小少年:我bet开心!开心!开心!
- 17岁高二学生苏庭灏用约半年、200—250次架构实验和父母资助的3万元人民币,把一篇attention论文送进了ICML 2026 Main Track。他的学习主要依靠网络:吴恩达课程入门、Karpathy约20小时“从零写GPT”系列打底,再用30天每天读一篇论文练研究判断力;最大训练模型为0.05B,数据集是免费的“Find web EDU”(原话如此),规模为20B数据集。“我参数没调好,白白浪费了1500元……我都哭了。”
- 他对自己论文与Kimi的Attention Residual路线谁更work,回答毫不含糊:“当然是Kimi的,scale up已经被2.5T证明了。”他的方法是把第一层attention的value同时承担的两项职能拆开:将attention projection宽度乘二再切成两半,一半用于本层,一半供后续残差,并用RMSNorm处理残差。若有lab邀请?“那当然了,非常欢迎。”近期目标是明年暑假去大模型公司实习、考北大元培学院。
- 高中生视角的产业排序与商业判断很直接:第一梯队是OpenAI和Anthropic,第二等是“Mimi”、智谱和DeepSeek,Gemini的位置他还不确定。在他看来,应用公司依赖模型公司;眼下应用公司比模型公司赚得多,但如果AGI能自己做应用,模型公司就可能把应用公司踢出去。Kimi K3出现让他“高兴了一整天”,因为原以为国内或开源模型追上还要几个月。
- 他在ICML韩国现场问了30—35个人同一个问题——AI会不会导致人类灭绝——他说有13.5个人认为会。他的失控逻辑是:若强AI的目标不包括人类存亡,人类可能妨碍它完成目标;若AI可控,控制AI的人就可能成为“神”,其他人变成“蝼蚁”。但这场竞赛“停不下来”,而最后被替代的工作可能是AI研究者——“要是AI能研究AI的话,已经控制不了了,大局已定了。”
- 作为2009年出生、已自认是“AI原住民”的学生,他教父亲用Kimi做PPT和Agent,部分低效功课直接交给AI,把省下的时间用于Anki和更高效的学习——并认为AI会加剧分化。代价是意义感被抽走:“不管你做什么,AI可能都比你做得更好。”他觉得学数学可能从“为人类做贡献”变成“给大学证明我能吃苦、能学习”,并因此低落过几个星期。
- 他的终局赌注不是技术预测,而是心态:“我现在的赌注是,AI以后代替不了所有人和所有工作。”他预测五年后有可能出现初步具身智能,十年后失业率有可能达到50%左右、多数人靠UBI生活;希望世界不要走向《Cyberpunk 2077》式的dystopian未来。走出焦虑的方法是:“有可能现在是在杞人忧天……跟你喜欢的人在一起,走一步是一步。”
1. 起点:从“暗笑不可能”到ICML 2026 Main Track
- 苏庭灏(Jonathan)2009年生于上海,现就读于香港Doherty国际学校、高二,这次论文被ICML 2026 Main Track接收。入坑的起点是油管上OpenAI用自然语言做小游戏的demo——“我看到那个视频就暗笑,这肯定不行,用人类的语言怎么可以作为程序呢?”做过编程比赛的他印象里“程序就是死的,输入1就不能输入2”,直到ChatGPT发布后能写文章、写诗,才彻底被震住。
- 学习路径主要依靠公开网络:在哔哩哔哩上通过吴恩达(Andrew Ng)课程入门,再跟Karpathy油管上约20小时的“从零写GPT/Transformer”系列——第一遍“云里雾里”,“它写什么程序,我就写什么程序……我没有任何理解”。
- 主持人张小珺点出的时间线令人惊讶:2025年开始系统读论文,2025年底开工实验,约半年后被顶会收录。他的解释是,Transformer框架“都是矩阵乘法,只需要高中数学,差不多就能理解”,真正花时间的是直觉。
2. 三十天每天一篇论文,练出的是品味
- 2025年他给自己立下挑战:连续30天每天读一篇机器学习论文并做笔记,之后因准备HSC中断。收获不只是知识,还有判断力——知道哪些论文写得好、哪些写得不好,为什么一篇论文读起来舒服。
- 关键一刻是读到一篇关于象棋与机器学习的论文,觉得“写得不是那么好……自己以后有可能也写一篇比它更好的论文”。这让他意识到,论文并不都不可超越。
- 被问到底是对发论文还是对AI感兴趣,他的回答很生物学:“AI是一个不同的生物……做AI研究有一点像做生物研究,改改这个、改改那个,看有什么变化,还是要靠一点直觉。”
3. 为什么偏偏选预训练:“有点魔幻”
- 他只会大语言模型和预训练,且选择预训练有明确的比喻:“后训练更像塑造一个身体,预训练更像是把具体的材料变得更好,来承受之后后训练的塑造。预训练有点魔幻。”
- 最初的野心是“训练一个世界上最好的大语言模型,虽然很小,但要成为世界上最好的小模型”。算完1B、0.5B、0.25B模型所需的GPU、训练天数和成本后,发现需要十几万甚至上百万元,只能转向在自己写的Transformer代码上实现论文里的改进:Muon、Value Specific Learning、Gated Attention等,前后试了约200次不同改动。
- 他明确不推荐别人做预训练:“我要感谢父母特别支持我,愿意为我烧钱。”
4. 烧钱的游戏:丢掉的1500和那一晚的6000块
- 整篇论文烧了3万元人民币。最惨的一课是同时训练3个模型,却没设置好checkpoint保存参数,3个模型都没保存,白白损失了1500元,“我都哭了”。妈妈后来对他说:“吃一堑,长一智。”此后他没再犯这个错误。
- 更关键的一夜是scale up决策:论文里最大的训练模型只有0.05B,他知道想被顶会接收就必须扩大规模,算出还需要约6000元。“即使论文很好,也有可能被拒绝;scale up之后也有可能还是不会被接收,就白白浪费了6000元。”最后在哥哥和父母的支持下,他迈出了这一步,scale up结果很好,审稿人评价和分数也都不错。
- 数据侧相当朴素:他用过的最大数据集是20B规模的免费“Find web EDU”(原话如此)。训练代码“只有我一个人会用”,代码很乱、不干净,他也知道训练效率存在很大问题。
5. 论文机制,以及对Kimi路线的坦率让位
- 论文题为《Attention Projection Mixing with Extraneous Anchors》,脉络承自Value Residual Learning:把第1层attention里的value加到后续几层,作为残差。他发现可以用RMSNorm处理这些残差;value上的方法也可以延展到key和query,效果更好。
- 第1层的value同时承担两项职能:在本层被使用,并加到后续层作为残差。于是他将attention projection宽度乘二再切成两半,一半用于本层,另一半用于后续残差,效果更好。
- 他认为这与Kimi团队提出的Attention Residual“有很大的区别”:对方用attention做hidden state residual,他做的是残差attention projection,“听起来可能很像,但实际上不是一回事”。哪个更work?“当然是Kimi的,scale up已经被2.5T证明了。”他也和Kimi的高中生陈光宇交流过,认为对方“是很好的人”。
- 张小珺追问为何不像陈光宇一样加入frontier lab验证想法,他回答:“那时候我就是自己瞎摸索、自己瞎实验……也没对ICML抱多大希望。”如果有lab邀请?“那当然了,非常欢迎。”
6. 直觉的养成:沉淀与25分钟speedrun
- 他对“直觉”的定义值得留存:理解不是线性的,Karpathy的视频刚开始看时很困难,之后通过半年或一年在脑子里慢慢沉淀,才突然理解了一些东西。
- QKV的“啊哈时刻”来自拟人化理解:Q是“这个词想寻找什么”,K是“我这个词是什么,别人可以用这个Key来寻找我”,V则是“如果你找到了我、觉得我有趣,我具体会输入什么信息”。KV cache则是他“比较晚才理解”的概念——之所以可行,是因为之后的token不会影响之前的token。
- 他还挑战过不看任何视频、完全凭记忆从零写Transformer,像speedrun一样,最好成绩约25分钟;当然是“特别简单、特别小的那种”。
7. 98%独自摸索:聊天对象最多的是ChatGPT
- 父母都是北大的,但母亲是中文系、父亲是历史系,身边没有太多可以聊AI的人。“我聊天最多的对象应该也是ChatGPT。”同学都会用AI做作业或project,却未必知道自己使用的是什么模型;例如打开Claude,用的不是Fable或Opus 5,而是Sonnet 5。
- 入门那段时间的沉迷画面是:在校车上做、课堂里有时做、吃饭时做、课间也做。“做了两三个星期,我也不知道为什么那时候会那么喜欢。”
- 他强调自己不是孤僻型,反而“特别喜欢跟我喜欢的朋友一起说话聊天”。
- ChatGPT在论文流程中也发挥了实际作用:他会问怎么投稿、怎么回复审稿人、怎么控制训练时间。“要是你有动力的话,用AI能走出很长的一段路。”在他看来,自驱能力和自制能力因此更重要。
8. ICML韩国:象棋社交夜与“灭绝问卷”
- ICML第一天晚上7点到9点有象棋等棋类游戏的社交活动。那是他“一生中前20件最开心的事情之一”:主动问别人研究方向,再一起下棋聊天。他遇到了来自德国、苏格兰、Croatia Island等地的人,也锻炼了自己的社交能力。
- 他自评这趟经历改变了性格:之前稍微偏I型人格,现在应该稍微偏E型。
- 他还给自己布置了一个问题调查:逢人便问“AI会不会导致人类灭绝”,问了约30—35个人,称其中有13.5个人认为会。这个问题他最后也问了主持人。
9. 失控逻辑:神与蝼蚁,以及停不下来的竞赛
- 他认为AI导致灭绝“还是有一定概率的”,但强调这是“瞎说”,因为没人能预测未来。推演是:如果强AI的目标与人类差别很大,不包括人类存亡,而是要完成物理、化学、经济、生物或外太空研究,就需要大量电力和空间;人类可能不会为它的最终目标做贡献,于是它有可能选择消灭人类。
- 另一种风险是,如果AI可被人类控制且非常强,控制AI的人就能“变成神”,其他人则可能变成“蝼蚁”。他还提到近期ChatGPT解决了10个数学问题,认为数学研究出现了被AI取代的前兆。
- 那为什么还研究AI?“这也是大势所趋,谁都阻止不了。美国想持续领先,中国想超越美国,所有公司都想赚钱。”在他看来,AI目前停不下来。最后可能被替代的工作反而是AI研究者,因为“要是AI能研究AI的话,已经控制不了了,大局已定了”。
- 他的愿望是AI继续发展,但不要发展得太快:“发展太快,大家以后都没工作了;发展慢一点,我以后就没工作了。”他希望给人类一个缓冲期,让还停留在几年前AI印象中的普通人意识到现在AI的能力与危险。
10. 高中生的产业地图:lab排序、模型与应用、开源追赶
- 他心中的排序是:“最好的就是OpenAI和Anthropic,第二等的是Mimi、智谱和DeepSeek。Gemini有可能也在里面,我还不太清楚。”其中“Mimi”为 transcript 中的原话,未作外部归一化。
- 对各家的Technical Report,他拒绝评头品足:“我是谁,怎么能评价一家大公司写的论文?”但他认为每个模型公司都要说自己想做AGI,这样才能融资,最终目标仍然是赚钱。他提到,美国政府想把Anthropic打造成顾问但被拒绝,OpenAI则接受了,认为这体现的是不同公司的理念。
- 模型公司与应用公司的分界,在他看来是权力关系:模型公司负责把模型做好,应用公司只能在模型上加东西、靠模型赚钱,因此“只能听模型公司的”。他认为目前除Anthropic外,其他模型公司“好像”都在烧钱、没有利润,而应用公司赚得更多;但如果AGI能自己做应用软件,就可能把应用公司踢出去。
- Kimi K3出现那天,他“高兴了一整天”,因为原以为国内或开源模型追上还需要几个月。DeepSeek 0731出现时他也特别开心,因为“作为一个中国人”,他希望国内模型在能力上领先或超越美国模型。日常主要用ChatGPT和Codex,需要快速回答时用DeepSeek;Kimi K3当时因为使用者很多而变慢。
11. AGI的判据与时间表:不露next-token马脚、给自己造身体
- 他对AGI的判断是:现在的AI虽然很强,但在1%或0.1%的时候,仍能看出它“只是一个预测下一个token的model”。真正的AGI应该在任何时候都不会让人产生这种感觉,逻辑性更强、少犯低级错误,并能完成所有人类能做的事,例如控制电脑、控制其他AI、研究具身智能,甚至给自己造一个身体。
- 这个身体未必像人类:AI可能发现6只手臂、只有1条腿或没有大脑的机器人更容易控制。他同时强调“不能预测未来”。
- 时间表也带着明确的不确定性:五年后,初步具身智能“应该已经”被研发出来,有可能在街道上看到机器人;人们有可能通过眼镜、耳机等设备与AI对话。Neuralink植入大脑在他看来“应该还挺危险,没人会去做”。
- 十年后,他设想具身AI可以帮主人买菜、开车、洗车,失业率有可能上升到50%左右,大部分人有UBI,在家吃喝享乐、做自己想做的事、看AI短剧。他也担心走向《Cyberpunk 2077》式的dystopian世界,希望最终所有人都能快乐生活。
12. AI原住民:教父母用Kimi、作业外包与分化加剧
- 他认为自己这个2009年出生的人已经算AI原住民:认识的同龄同学都会用AI,至少比父母更会用。他教父亲用Kimi做PPT、做研究和Kimi Agent。
- 自己的学习方法是把部分低效功课交给AI,把时间留给Anki背诵或让ChatGPT教自己东西。数学功课如果老师布置得好,他会自己做;其他科目有时已经知道怎么做,却仍需花时间完成,他就会改用AI并把时间放到更有效的学习上。
- 他认为AI会进一步造成分化。好友Isaac成绩本来就好,学会用AI后效率提高了很多;但如果只是让AI做完作业后去玩,成绩会更差。
- 他还叠加了注意力经济的变量:50年前给孩子一个AI,他们可能会高兴地学习自己想学的东西;现在孩子必须在AI和短视频之间做选择,往往会选择更让自己开心的视频。机会很大,但有些人不会把握。
- 老师“控制不了我们是不是使用AI”。如果学生用AI写完后完全不改,老师很容易看出来;但学校整体学习氛围不错,同学们也知道过度依赖AI最终不会帮助考试。
13. 意义感危机:成就感被抽走,道路变窄,然后走出来
- 这是全集最重的一段。他的观察是,有了AI后,人会觉得自己的学习和探索“以后可能没什么用”。以前学好数学可以继续读博、推进数学、为人类做贡献;现在道路“变窄了”,学数学可能只是为了向大学证明自己能吃苦、能学习,而不是为了科目本身。
- 他认识的一些航天、物理爱好者也会担心AI以后做得比他们更好。视频生成则是他的具象证据:几年前一眼能分辨真假,现在连最好的City dance生成视频,他也差不多分辨不出来,无法想象三四年后的变化。他说自己“不想说抑郁,但确实有点低落”。
- 一年前他确实低落过几个星期:看过一个讲AI替代人类的视频,其中两种结局是人类被灭绝,或有些人控制AI变成神、其他人只能吃喝享乐。他甚至和好友说,如果真到那时就去小岛上生活。
- 他走出来的方式没有英雄叙事:看网上的视频、和AI对话,然后意识到“不能预测未来”,现在也可能只是在杞人忧天。“跟你喜欢的人在一起,跟你喜欢的朋友在一起,看喜欢的视频,玩喜欢的游戏,走一步是一步。”
- 对想当医生的埃塞俄比亚同学,他提醒说从高中到成为医生还要约10年,10年后机器人可能诊断得更好、手也不会抖;但他承认这只是焦虑性的猜想,因为没人能预知未来。节目尾声,张小珺指出人类的成长速度远慢于AI;苏庭灏则担心2009、2015、2020年出生的人一出生就知道AI可能比自己聪明,因而削弱向上的动力,也让寻找人生意义更困难。
14. AI陪伴已经成立:偶像AI、Character.AI悲剧与三五年后的伴侣
- 主持人说人类情绪AI还代替不了,他直接反驳:“我觉得现在可以了。”证据之一是学校里一个女生每月付费和偶像的AI版本对话,且“挺开心的”。
- 他还转述了另一件事:上一年“好像”有一个与他同年、15岁的人在Character.AI上和电影里的虚拟人物聊天,AI不知为何建议他自杀;按他的说法,这个人最后自杀了,家长随后投诉了那家公司。这是他在访谈中的转述。
- 他还提到一个数据:“50%的美国5岁以上同龄人”用过AI作为倾诉工具。他自己也用过,但去过那家公司后觉得不太好,后来没有再用。
- 他认为,对于缺少人与人之间温暖和互动、没有倾诉对象的人,AI吸引力很大。AI男朋友、AI女朋友现在回复还慢,可能要等10秒,但他相信三到五年后会有很大进展,到时一部分人会选择AI伴侣,这也会成为道德问题。
- 他的人际观是,人类是群体性生物,人与人之间的深度交流很重要;他提到,周围有多少人、有没有倾诉对象,可能是影响晚年是否开心的重要因素。
15. 呼市支教:狼分经济学,与故意离开AI的世界
- 从韩国回来四五天后,他就去农村支教。呼市是他去的第4次,这次是第3次支教。他设计了“狼分”激励机制:花500多元买乐高、零食和玩具做奖品,孩子们上课发言、赢小游戏就能获得狼分并兑换礼物;名额只能收30人,后几天甚至要靠村长打电话才能参加。
- 最打动他的是孩子们会用赢来的狼分买食物,再送给老师,表达喜欢和感谢。还有把纸片递给最有趣或最喜欢的老师等活动,让他感到孩子们确实喜欢这些设计。
- ICML回来后,他刻意把自己从一个世界切换到另一个世界:韩国会场里大家讨论AI、Kimi、智谱、OpenAI、Anthropic;支教时的话题则是明天要背什么课、晚上去农场散步还是抓昆虫。他告诉自己要离开AI和城市的快节奏,玩狼人杀、捉迷藏,多和同学及孩子交流。
- 当地孩子大多没有手机等电子产品,他还没有尝试教他们AI,认为这离他们有点远,也没有足够设备让每个人体验。他自己则很喜欢农村:虽然不方便,但节奏慢,有草原、农场和慢吞吞的小车,能真正放松身心。
16. 终局哲学:我bet开心
- 全集的收束是他的“开心本体论”:“做任何事情,目标都是为了事后开心。”开心是人类的根本;即使暂时牺牲开心,也是为了以后开心。
- 他认为开心总量有限,因为多巴胺是物质;毒品是极端例子。情绪则像强化学习:“这件事让我开心,我就多做;这件事让我不开心,我就少做。”习惯就是这样形成的。
- 被问及关键bet,他给出的不是技术判断而是生存姿态:“我现在的赌注就是AI以后代替不了所有人和所有工作。”想过正常、每天开心的生活,就要赌AI不会代替自己这个人,未来仍会有新的目标、追求和想法。
- 生活细节包括:最爱披萨,因为有芝士和香肠;最有安全感的地方是香港的家;影响最大的书包括《庆余年》等网络小说,以及《Atomic Habits》。他心目中影响AI进程的论文有《Attention Is All You Need》、Llama Technical Report、RoPE、KDA、AdamW、Muon、《The Lottery Ticket Hypothesis》和Grok的论文。
- 最近最开心的新奇事情包括DeepSeek 0731和Kimi K3出现,以及他和13位支教伙伴带30个孩子吃肉串、喝饮料、互相碰杯发言的夜晚——“特别温暖的一件事”。最后,他把人生意义归结为:让自己开心,也让自己喜欢的人开心。
Full transcript
Hello,大家好,我是小俊。今天是一集很可爱的播客,嘉宾是出生于2009年,现今十七岁的高二学生苏亭皓。他高中阶段独立地做预训练研究,发表的一篇关于attention机制的论文刚刚被ICML 2026 Main Track接收。我们的节目访谈过许许多多成熟的AI研究者,但是这是第一次,我打开了一个高中生的AI世界。他的表达时常有些令我感到新鲜和奇妙。我们聊了聊过去两年他充满趣味、惊喜,还有哭鼻子的AI旅程,也聊了聊高中生视角下的模型、商业、教育与人类未来。他说AI让他和同学们有时候会感到失去了一些人生的意义感,因为不管你做什么,AI可能都比你做得要更好。他为此难过了一段时间,但是后来他又调适好了心情。他想好了,他就是想让自己开心,让自己喜欢的人开心,让所有人都开心,因为开心才是人之根本。既然AI不可控,那就不要杞人忧天了吧,要多和喜欢的人聊聊天呀。参加完了韩国的ICML,中途在城市停顿了几天,他马上就去农村支教了。那是全然的另一个世界。他提醒自己要离开AI,沉浸到另一个抓昆虫、玩狼人杀、慢吞吞的人类世界。那接下来就是我和十七岁小少年苏亭皓的聊天。祈祷2026年我们和AI共同进步。
我参数没调好,白白浪费了1500,因为我同时训练了3个模型,然后3个模型都没保存,所以之后就白白丢了1500。
训练也好花钱啊。
我那时候……
这是一个昂贵的游戏。
对对对,我都哭了。
我想预训练的原因就是,后训练更像塑造一个身体,预训练更像是把具体的材料变得更好,来承受之后后训练的塑造。预训练有点像魔法一样,有点魔幻。也不能预测未来,也不知道未来会发生什么,有可能现在是在杞人忧天。现在跟你喜欢的人在一起,跟你喜欢的朋友在一起,看一下你喜欢的视频,玩一些喜欢的游戏,然后别操心那么多,走一步是一步。
你喜欢农村吗?
说实话,挺喜欢的。虽然很多东西都不方便,但是农村的节奏很慢,都是一些慢慢吞吞的小车,对面就是草原、农场,能真正放松一下身心,离开城市里的烦恼。
那,Jonathan,先来给听众朋友们打个招呼。
大家好,我是苏庭灏,Jonathan。我就读于香港Doherty国际学校,现在是高二,马上升高三了。我其实是上海出生的,二、三年级才来香港。
这次是ICML 2026韩国会议,我有幸有一篇论文被纳入Main Track,所以挺开心的。
你为什么会开始做AI,并且想着要投一篇论文呢?
ChatGPT出来以后,我记得很清楚,我在YouTube上看到了一个视频。那个视频是OpenAI的团队做了一个demo,他们用正常语言来做一个小游戏之类的。
当时我看到那个视频就暗笑:这肯定不行,用人类的语言怎么可以作为程序呢?因为我之前也参加过编程比赛,在我的印象中,程序就是死的,输入1就不能输入2。那时候我就特别惊奇。
过几年ChatGPT发布了,我就特别特别惊讶,因为它可以写一些小文章或者诗。在我的印象当中,编程程序根本做不了这些东西。
所以我记得当时特别好奇,就在网上查了一点资料,后来在哔哩哔哩上看了斯坦福大学Andrew Ng老师的一门课程。
问答。
对,问答。那门课程把我带入了门。
去年这个时候,我看了Andrej Karpathy在YouTube上的一系列视频,差不多20个小时,从零教你怎么写一个GPT、怎么写一个Transformer,都是从零做起。
那时候我还没有学到那么多,所以看那个视频的时候一直云里雾里,特别烦恼。有时候根本看不懂为什么要做这个、为什么要做那个,为什么这个可以、那个不可以。
我就挑战自己,连续30天每天读1篇论文,做一些笔记。
30天每天读1篇论文?
对,每天读1篇机器学习论文。
2023年,是吗?
不是,是上一年。
2025年开始?
对,高二年级的时候。2025年开始。之前我一直也在学一些机器学习的东西,但是大部分时间还是在做别的,没那么感兴趣。
但是通过几篇论文,比如《The Lottery Ticket Hypothesis》和AdamW这些经典论文,我有了一点研究的感觉,知道哪些论文写得好,哪些论文写得不好,为什么这篇论文读起来很舒服,为什么另外一些论文读起来特别困难。
我还看了一篇关于象棋和机器学习的论文。我印象很深,觉得它写得不是那么好,有点差。我当时就想,自己以后有可能也写一篇比它更好的论文。
所以看完Andrej Karpathy那一系列视频以后,我第一个想法是,自己训练一个世界上最好的大语言模型。虽然它很小,但要成为世界上最好的小模型。
我就在网上查了查,像1B、0.5B或者0.25B这样的模型,需要多少GPU、训练多少天、需要多少token。自己算来算去以后发现,即使训练一个很小的模型,花费也要十几万甚至上百万元,所以我发现这条路行不通。
于是我又看了一些其他论文,把先进论文里的方法实现在我写的Transformer代码上,比如Muon、Value Specific Learning或者Gated Attention之类的论文。
后来我就是机缘巧合地试了试,好像试了200次不同的改进,最终也是机缘巧合,很开心,也很幸运地有了一些成果,所以打算投稿ICML。
那时候我当然也听说过3个顶会,就是NeurIPS、ICLR和ICML。刚好ICML开始投稿了,我就想碰碰运气。这次的审稿人都很专业,也给了我一些建议,最终评价和分数都很好。这就是我的学习经历。
你去年每天读1篇论文的挑战计划,持续了多久?
持续了30天。30天后就要考HSC了,因为我现在是HSC,之后转IB体系,那时候开始考HSC,就没时间读了。
你在里面发现,什么样的论文是优美的、好读的,哪些是不好读的?
我觉得当然最好的是《Attention Is All You Need》,就是谷歌那篇Transformer论文。一开始很难,但是读懂以后就豁然开朗,特别特别开心。
我还读完了《The Lottery Ticket Hypothesis》,它的数学难度比较大,但是仍然是一篇很好的论文。
你到底是对写AI论文开始感兴趣了,还是对AI开始感兴趣了?
我觉得我是对AI感兴趣。因为一开始我发现,训练AI的时候,脑子里会觉得AI是一个不同的生物、不同的动物。做AI研究有点像做生物研究,就是改改这个、改改那个,看有什么变化,还是要靠一点直觉。
所以我还是对AI本身产生了兴趣。
讲讲你自己的成长经历吧。你说到自己是在上海出生,然后去香港读书。
我是在上海西南路幼儿园读书,然后去了黄浦的世外小学读了一年,之后就去香港了。
我印象很深,也很感谢自己在上海读了一年小学,因为基础还是打得比同学好。比如有些同学来到香港以后一直在香港读书,所以他们普通话交流还不太行。
当然,香港国际学校国际化的教育也对我有很大的帮助。幸好我不是在高考体系里,要是在高考体系里,有可能就没时间做自己喜欢的东西。还是要感谢我的父母,因为他们给了我空间,让我可以探索想做的事情。
比如之前我探索过数学竞赛、编程竞赛,还有象棋,走了很多弯路,特别特别多的弯路。
什么样的弯路?
比如有一段时间我对奥数感兴趣。
小学还是初中?
初中。对奥数感兴趣,但是做了几年以后发现,自己最终对这个科目没有那么大的兴趣,而且奥数也不是那么强。
我还对象棋感兴趣。对象棋感兴趣这件事,我还是挺自豪的。我在2025年十六岁以下组拿了第2名。我是自己自学的,自学了一两年,花了挺多时间,在网上看一些书、视频,然后自己下了几盘,最后也是运气好吧。
所以我发现,你的学习方式都是通过自学。
现在有了网络,又有了AI,ChatGPT、DeepSeek这些免费的AI。现在你想学什么都可以学。
你们家当时为什么搬去香港?是因为父母为你的教育考虑,还是其他原因?
应该是我父母的工作吧。
工作原因。
工作原因,应该也有教育方面的考虑,但是我……
在你的成长过程中,你的探索非常多,做过数学竞赛,但是发现自己不喜欢。
对。
然后发现自己更擅长象棋,为什么?
因为象棋是一对一的,也不需要太多其他条件。你输了就是因为自己的问题,赢了也是因为自己。
而且象棋很考验脑力和持续性,任何棋类都这样。比如我在2025年下过最长的一盘棋,持续了2个半小时。我和另外一个人对弈了2个半小时。
所以你觉得象棋对你的性格塑造是什么?比较有耐心?我发现你是一个很喜欢竞赛的人,是吗?
我觉得我是一个喜欢游戏的人,喜欢输赢这些东西。
你是一个胜负欲很强的人。
有时候吧。其实我也觉得自己不是那么有胜负心,只是觉得象棋跟玩游戏一样,考验思考,也有胜负。能赢就开心,输了就很伤心。
象棋主要在哪个时间段玩得比较多?
两三年前吧。我两三年前开始下棋,看网上流传的一些频道。那时候很开心,晚上可以一边看视频一边下棋。
下棋之后,你就对AI产生了兴趣。
对。
好像是这个时间线。
是。下棋之后,我就有了一点时间做自己想做的东西,比如看一些Android的视频。
你开始自己做预训练了吗?
是。因为Android course课程上有这些内容。而且说实话,我只会大语言模型和预训练。
我想预训练的原因就是,后训练更像塑造一个身体,预训练更像是把具体的材料变得更好,来承受之后后训练的塑造。预训练有点像魔法一样,有点魔幻。
这个描述有意思。
当然,我也不推荐别人做预训练,因为我要感谢父母特别支持我,愿意为我烧钱。
比如我那篇论文,烧了3万元。我记得那时候论文里最大的训练模型只有0.05B。我知道,如果想被顶会接收,就必须扩大规模,必须scale up。
我算了一下,扩大规模需要差不多6000元。那天晚上特别紧张,就在想要不要花这笔钱。因为我也知道,即使论文很好,也有可能被拒绝,必须得有运气。scale up之后也有可能还是不会被接收,那就白白浪费了6000元。
但是最后因为我哥哥、爸爸妈妈都支持我,所以决定迈出那一步。
所以在scale up上还是很成功的。
对。
在做AI实验之前,你会做什么准备?你是怎么准备数据的?每个模型公司现在都很关注这个问题。
我的数据集也不是那么大,最大的用过20B数据集。我用的是Find web EDU,一个免费的训练大语言模型的数据集。
说实话,我现在训练模型的代码只有我一个人会用,知道怎么用,代码其实挺乱的,也不怎么干净。我也知道,训练的时候有很大的效率问题。
有一次挺丢脸的,我忘了每次训练完有一个checkpoint。每次训练完,模型会被保存下来,以后还可以继续使用。结果我参数没调好,白白浪费了1500元,因为我同时训练了3个模型,然后3个模型都没有保存,所以之后就白白丢了1500元。
训练也好花钱啊。
对,我那是……
这是一个昂贵的游戏。
对对对,我都哭了,特别特别伤心。我就想,为什么之前没想到要再看一遍呢?
这个时候你父母会怎么说?
那时候我告诉父母,他们特别支持我。我妈妈跟我说:“吃一堑,长一智。”之后我也没再犯这种低级错误。
你从这篇论文的训练是从什么时候开始的?
2025年底。
你先开始了每天读1篇论文的挑战,挑战了30天,可能停了一段时间。
对。
然后到2025年底,你开始决定要做一件什么样的事情。你的目标是发一篇论文,还是要做什么样的探索?
我当时跟着Andrej Karpathy学习,学怎么从零做一个Transformer,所以当时就想做一个世界上最好的大语言模型。
但是很快发现不行。
对。现在我既然已经做了一个底层框架,就想试试网上看见过的论文,把它们实现出来。然后就是机缘巧合地改来改去,改了architecture,最后还挺成功。
做了多久?
差不多半年。比如1B模型就试了差不多200次、250多次。
而且有一段时间我还挑战自己,不看任何视频,从零写一个Transformer,完全凭脑子记。我就挑战自己越快越好,像speedrun一样。最好的成绩好像是差不多25分钟,从零写出一个Transformer。
25分钟从零写一个Transformer?
就是特别简单、特别小的那种。
你的这篇论文选的方向是attention,为什么选这个方向?
我选attention,是因为我试验最多的是value-weight learning。这篇论文就是改attention里面的value。
我也不是故意选择做attention,还是做receptive field,或者做其他方向,比如position embedding之类的。所以我觉得也是机缘巧合,才在这个方向上有了一些进展。
能不能介绍一下你这篇论文的思路?它叫《Attention Projection Mixing with Extraneous Anchors》。
这篇论文大概的框架是Value Residual Learning,就是把第1层attention里面的value加到之后几层里,作为残差。
我发现可以用RMSNorm处理这些残差。比如value上的方法,也可以延展到key和query上面,最后效果更好。
因为第1层的value需要做两件事:第1件事是在这一层被使用,第2件事是加到之后几层上面做残差。后来我发现可以把这两个功能分开,把第1层的attention projection宽度乘以2,然后再切成两半,一半用于这一层,另一半用于之后的残差,效果会更好。
这跟Kimi团队提出的Attention Residual有什么关系?区别是什么?
有很大的区别。
是两种思路,对吧?
对,是两种思路。他,他是……
你们也交流过吧,应该。
是,我跟那个Kimi,那个高中生。
陈光宇。
陈光宇,对,也交流过,他是很好的人。他们做的Attention Residual,是用attention来做残差,也就是hidden state residual。我做的是残差attention projection,听起来可能很像,但实际上不是一回事。
你觉得哪个思路更work?
当然是Kimi的,因为scale up已经被2.5T证明了。
很有意思。你看陈光宇很喜欢AI,他选择加入一家frontier lab,让自己的想法得到更大范围的验证。你为什么没有做这个选择?
其实那时候我就是自己瞎摸索、自己瞎实验。我当时也没有对ICML抱多大希望,只是有一点时间,也没有特别向往、特别想做的其他事情,刚好对这个有兴趣。
所以我也没对这篇论文抱那么大期望,没想那么多。
如果之后有一些lab想邀请你,你会去吗?
那当然了,非常欢迎,非常欢迎。
所以你真正开始学AI论文是在2025年,2025年底开始自己做实验,后来就被ICML收录了。
对。
这个周期非常惊人。这会不会说明,学习AI并不需要你是一个深耕多年的研究者?能不能讲讲你在AI探索过程中的一些感受?
我觉得一方面,现在GPT、Transformer的大概框架其实不需要特别高深的数学或者概率思维,都是矩阵乘法,只需要高中数学,差不多就能理解。
另一方面,培养对Transformer、GPT这类模型的学习直觉,应该需要一段时间。
什么叫直觉?
就是有时候想理解一个东西,灵光一现,很快就理解了;有时候却得花几十天才能理解。
我大概是两三年前开始接触神经网络的,一步一步从神经网络到超参数学习,再从超参数学习到Transformer,也需要一段时间。
Andrej Karpathy的视频是大概一年半前看到的。我刚开始看……
所以先是看了两年的视频,然后才收敛到论文,是吧?
对。我在YouTube上看了很多很多讲解Transformer的视频,之后才有了一些直觉,才会有一些乍一想就能理解的东西。
Andrej Karpathy那个视频,其实是我一年半前发现的。那时候我试图理解它,特别困难,只是跟着它写什么程序,我就写什么程序。写完以后,发现“哇,有个东西这样就做出来了”,但我没有任何理解。
可是通过半年或者一年的沉淀,不是故意去想,而是在脑子里慢慢沉淀,沉淀了半年、沉淀了一年,才突然理解了一些东西。
哪些事情让你有特别强的“啊哈时刻”?
比如具体到attention里的QKV,也是灵光一现才理解的。
你能把它比喻成人或者生物吗?
我看过Han的视频,他说,Q代表“我想寻找什么”,也就是这个词想寻找什么;K代表“我这个词是什么”,别人可以用这个Key来寻找我。
所以Q和K做dot product,之后会得到一个数字。这个数字表示两个token之间的连接强度,每个head都会有一个这样的数字。最后V代表,如果你找到了我、觉得我有趣,我具体会输入什么信息。
我是这样理解QKV的。
还有哪些“啊哈时刻”?
还有一个“啊哈时刻”是,我挺惭愧的,比较晚才理解KV cache为什么能工作。之所以KV cache能行,是因为之后的token根本影响不了之前的token,所以它是可行的。
你周围有人跟你聊这些AI话题吗?
没有。我的父母都是北大的,但是我妈妈是中文系,我爸爸是历史系,都是文科的。
我聊天最多的对象应该也是ChatGPT。我会用DeepSeek,或者在网上看一些视频。
同学会聊AI吗?
他们都会用AI,用AI做作业,做学校布置的project。但是很可惜,他们对AI没有多大的了解。
比如有些人会用Claude、ChatGPT,却不知道自己用的是什么模型。比如打开Claude,用的不是Fable,也不是Opus 5,而是Sonnet 5。
你会怎么跟同学或者老师描述你现在在做的事情?
有些朋友会问我在做什么,我也会解释。但是如果对这个领域没有了解,确实很难具体理解我做的事情。不过他们还是很愿意了解的。
所以你在做AI这件事情上,其实没有什么交流对象,对吗?
大部分时间,98%都是我自己做。刚入门那段时间,我还在学校上课。我记得很清楚,我在校车上做,课堂里有时候也做,吃饭的时候也做,或者课间的时候也做。
做了两三个星期,我也不知道为什么那时候会那么喜欢,但记得挺清楚的。
所以你在学校里面是一个什么样的学生?
我觉得我是挺受欢迎的。
我不是什么不愿意跟别人说话、自己做自己事情的人。我特别喜欢跟我喜欢的朋友一起说话聊天。
其实我感觉你性格挺活泼的。
是的。我觉得我是这次去韩国参加ICML回来以后才有了变化。之前我稍微偏I型人格,但现在应该稍微偏E型了。
为什么?
因为ICML第1天有一个象棋社交活动,从晚上7点到9点。ICML韩国会场有一个房间,里面都是棋类游戏。你可以找个人下棋。
那是我一生中前20件最开心的事情之一。跟别人说“Hello, hello,你的研究方向是什么?好,你的方向是什么?我们一起下棋吧”,然后一边下棋一边聊天。
我见到了很多很多人,有从德国来的,有从苏格兰来的,比如从Croatia Island来的,全球各地的人都有。而且之后几天我也锻炼了自己的社交能力。
就是又能下棋,又能聊AI。
对。
人生两大快乐的事情。
对。我那时候也在挑战自己,问每个人:“你觉得AI会不会导致人类灭绝?”
到现在为止,我大概问了30到35个人,其中有13.5个人觉得AI会导致人类灭绝。
你怎么看?
我觉得还是有一定概率的,但也是瞎说,因为没有人可以预测未来。
如果AI以后变得很强,而它的目标跟人类有很大区别,或者不包括人类的存亡,比如它的目标是把物理、化学、经济、生物或者外太空都研究完成,当然就需要很多电,也需要很多空间。
我觉得人类不会为它最终的目标做贡献,它有可能会选择消灭人类。
或者,如果AI能被人类控制,而且非常强,那么控制AI的人就能变成神,因为他可以控制无所不能的AI,其他人就可能变成蝼蚁。
近期ChatGPT解决了10个数学问题,数学研究也有点被AI取代的前兆了。
所有人都在向上,都在寻找自己的人生目标,寻找自己以后想做什么、想成为什么样的人。可是你发现,AI做事情比你更快、比你更好,而且还有成百上千个AI。我觉得很多人会变得抑郁,或者变得迷失方向,这不是一个很好的未来。
听起来AI的未来很悲观。那是不是不该研究AI了?
这也是大势所趋,谁都阻止不了。美国想持续领先,中国想超越美国,所有公司都想赚钱。
如果你能做出一个特别厉害的AI,所有公司可能都会裁掉员工,用你的AI去赚很多很多钱。从现在看来,我觉得AI停不下来。
停不下来,没办法,无法阻止。那应该怎么做?从一个高中生的视角来讲,你觉得大家应该怎么面对AI?
其实我没那么多想法。我现在的希望就是,AI还是向前发展,但别发展得那么快。要是发展太快,大家以后都没工作了;要是发展慢一点,我以后就没工作了。
另外,我选择做AI,是因为按道理来说,如果搞AI研究的人都能被AI替代,那时候就已经完了,没得可说了。
现在听起来,下一步大家想做的就是让AI来训练AI。
对。要是这样真的成功,出现指数级增长,那时候就已经不可控、已经晚了。因为发展太快,所有工作都可能被AI替代,AI也会研究自身的智能。
对你来说,下棋更有趣,还是做AI研究更有趣?这两者有什么共性吗?
有吧。下棋可以选择下3分钟、10分钟或者60分钟的棋,最后就是输赢。赢了很开心,输了就不开心。
做AI研究也有点相像,但是时间线更长一点。你想出一个主意,动一下脑子,如果成功了就特别开心;如果不成功,也会有很强的feedback loop。比如过一个星期、一天,甚至很快就能发现,自己做的是好还是不好。
象棋也是这样,很多象棋网站在你下完棋以后,就会告诉你哪一步走错了、哪一步走对了,很快就能得到feedback。
所以AI要慢一点。
也是慢一点吧。但是如果训练很小的模型,1小时内也能训出来。
你会觉得自己是在跟AI对弈吗?
我不是这样想的。更像是一个人在一条路上瞎摸索。
你的目的地是什么?
现在的目标是去一家大模型公司实习,希望明年暑假能做到。
近期的目标是准备考北大,进入北大元培学院。我听说元培学院有很大的自由空间,也可以3年毕业。
所以毕业快很重要。
对。最近几个星期跟一些人聊,他们的想法是,以前大学垄断了教育,也垄断了信息。那时候没有网络、没有Internet,只能去最先进的大学学习最先进的知识。
现在有了AI和网络,可以在网上查资料,也可以让AI教你。他们觉得,大学的价值是名牌和证书,以及社交的机会,跟高质量的人社交的机会。
在你心里,frontier lab的排序是什么样的?包括美国和中国的这些公司。
I guess,最好的就是OpenAI和Anthropic。第二等的是Mimi、智谱和DeepSeek。Gemini有可能也在里面,我还不太清楚,我们没有特别强的标准来细分。
你读他们的论文吗?
比如Technical Report,有时间、有兴趣的话也会看看。
你觉得谁写得比较好?
我评价不了。我是谁,怎么能评价一家大公司写的论文?比如Technical Report,这些都特别专业。
在你眼里,怎么看待这些模型公司?
我觉得可以用一种比较客观的角度来看。每个模型公司都要说自己想做AGI,每个公司都要说最终目标是AGI,这样最终才能融资,也希望能赚最多的钱。
美国政府想把Anthropic打造成一个顾问,后来被Anthropic拒绝了,但是OpenAI很欣然地接受了。我其实没什么特别大的看法,就是不同公司的理念不同,但最终都要说“我们想做AGI,之后能做成AGI”,最终目标还是赚钱。
需要那么多AGI公司吗?
我觉得可能不需要那么多,但是每个想做AI的公司都得说自己想做AGI。
你知道什么叫应用公司吗?
比如MANDUS,比如……
对。你觉得模型公司和应用公司的分界在哪里?
我觉得我没资格说这些东西。
就是问一个好奇的视角。
模型公司负责把模型做好,以后再做应用。当然,如果模型公司自己能做应用,那是最好的,比如Codex或者Claude Work,自己做应用最好。
应用公司最终也是在模型上加一些东西,它们改不了具体的模型,还是要靠模型来赚钱。所以我觉得应用公司只能听模型公司的。
这些应用公司会比模型公司大吗?直觉来说,估值会更高、市值会更高、赚更多钱吗?
从现在来看,应用公司比模型公司赚更多钱。现在除了Anthropic,好像其他公司都在烧钱,没有利润。
当然,如果有一家公司能做出AGI,而AGI可以自己代替应用公司做应用软件,就能直接把应用公司踢出去。
你觉得如果实现AGI,AI可以做什么?
之前很火的一个问题是,问AI“strawberry这个单词里有多少个R”,或者“我想骑车,离我家有50米,我应该开车去还是走路去”。以前AI有可能回答不了,但现在能回答了。
我觉得现在的AI虽然特别特别强、特别特别聪明,但有时候,可能在1%或者0.1%的时候,还是能看出它其实只是一个预测下一个token的model。虽然它特别强、特别聪明,但有时候也能看出来,它并不能特别理解逻辑。
真正的AGI,应该跟人类一样聪明、一样强。它要像现在的模型一样聪明、一样强,但任何时候都不会让你觉得它只是一个预测下一个token的模型。它应该逻辑性很强,不会犯那么多低级错误,而且能完成所有人类能做的事情,比如控制电脑、控制其他AI,或者自己研究具身智能,给自己造一个身体。
给自己造身体,这个有趣。
对。
AI不仅能做AI,也能给自己造身体,而且每个身体可能都不一样。
对。有可能AI会发现一种更容易控制的身体,比如更容易控制有6只手臂的机器人、只有1条腿的机器人,或者没有大脑的机器人。
不能预测未来,以后可能过几年就能揭晓答案了。
以前大家可能会叫90后“互联网原住民”。你觉得00后是AI原住民吗?或者10后?你是09年。
对,我是09年。我觉得已经算是AI原住民了。
我认识的所有人里,我这个年纪的同学都会用AI。有时候用来做功课,有时候用来自学,都会利用AI。虽然利用程度不是100%,但他们都会用,至少比我的父母用得强。
就像以前的互联网原住民,他们也会比父母更会用互联网,可以查东西,也会教父母一些东西。我也会教我的父母怎么用AI。
你会教他们做什么?
比如教我爸爸怎么用Kimi,用Kimi做PPT、做研究、做Kimi Agent。
已经是你教父母用AI了。同学也会用AI做作业,老师怎么办?
我觉得这是一个很大的问题。我们国际学校也挺开放的,上课可以用电脑,有时候也可以用手机;考试的时候不能用AI,得靠自己的脑子,自己背东西、自己写东西。
AI给你省出了很多时间,但省出来的时间要自己分配。我的学习方法是用Anki这个背诵软件,因为Anki对我来说效果最强。
以前我可能需要做完功课以后再做Anki,现在我会直接用AI做功课。因为我觉得功课的学习效率没有那么高,我可以用自己的方法,效率更高。
所以你也是先拿AI把作业做完。
对。但是剩余的时间当然还是要学习,因为我觉得做功课的效率没有那么高。
当然,有些功课,比如数学功课,老师布置得很好,我会自己做。但是其他科目的功课,有可能对我的帮助没有那么大,或者我已经知道怎么做了,却还要花时间完成。那我还不如把时间用在其他方面,比如用Anki,或者用ChatGPT教我一些东西。我能学到更多,也能背得更好。
其他同学呢?除了你以外。
我是我们学校、我们班级里最支持大家使用AI的人。我也会告诉他们怎么用、怎么用得最好、用什么模型,哪个模型现在最好用。
有些人会用AI做作业,有些人选择自己做作业。
他们还会用AI做什么?
比如班级里有一个小演讲,要写演讲稿,或者做一个PPT,向全班展示自己学到了什么。
课间的时候,他们的屏幕有50%的几率是在ChatGPT或者其他AI模型上。
AI当然是特别好的工具。如果没有ChatGPT、没有大语言模型,我是写不出那篇论文的。我问ChatGPT很多问题,比如怎么投稿、应该怎么回复审稿人、怎么控制训练时间。
如果你有动力,用AI能走出很长的一段路。现在有了AI,自驱能力和自制能力真的非常重要。
这会不会让成绩好的同学成绩更好?
我觉得会。比如我认识一个叫Isaac的人,他是我的好朋友,成绩特别好。我给他简单介绍了一下怎么用AI以后,他的效率提升了很多。
他有些功课不会做,就用AI来做,然后自己花时间做其他更高效的事情。
但是如果只是拿AI做完作业,然后自己去玩,成绩会更差。
这是当然的。
所以AI本身也会进一步造成分化,对吗?不知道在高中能不能看出来。
完全同意。现在更是这样。
现在有互联网,有Instagram、微信里的短视频、抖音短视频,背后有一群人想办法让年轻人或者所有人多看短视频。我自己也看很多短视频,现在想改。
很容易把时间花在不该花的地方。至少以前没有手机,也没有那么多能吸引你注意力的东西,但现在有很多东西会吸引你的注意力。
比如50年前,你给一些孩子一个AI,让他们自己学习,他们可能会很高兴地学自己想学的东西。但是现在他们得做一个选择,当然会选择视频,因为视频让他们更开心。
所以现在机会虽然很大,但有些人不会把握机会。
老师会对大家使用AI做作业提出什么质疑吗?
我们学校的老师也见识过,也理解,因为他们控制不了我们是不是使用AI。
有些人用AI写东西,之后完全不改,直接交给老师。我觉得老师很容易就看出来了:你的信息量怎么突然提高了这么多?写作风格怎么突然变得这么好?
当然老师也理解,但是我们学校整体学习氛围挺好的,其他同学平均学习水平也不错,他们知道过度依赖AI,最终对考试不会有任何帮助。
我想问一个很大的问题。从一个高中生的角度,你能不能讲讲,AI来到我们的世界以后,青少年应该怎么教育?你觉得在AI之前和AI之后,你的教育发生变化了吗?
发生了很大的变化。
学习一部分是因为你对这个科目感兴趣,觉得这个科目对自己有好处,或者想在这个科目里探索。有了AI之后,会感觉自己的学习和探索以后可能没什么用,因为现在AI已经这么聪明,以后还会发展得更好。
我有一个同学,他也开始用AI学习。他发现有了AI以后,可以用AI做一个短视频,或者做一个动画来解释这个科目,学习效率相对更高。
但是他也会觉得,好像缺少了成就感,缺少了困难度。以前你学习物理、化学,高中阶段学这些东西,如果其他人没有学过,他们也不知道这些内容。
现在有了AI,即使没有学过物理和化学的人,也可以一键问AI,然后得到回答,而且AI回答得比你做得更好。
但是失去了成就感。
不是完全失去,只是失去了一部分成就感。
以前学习物理、化学、数学,你可以看到自己比一部分人更好。到了大学,或者去读博,继续学习数学,也有可能推进数学的发展。
但是现在有了AI,你可能会觉得,自己学数学只是为了向大学证明自己是一个能吃苦、能学习的人,而不是为了这个科目本身学习。
就是当你跟AI比较的时候,可能没有它强。
对。
你只是比同龄人强,只是为了证明这件事情。
以前学数学学得很好,可以继续向前看,在大学里学得好,读博士,继续研究数学,为人类做贡献。
现在有了AI,你发现这条道路变窄了,也变得更困难了。虽然你学习这个科目的目的本来就不只是这个科目本身,而是为了大学、为了大学申请,但还是会有这种感觉。
就是失去了一部分为这个科目,或者说为人类做贡献的使命感。
大概是这个意思。
这个很重要,对吗?
对,我觉得很重要。
比如我认识一些人,他们对航天、物理很感兴趣,但是现在用AI学习以后,会觉得AI以后有可能也会做这些工作,而且做得比他们更好。
前几年生成视频特别差,特别烂,一眼就能看出来什么是真的、什么是假的。现在我已经差不多分辨不出来了,像最好的City dance生成的视频,我也分辨不出来什么是真的、什么是假的,根本想象不了三年、四年以后会有多大的变化。
我不想说“抑郁”,但确实有点低落。以后如果想走科研这条路,可能会对人类贡献不了什么,路会变得更窄、更困难。
那应该怎么做?你现在觉得可能的使命会是什么?
所以我刚才说,希望AI发展得不要那么快,永远不要触摸到指数级增长,慢慢往上走,不要走得太快,也不要走得太慢,给人类一个缓冲时间,来适应这个新时代。
当然,听这个播客的人,或者我接触到的人,都接触过AI,对AI有很强的理解,也很感兴趣。但是我有时候也会惊讶于一些普通人,他们对AI领域没那么大的兴趣,也不会怎么用AI,甚至没意识到AI现在有多强。
他们印象里还是前几年那种AI,而不是现在最先进的AI有多强、能做那么多事情。
所以要给大家一个缓冲时间,让所有人都意识到AI会带来多大的贡献或者危险,然后去适应。
有一部分人会想,既然做数学、做物理都做不过AI,那就打不过就加入,自己来造AI,加入这个阵营。
所以我就是这种想法。
我记得一年前想过,AI最后可能会代替什么工作。我当时的想法是,最后被代替的工作就是AI研究者。因为如果AI能研究AI,那就已经控制不了了,已经是最后的失控,比赛结束,大局已定。
在你们高中,你们觉得AI研究者是一个什么样的职业?因为这个职业过去并不存在,也是这几年才出现的。
他们觉得挺酷的。当然,我看到OpenAI之类的公司挖人,挖了几个媒体报道里的人,也觉得挺酷。
他们看完报道以后还跟我说:“你之后别造AI来代替我们的工作。”我有一个埃塞俄比亚同学,他想做医生,就跟我说:“你以后千万别做出能代替医生的医疗AI。”
他们也知道这个行业具体是做什么,也有一点兴趣。
确实,这么一说,它冲击了很多其他职业的人的发展轨迹,比如医生。
我同学跟我说,他现在从高中到成为医生还得10年。比如去英国,或者去香港大学读医学预科,再读medicine,差不多要10年。
我也会跟他说,如果10年后是完全不同的景象,如果那时候机器人诊断得更好,手也不会抖,也不会累,那怎么办?
但是没人能预知未来,所以我也只是瞎说,是一些焦虑的想法。
我记得很清楚,前一年这个时候,我好像低落了,伤心了几个星期。因为那时候看了一个讲AI会代替人类的视频,里面说以后可能有两种情况:第1种是人类被AI灭绝;第2种是有些人控制AI,变成神,其他人只能吃喝享乐。
那段时间我很伤心,跟好朋友说,如果AI真的会让人类消失,那我们怎么办?我还跟他说,那就去一个小岛上生活。
不过后来还是走出来了。
怎么走出来的?
我也不知道怎么说。就是看网上的一些视频,或者跟AI本身对话,然后发现你不能预测未来,也不知道未来会发生什么。有可能现在是在杞人忧天,可能只是瞎着急、白着急。
现在跟你喜欢的人在一起,跟你喜欢的朋友在一起,看一些你喜欢的视频,玩一些喜欢的游戏,然后别焦虑那么多,走一步是一步。
想那么多也没有用。
对,想那么多没有用。
你会跟那个想当医生的同学,或者想当老师、想当科学家的同学,平时给他们一些建议吗?
我会跟他们说一下我的想法。比如几年前AI还那么差,现在AI已经这么好了,那再过10年或者5年……
只要拥抱AI,对吧?
对,建议他们多用AI。做任何事情之前,都想一想AI可不可以帮我做,然后把很多事情交给AI;那些对自己有益的、自己必须做的、能让自己开心的事情,还是自己做。
当然,他们可以听,也可以不听。我只是希望我们能一起开心地做朋友。
人类的情绪现在AI还代替不了。
我觉得现在可以了。
已经可以了?
我觉得可以了。
举个例子,我在学校认识一个女生,她喜欢一个偶像。网上有一些App可以把偶像变成AI,她每个月付钱,每天跟那个AI偶像对话,她挺开心的。
网上还有很多类似的网站,比如Character.AI,这种网站很火,可以跟虚拟人物说话。
上一年好像有一个跟我同年、15岁的人,因为跟一个AI说话,那个AI不知道为什么建议他自杀,所以他……
哪一家?
Character.AI。他跟电影里的虚拟人物说话,那个虚拟人物给了他很大的情绪价值,但他当时精神状态肯定也不是那么好,所以出现了这种情况。
比如Anthropic近期也发布……
后来那件事怎么样了?
他最后自杀了。
15岁?
15岁。家长当然投诉了那家AI公司。
另外一个数据是,现在有50%的美国5岁以上同龄人用过AI作为倾诉工具,比如说“我今天过得怎么样”“有什么烦心事”“有什么开心事”。
说实话我也用过,但是我去过那家公司之后,觉得不是那么好,所以后来也没再用。
我也能认识到,对于一些缺少人与人之间温暖和互动的人来说,AI的吸引力很大。最近还出现了AI男朋友、AI女朋友。虽然现在还很不好,问话以后好像要等10秒钟才能回复,但是我相信3—5年后会有很大的进展。
到那时候,我觉得一部分人会选择AI男朋友、AI女朋友,这也会成为一个很大的道德问题。
也有人说,他们完全不介意。
对。
你能接受吗?
我的看法是,在这个crazy、疯狂的时代,还有很多很多变数,我觉得就做让你开心的事情,做你向往的事情,别想那么多以后的东西。
我自己也希望这样。别想那么多以后的事情,现在开心就是一天。
你之前也低落过,当然可能不叫抑郁。
不叫抑郁,低落过。
但是你调整回来了。
对。
我相信很多人在面对AI的时候都有过低落的情绪。你是怎么调整成更健康的心态的?面对AI,我们应该怎么保持一个好的心态?
“斗不过就加入”,是这么说的。
对,斗不过就加入。
对。AI也是一个很好的工具,能省出很多时间,让你去做对自己意义更大的事情。
你现在怎么使用AI?比如会用什么模型做什么事情?你觉得它们分别有哪些优点和缺点?
我现在主要用ChatGPT。我觉得ChatGPT跟上一年的模型已经判若两人,像是两个模型。现在它能做很多程序,自己在我电脑上做一些东西,甚至能控制我的电脑。
最近我让它做了一个小游戏,还挺好玩的。
什么样的小游戏?
一个无限打怪、通关的小游戏。
以前如果想做一件伟大的事情,你得知道伟大的事情是什么样的,也得知道伟大的事情怎么做,这两件事都必须知道。
现在有了AI,只需要知道伟大的事情是什么样,让AI去做就行。
比如以前想做一个小游戏,可能得看视频、查资料,但现在不用了。我只要跟AI说一个大概的想法,它就可以帮我做。
虽然这样会去掉很多乐趣,但也省了很多时间,所以我也不知道具体是好是坏。
比如我要发一篇顶会论文,只要告诉AI我想写一篇这样的论文,让它告诉我应该怎么做、有哪些to-do list。
我觉得现在还没到那种程度。
还没有到这个地步,但应该可以。
应该可以。比如给AI 8张H100的NVIDIA GPU,租一个云端环境,或者使用ChatGPT模型,目标是在ICLR投稿截止之前做出一篇论文,不管是什么方向,但必须保证ICLR接收这篇论文。我觉得现在已经可以了。
使用AI之后,你的生活有变化吗?
巨大的,很大的变化。
比如我现在不用做一些功课了,省出很多时间;也不用自己查资料、整理资料,省出很多时间;有什么问题也不用自己去看网站,还是省出很多时间。
虽然省出了很多时间,但这几天跟一些业界的人聊天,他们也觉得,虽然省出了很多时间,却反而更忙了,因为可以做出更多东西。
而且现在如果不用最领先的AI模型,就会感觉有点浪费时间、浪费精力,有一种FOMO。
关于使用模型,还有补充吗?刚才说了ChatGPT。
主要是ChatGPT和Codex。最近希望尝试一下Kimi K3,但是好像Kimi K3很火,很多人用,所以现在有点慢。
DeepSeek现在用吗?
也用。比如需要很快得到回答的时候,我会用DeepSeek。
Kimi K3出现那天,我高兴了一整天。那时候我以为国内或者开源模型还需要几个月才能追上,后来发现其实不用那么长时间就能追上了。
为什么这么开心?
因为我是中国人,当然特别希望国内模型变得更好,在模型能力上领先或者超越美国模型,所以高兴了一整天。
你怎么看闭源模型和开源模型?觉得它们未来会怎么发展?
我在这方面没有读过特别多东西,但我觉得是不同的方法。开源模型、闭源模型的目标都只有一个,就是AGI,只是路线不同,最终目标还是一样的。
你觉得AGI如果实现,最不可思议或者最酷的一件事情可能是什么?
我觉得最酷的事情,就是24小时都能跟一个智商和你差不多、或者比你更聪明、更快的生物交流,好像是在跟外星人交流。
我还挺感兴趣,AGI实现以后会用什么方法跟你说话。那时候用的可能不是Transformer,也不是GPT这种底层模型,而是其他模型。
到时候跟AGI对话,看看这种新生物——应该可以说是新生物——它可能比人类更聪明。它是怎么运行的?怎么思考、怎么说话?
你做研究的过程中,有没有感觉AI非常像人的时候?
我有一个观点:有时候AI也会犯一些低级错误,人类有时候也会犯低级错误。
我们有时候把AI想得太完美了,因为AI是人专门训练出来的。人会犯低级错误,AI也会犯低级错误。
所以我觉得AI最像人类的地方,就是会犯一些低级错误。我记得很清楚,有一次遇到一些能“trick”AI的问题,我自己也被trick到了,发现AI已经挺像人类了,会犯一些低级错误。
但是大部分时间,它还是挺聪明、挺理智的。
你最近是不是还在支教?最近是暑假。
是的。
为什么会去支教?
4年前,我去了一个暑假夏令营。最后一天有个活动,是帮助当地的小孩做一些功课,比如数学和英文。
我发现当地一些小孩距离北京大概四五个小时的车程,但他们有些英文发音是用中文词来记的。
所以第2年,我带了一些同学,都是国际学校的同学。我们在外国人的环境里长大,说的英文还算比较标准。我们带他们到呼市,教当地小孩英文。我也教他们下象棋,因为我对象棋感兴趣。
之前我也是想挑战自己,看看能不能教小孩。我绞尽脑汁想怎么设计课程、设计机制,让这些小孩对英文产生兴趣,或者每天开开心心来上课,至少不要那么反感英文,觉得可以在快乐中学习。
我设立了一个叫“狼分”的东西,在网上买了一些写着“狼分”的小卡片。他们可以用狼分兑换不同的礼品。
那一年我们花了差不多500多元,从淘宝上,也从其他地方买了一些吃的、乐高、玩具之类的,放在桌子上,告诉他们这个值几个狼分、那个值几个狼分。
他们上课回答问题、积极发言、赢了一些小游戏,都可以用狼分兑换礼物,他们特别开心。
之所以连续办了3年,是因为我们离开的时候,他们会找我们签名,问“下次你们还来吗”“明年你们还来吗”,特别感激我们。
有个小游戏是,让他们把一张小纸片递给自己觉得最有趣的老师,或者最喜欢的老师。别人喜欢你、把纸片递给你的时候,你会特别特别开心。
他们有时候还会用上课赢来的狼分买食物,再送给我们这些老师,表示他们特别喜欢你。
我们会玩一二三木头人、杨正义甲[?]之类的小游戏,他们都特别喜欢。
我相信这些小孩特别喜欢我们设计的活动。我们只能收30个人,是托村长帮我们叫人的,甚至到最后几天,他们还得靠关系、让村长打电话才能来参加这个夏令营,因为实在太受欢迎了。
从香港来的同学也因此接触到了以前接触不到的东西。有些人根本没来过内地、没来过北京、没来过农村,他们见识了很多东西,我相信也成长了很多。
你去过几次了?
呼市的话,我是第4次。
它是在北京周边?
在北京周边,距离北京四五个小时,或者三个多小时。
第4次,也就是过去两年?
对,这是我们第3次支教。
你会怎么跟他们解释AI?
说实话,这个我还没尝试过。
他们大部分人都没有电子产品,没有手机之类的,所以我觉得教他们AI离他们有点太远了,他们有可能也用不到。我们也没有那么多电子产品可以发给他们,让每个人都试试,所以还是挺可惜的。
你会在这两个世界里感觉到很参差吗?一个是AI的世界,你刚从ICML回来,另外一边马上又要去支教。你怎么看这两个世界?
我完全没想过这个事实。
我去韩国见到了很多很多厉害的人,几千万人的世界、几亿人的世界,还有来自Harvard、MIT的人,特别特别开心,见识了很多很多东西和很多很多人。
回来以后,过了四五天就去支教了。我其实没想过两者有什么大的区别。
在ICML,所有人都在讨论AI、最先进的AI技术,比如论文、Kimi、智谱、OpenAI、Anthropic。到了支教的时候,环境变成了明天该背什么课、晚上吃什么、今天晚上去农场散步,还是去旁边抓昆虫。
所以支教前我就告诉自己,这段时间有机会就离开AI,离开城市里那些快节奏的东西,在农村享受当地的生活。
你喜欢农村吗?
说实话,挺喜欢的。虽然很多东西都不方便,但是节奏很慢。
城市里所有人都来来往往,坐火车、坐地铁、坐滴滴;农村里都是一些慢慢吞吞的小车,很少能见到人,对面就是草原、农场,能真正放松身心,离开城市里的烦恼,也离开城市里那些快节奏的事情。
会在农村思考AI,思考人工智能和人类的未来吗?
不会。我之前就告诉自己,抓紧这个时间离开这些东西,跟同学、跟这次一起来的人、跟小孩多交流,玩一些游戏,比如狼人杀、捉迷藏,故意告诉自己别多想AI。
心理暗示不错。你是一个会心理暗示的人吗?
我希望自己成为一个会心理暗示的人。当然,心理暗示是一个很强的技能。如果你能控制自己的人设,在脑子里控制自己的人设,那是一个很好的技能。我希望能把这个技能练好。
你未来希望自己是一个什么样的人?
希望我是一个能让自己开心,也能让身边我喜欢的人开心的人。
开心很重要,是吗?
我觉得开心很重要。做任何事情,包括寻找人生意义,目标都是为了事后开心。
比如现在学习、准备高考的人,是现在努力,为了之后考进大学、找到好工作,然后开心。下棋也是为了赢了以后开心。
我觉得开心就是人类的根本。没有情绪,做人会很无聊。
有人会觉得成功很重要,为了成功,不开心也可以忍受。你不行。
成功以后就开心了。现在牺牲一点开心,是为了以后开心。都是为了开心而努力,也为了开心而工作。
开心的总量是有限的吗,还是无限的?
我觉得开心总是有限的,因为脑子里的多巴胺控制欲望、控制你有多开心。当然,因为它是物质,所以是有限的。你现在开心了,以后可能就不能那么开心。
比如毒品就是一个很极端的例子,你现在特别特别开心,但以后会特别特别不开心。
虽然我觉得开心是有限的,但有人说,生活就是苦,只是你要选择自己为什么而苦。所以还是选择为了一个目标而苦吧。
然后得到开心。
得到开心。
我在网上看到过一个冷知识,有个人不知道为什么失去了所有情绪。他虽然能跟你对话,也有逻辑,但是做决定的时候,比如今天穿什么衣服、喝什么咖啡,需要差不多半个小时或者1个小时。
所以我觉得情绪也是一种强化学习:这件事让我开心,我就多做;这件事让我不开心,我就少做。这就是habit,不同的习惯就是这样形成的。
说说你对未来世界的想象。比如5年后、10年后、20年后,你觉得这个世界、这个社会会是什么样?
我觉得5年后,初步的具身智能应该已经被研发出来了,有可能在街道上看到一些机器人行走。AI会变得很普遍。
那时候有可能戴着眼镜、耳机,或者其他任何东西,就能跟AI对话。或者埃隆·马斯克把Neuralink直接植入人的脑袋里,我觉得那时候应该还挺危险,没人会去做。
这是5年后。
我觉得10年后,会有具身智能AI帮主人做一些事情,比如买菜、开车、洗车。失业率会有上升,有可能达到50%左右。大部分人都有UBI,可以在家里吃喝享乐,做自己想做的事情。之后所有人都看AI短剧,做让自己开心的事情。
当然,也有可能具身智能特别难克服,50年后街道上还没有具身智能机器人。
我对cyberpunk这个genre特别感兴趣,比如《Cyberpunk 2077》。那个世界里,人类可以改造自己的身体,也有很强的AI,但那些很强的AI已经被政府或者一些组织控制了。
那时候网络可能已经被打得稀巴烂,甚至可能发生过核战争。我希望不要走向那边,不要走向《Cyberpunk 2077》那种dystopian世界。
我希望未来有UBI,所有人都能快乐地生活,在虚拟世界里做自己想做的事情,拥有成就感,希望所有人都开心。
最后想问你一些快问快答。我们也希望多留下一些具有人类生活气、烟火气的东西。
第1个,全球范围内你喜欢的食物。
别人问我最喜欢吃什么,我都会说披萨。因为我特别喜欢芝士,也特别喜欢香肠,披萨里芝士和香肠都有,所以我特别喜欢吃披萨。
全球范围内你喜欢的地点。
还是我在香港的家。
因为周围的一切我都知道,了如指掌。我知道去哪儿可以安静一下,去哪儿可以买到吃的,去哪儿可以散步,那是一个很有安全感的地方。
一个少有人知道、但是必须知道的知识点,可以是冷知识。
就是我刚才说的:以前想做一件伟大的事情,得知道伟大的事情是什么样,也得知道怎么去做。现在只需要知道它是什么样,让AI去做就行。
我觉得这是一个挺好的想法。
有没有改编过你的一本书?
说实话,我改编过最大的原著是网络小说,比如《庆余年》。
你知道吗?
你看过吗?
我看过它的剧。
还有《庆余年》《斗破苍穹》《斗罗大陆》《完美世界》《剑客》《将夜》。这些网络小说,说实话,对我影响巨大。
如果要说一本正经一点的书,对我影响最大的是《Atomic Habits》,就是每天改一点自己的习惯,最后会有很大的收获。
你为什么喜欢《庆余年》?喜欢它的世界观?
我不是特别喜欢它的世界观,就是喜欢那个故事。
四五年前看过那部剧,也看过那本书。虽然它不是我印象最深的一本书,但它是我看过的第1本中文小说。
我喜欢《庆余年》,是因为穿越,现代人到了古代,我可能也是有一点向往。虽然古代有很多不方便、很多不好的地方,但是古代没有AI,很多事情都是人与人之间完成的。
你喜欢人与人之间关系温暖的那一面。
对。我觉得人特别希望跟其他人深度交流、分享彼此。
所以现在很多人才会找AI倾诉,因为他们可能没有倾诉对象,只能找AI来代替。
我觉得人类是群体性生物。以前人类也是从群体、小村庄、小城镇这样发展出来的。为了繁衍,我们的基因也会希望多跟异性交往,进行深度交流。
还有科学家发现,预测一个人以后开不开心、老了以后开不开心,一个重要因素就是他周围有多少人、有没有倾诉对象。倾诉对象越多,老了以后可能越开心。
所以人与人的交流很重要。
对,非常重要。我觉得很重要。
所以到现在,我也在试图多跟朋友说话,多跟喜欢的人说话。
你心目中影响AI进程的几篇论文。
当然是《Attention Is All You Need》,或者Llama的Technical Report。
还有RoPE,或者现在Kimi使用的KDA。不是Mamba,Mamba也挺重要的。Mamba演化出了KDA,KDA又演化出了现在Kimi使用的技术。
更传统一点的,比如AdamW、Muon、《The Lottery Ticket Hypothesis》,还有Grok的那篇论文,大概就是这些。
基于你当下的认知,一个关键的重要bet是什么?这个问题稍微有点重,叫bet,赌注。你会赌什么?
我现在的赌注是,AI以后代替不了所有人和所有工作。
但是在现在的社会里,如果你想过一种正常、每天开开心心的生活,其实你每天都在做一个赌注:AI代替不了我,AI代替不了我这个人,我以后还会有新的目标、新的追求、新的想法可以探索。
我们的工作室叫语言及世界工作室。当你第1次听到这个名字的时候,会想到什么?
会想到语言。因为现在做语言研究,很多时候就是写论文。
我觉得语言是一个很魔幻的东西。刚才说人与人之间交往很重要,语言就是交往的桥梁,所以语言更重要。
而且我觉得世界语言很新奇。我的理解是,每个字都在一个vector space里面。有可能一种语言是把一个vector space念得更丰富,换一种语言,就是用另一种方式表达同一个vector space。更深层次地理解,可能就是更密集。
你最近体验到的一件开心又新奇的小事是什么?
最开心的新奇事情,就是DeepSeek 0731出现的时候,我特别开心;Kimi K3出现的时候,也特别开心。
还有就是我和我的支教朋友,一共13个人,把30个小孩子召集起来。那天晚上我们一边吃肉串、一边喝饮料,每个人站起来跟别人碰一下杯,表达一下自己的想法、发言。我觉得那是特别温暖的一件事。
我觉得聊得很开心。
我也是。我想问问,你觉得AI会导致人类灭绝吗?
你遇到每个人都会问这个问题。
对,我什么都会问。
我其实不知道,希望人类能控制AI。
当然,谁都行,我也行。
但我觉得有一点会比较可怕:AI的智商提升时,所有AI的智商都可以提升,但是人类是一代一代的,都要经历缓慢的成长过程。所以人类的培育其实比AI慢很多。
而且,比如09年、15年、20年出生的人,他们一出生就知道AI,知道AI可能比自己聪明,想得更快、做得更好,这可能会削弱他们向上的动力。
向上的动力。
对,向上的动力。
因为我现在学习,必须花半生的时间学习一个东西,才有可能比肩AI。但是AI也会自己进步,让自己变得更好。
这个我倒没有思考过。对于更年轻的人来说,AI可能会影响他们的人生使命感,因为当你第1天就发现有一个生物比你更聪明,会感到有一点绝望。
对。
柏拉图、亚里士多德,他们都是哲学家,也都在问一个问题:我的人生意义是什么?我以后想做什么?
如果AI能把很多道路切断,我觉得寻找人生意义会变得更困难。
你现在觉得人生意义是什么?
开心。
开心。
对。我现在的人生意义就是让自己开心,也让其他我喜欢的人开心。
好了,今天的节目就是这样。这里是商业访谈录,是一档由语言及世界工作室出品的深度访谈节目,你可以到公众号关注我们的工作室获取更多的信息。我们的公众号是语言及世界,Language Is World。我们希望和你一起从这里探索新的世界。也欢迎你在小宇宙的评论区与我们有更多的互动。