AI时代的引擎 - 《黄仁勋·英伟达之芯》读书笔记


虽然二十一世纪仅过去了不到四分之一,但英伟达已经可以被称为本世纪最伟大的企业之一。
我第一次注意到英伟达(Nvidia)这个品牌是在我的第一台笔记本电脑上,当时对其了解有限,甚至一直误以为它是一家纯粹的硬件公司。直到今年阅读了这本书,我才对英伟达有了更全面的认识——它本质上是一家以软件为核心的公司,尽管大多数人可能和我一样,曾将其归类为硬件制造商。

作为人工智能(AI)发展的幕后推手,英伟达无疑加速了 AI 技术的爆发式增长。然而,AI 的潜在威胁仍然是一个悬而未决的问题。马斯克等人对 AI 的担忧是否会成为现实,目前尚无定论。

书中对 CPU 和 GPU 的比喻非常生动形象,即使是非专业人士也能轻松理解两者之间的区别。这种通俗易懂的解释方式让我对技术细节有了更清晰的认识。

此外,书中提到了李飞飞,这位 AI 领域的杰出人物。今年我在多个场合看到她的名字,这促使我开始阅读她的著作《我看见的世界》,进一步了解她的思想和贡献。

读书笔记

算力从贫瘠到可用,某种程度上可以决定一项划时代研究工作的命运
黄仁勋思考问题的方式并不像商人,更像工程师。他擅长将复杂的概念分解为简单的原则,并运用这些原则创造出卓越成果
深度学习并非一种算法,它是一种方法,一种全新的软件开发方式
黄仁勋对这种悲观论调嗤之以鼻。在他看来,人工智能正在引领一场崭新的工业革命。在这个话题上,他不容许有太多异议,而且他的个性强势,可能会让人有点望而生畏。
对他来说,金钱只是对未来可能发生的某些灾祸的一种临时保障
驱使黄仁勋向前的,不仅仅是焦虑,他同样被自己所开创的技术所释放出的惊人力量深深吸引
努力工作就是黄仁勋的本性。倘若说他的生活有一个贯穿始终的主题,那便是“放大”(amplification);他一次又一次地执行着勤奋、勇气和掌握基本原则的简单准则,成效越来越大。
比任何人都更努力,似乎从不会感到沮丧或陷入困境,他从未陷入过止步不前的境地。相反,黄仁勋总是带有一种适度的满足感,耐心地专注于打磨基本功,并逐步将这些转化为实战技能。
黄仁勋拥有良好的判断力,当他认为问题复杂到一定程度、难以再取得进展时,他会及时地转换思路
黄仁勋很享受这种难度逐渐递增的过程,他喜欢通过这种方式来实现自我提升。他有能力实现 ‘1+1=3’的效果,我的意思是,我们不仅仅是在为客户服务,更是在将这些订单转化为工具,进而将这些工具升华为方法论。——霍斯特曼
对黄仁勋而言,做出决策需要冷静分析,容不得憧憬等无用的情感因素的干扰。对他而言,商业不过是另一个工程问题。
若要创办初创公司,黄仁勋的首要任务是掌握这些原则。他需要深入研究市场、供应链、竞争态势、技术及产品匹配度。
PC 端游戏的核心理念在于,将原本用于绘制模型飞机与恐龙线框骨架的硬件重新应用于 3D 游戏,以创造出可供玩家操控的动画角色。
我们自认为与众不同,当看到别人也持相同看法时,这种感觉更为美妙。——马拉科夫斯基
对英伟达而言,首要任务是将 NV1 与市场上的其他产品区分开。为了实现这一目标,架构师普里姆在芯片和软件中融入了许多复杂的功能。
我们支持这些人的原因在于他们是世界级的一流计算科学家。一般的 CEO 会试图听取客户的意见,但在计算机领域,这是个大忌,因为客户根本不清楚什么是可能的,他们完全不知道能做什么,甚至做到什么程度!从一开始,詹森就是一位世界级的工程师,他能够预见什么是可能的。——考克斯
我们一无所获,”黄仁勋在谈及那些早期岁月时说道,“我们做出的第一个决定都是错误的。”
黄仁勋坦言,公司资金已近乎枯竭,不得不放弃 NV1 架构。英伟达唯一的生存希望在于放弃与世嘉的合作,转而联手微软,之后公司将试着抢在其他制造商之前,以廉价的仿制芯片抢占市场。
黄仁勋的策略是借助仿真器,跳过昂贵的原型制造环节,直接依据数字草图进行大规模制造。在半导体行业的发展历程中,此前尚无公司尝试跳过原型制作阶段,但英伟达别无他法,这一步必须成功。
对黄仁勋而言,观众的存在至关重要。所以当他严厉训斥某名员工时,他通常会选择在公开场合进行,以便让其他人从中汲取教训。“失败必须被公开。”黄仁勋是这么说的。
迪克思坦言:“如果有人开始变得具有防御性,你就知道那个人在英伟达待不久了。
望着前方长长的竞争对手队伍,黄仁勋意识到处于最后一句其实相当有趣,事实上比位居中游要好。因为处于最后一名的公司可以做任何它想做的事情,它能选择别人不敢尝试的捷径
那些说胜利不重要的人,”柯克以轻柔而不带威胁的语气说道,“他们从未赢得过任何东西。
他确实非常热爱学习。他通过阅读所能找到的每一本商业书籍来提升自我
黄仁勋最推荐的商业书籍是哈佛商学院教授克莱顿·克里斯坦森(Clayton Christensen)的《创新者的窘境》(The Innovator’s Dilemma)。
克里斯坦森认为,相较于低盈利能力,提升盈利能力其实更为容易
克里斯坦森提出了一个颇具深意且出人意料的观点:“在某些情况下,不听从客户的意见是正确的,投资低性能产品以获取较低的利润也是合理的。甚至追求小市场而非大市场也是明智之举。“
有时候,黄仁勋甚至会在召集的高管团队会议上,谈论颠覆英特尔的可能性,要知道,当时的英特尔可是全球最具价值的公司之一。
最初由英特尔前 CEO 戈登·摩尔(Gordon Moore)在 1965 年提出,并多次得到实际验证,因而得名”摩尔定律“。
莫斯曼说道,”那个领域对处理能力的需求几乎是无穷的。”CPU 永远无法追上 3D 渲染的速度,不仅现在是这样,未来也是如此。即使其速度翻倍,也仍然远远不够
TNT 内部潜藏着一个秘密——一个深藏不露、如同恶魔般的秘密,在沉睡在硅片架构的最深处,以至于黄仁勋、柯克、卡马克、维沃利,乃至世界上的任何一个人都未曾察觉到它的存在。倘若你揭开那块 TNT 芯片的封盖,以显微镜观察那裸露的电路,你会发现,其中所蕴含的不仅仅是晶体管排列上的变革,更是一场针对所有计算机的彻底颠覆,甚至有可能永远地改变全人类的发展轨迹。那块看似微不足道的芯片,实则承载着一个足以改变整个世界的惊天秘密
与传统软件执行程序员编写的的代码不同,“水母”通过向一个人工神经元网络传递信息来做出决策。这些神经元的突触在计算机中表现为一个庞大的数字矩阵,也被称为“权重”。这个网络会评估棋局,并通过这个合成的神经系统给出一个答案。
反向传播技术使计算机软件不再需要明确的编程,使计算机系统能自我设定规则,甚至实现自我进化。这种技术被称作“强化学习”(reinforcement learning),而特索罗是首位成功运用此技术的人
你创造了一台聪明的机器,它能够通过经验来学习。这几乎与人类的学习方式如出一撤。
这个领域很早就明确了 AI 领域“训练”阶段和“推理”阶段的区别:训练是计算机学习的过程,推理是计算机运用知识的过程,比起人类那颗大约 1.5 公斤重、负责推理的大脑,还有为其训练提供条件的数亿年进化相比,推理的成本要低得多。
他说,他的程序“只有大约 100 个脑细胞,这和海蜇差不多”。这就是神经结构的威力:无论是攻克西洋双陆棋,还是在危机四伏的海洋生态系统中存活 5 亿年,甚至抵御敌人,都只需百来个小小的细胞。
“水母”成了首个在游戏中超越人类的神经网络
试图通过计算网格中的个体权重来找出游戏策略,就如同试图通过显微镜观察脑细胞来解开意识之谜一样困难。
经典编程讲究的是逻辑与顺序,操控神经网络却需要截然不同的思维
许多神经网络的批判者都曾是满怀希望的先驱,他们在技术初期取得过成功,却在多年后收获低于期望的结果。
问题在于,如果你只赢了一场比赛,人们很快就会把你忘记,对吧?“温德尔说道。言语中提及了他的偶像泰格·伍兹(Tigger Woods)。“如果我不再赢下去,人们就会把我忘得一干二净。”
维沃利表示:“由于我们创造了这个类别,因此我们自然能成为这个领域的领头羊。”
关于黄仁勋的传闻在此时几乎被渲染成了邪恶的化身:他控角员工,窃取创意,操纵评测者,甚至在竞争对手陷入困境时落井下石。然而,大多数人憎恶黄仁勋的真正原因是,黄仁勋把他们整个公司打得落花流水。
加利克接手了这份工作,并在接下来的 17 年里为英伟达效力。“我个人的看法是,黄仁勋本质是个善良的人,但环境迫使他变得冷酷无情。
我们曾不惜一切追求完美,结果却一败涂地。
真是太混乱了!代码写得一塌糊涂,开发工具链也是一团乱麻,最重要的是,他们对此毫不在意!他们一心只想着下一块芯片流片,其他什么都不顾。——加利克
不断迭代、迭代、再迭代,执行、执行、再执行,”他表示,“在我看来,技术债务就像是幸存者的战斗伤痕。
为了不再重蹈那样的覆辙,柯克坚信,要避免裁员,首先就要严格招聘
微芯片行业却更像时尚界——倘若你今天的产品与昨天雷同,那便犯下了严重的错误。在半导体领域,一切技术每隔几年就需要彻底革新。
马克思在《共产党宣言》中曾写道:“一切等级和固定的东西都烟消云散了。”或者,正如格鲁夫所言:“我们都必须迎接变革的疾风。
唯一的生存之道,便是寻得一手好牌,押上所有筹码,然后一次又一次地重复
在他所处的行业中,唯一可能确定的是,未来将有更多晶体管问世。随着这一趋势的发展,图形渲染将愈发经济实惠且易于实现。
黄仁勋曾坦言:“倘若我们未能重新塑造计算机图形技术,倘若我们未能重塑自我,并拓展处理器可实现的领域,我们终将沦为货品化而消逝。”对他而言,不勇于冒险才是最大的风险
“我想,没有任何东西像内疚一样激发我。”黄仁勋告诉我。
即便是对这种管理策略不以为然的人,通常对黄仁勋本人也持有积极的评价。
在英伟达的世界里,真正被看重的并非利润或收入。重要的是那位执着的 CEO 和他那些大胆的高风险决策。你要么信任他,要么不信任。若你不信任他,那你将面临严峻的挑战,因为黄仁勋即将做出他有史以来最大胆的押注。
曾经的游戏显卡,如今不再是单纯的游戏工具,它们被赋予了新的使命,变身为科学研究的利器。这种新型客户的涌现,黄仁勋也注意到了。马克提及:“我发表的系统论文获得了大家的广泛支持。接着,在 2004 年左右,詹森邀请我加入英伟达,正式着手开展这项工作。”
CUDA 的核心理念在于,将原本用于视频游戏的并行计算电路重新定向给科学家使用
黄仁勋表示:“我们之前已经预见到了这种趋势,但正是尼科尔斯让我确信摩尔定律真的已经走到尽头。他为公司今天的辉煌成就做出了巨大贡献。
尼科尔斯对 CUDA 平台的运行充满了热情。朋友们有时会问他,为何在一家电子游戏公司工作却不玩电子游戏。尼科尔斯回应说,他所做的并非电子游戏的制作,而是一项有史以来最重要的技术。
与英特尔的 CPU 每次只能激活少量晶体管不同,英伟达的游戏 GPU 可以一次激活数千个晶体管。
乳腺 X 光扫描仪被黄仁勋称为“零亿美元市场”的首个案例,这指的是那些虽无直接收益,却拥有巨大潜力的市场。黄仁勋一直在探索一条能让英伟达与竞品区别开来的道路。他发现,硬件创新并非长久之计,因为这些都太容易被模仿了。
首先,我们来探讨电路的工作原理。试想将微芯片放大至舞池的尺寸。舞池内,站满了挥舞荧光棒的舞者,他们便代表了晶体管。灯光忽明忽暗,音乐节奏强劲,然而多数舞者却静止不动,他们唯有在轮到自己时才会移动。某位舞者在第一小节的第一拍起舞,另一位则在第二小节的第四拍动作,以此类推。尽管荧光棒四处挥舞,但多数舞者其实并未真正跳动,他们在静待时机。
串行 DJ 试图通过加快节奏来激发人群活力,但效果愈发微弱。此时,并行 DJ 闪亮登场。并行 DJ 并没有加快节奏,而是编排了更为繁复的动作。效果显而易见:活动愈发狂热,地板开始颤动,场地温度骤升,部分舞者甚至可以因过于投入而过热。此刻,无数荧光棒随节拍挥舞
并行计算的难点所在,驾驭如此复杂的编排,后勤工作异常艰巨,要求程度员必须开启全新的思考模式
英伟达的并行 GPU 则更像是一队摩托车在城市中穿梭。他们几乎能同时送达第个包裹,整个过程半小时内便可完成。然而,这种高效的并行解决方案执行起来更为棘手,它需要更多的骑手、更多的车辆以及更为周密的后勤安排。在此情境下,随着摩托车频繁进出仓库,每个包裹都必须精准地分配给对应的车辆,并确保准确送达目的地。
对于科学家来说,理解串行计算和并行计算之间差异的最佳方式是将英特尔的串行 CPU 比作高端不锈钢厨房刀具。这把刀是一种美丽的多功能工具,可以进行任何类型的切割。它可以切丝、切条、切块、切片、切丁或剁碎。凭借一点技巧,厨师可以仅用这一件工具就制作出一整餐,但这把刀一次只能切一种蔬菜。相比之下,英伟达的并行 CPU 更像是一台食物处理机。它是一种专用工具,声音大,操作不够精准,耗电量大。它无法在鱿鱼筒上用刀划出十字花纹,但要快速切碎一堆蔬菜,GPU 就是合适的工具。
CUDA 核心所采用的许多理念,早已在超级计算机和专业处理器中得到应用,但对它们所服务的小型专业领域而言,成本过于高昂,“CUDA 项目最早的工程师之一布雷特·库恩(Brett Coon)回忆道,”依我看,CUDA 的天才之处就在于它让游戏玩家们为庞大的芯片研发成本买单。
想让硬件设计师理解提高 Unreal 或《毁灭战士》游戏性能的重要性,远比让他们提高矩阵乘法或快速傅里叶变换“性能的重要性来得容易。”库恩回忆道。
勒佩特猜测,黄仁勋的怒斥可能是他避免解雇员工的一种方式。”他会责骂你,会部你大吼,甚至会侮辱你,但无论如何,“哈莱佩特解释道,”他绝不会解雇你。
黄仁勋所倡导的”光速“,是希望经理们能够设想到,在没有任何限制、一切条件都最理想的情况下,某项任务能够完成的最快速度
黄仁勋每天都在努力追求这个看似遥不可及的”光速“目标。”我总是要确保自己工作到筋疲力尽,这样到了晚上,就再也没有什么能让我失眠的了,“他曾经说过,”这真的是我唯一能掌握的事情。“
化石记录表明,平托的研究方向是正确的——视觉识别能力推动了生物智力的快速发展,而这一能力也即将在计算机上得以实现
克里斯坦森观察到,颠覆性技术往往源自业余爱好者的社群
虽然伽利略的望远镜由改良的眼镜镜片制成,放大倍数甚至不及现代的双筒观鸟望远镜,但它彻底颠覆了我们对宇宙及其定位的认知。黄仁勋希望通过为热忱的科学家们提供低成本的超级计算机,引发一场类似的革命
黄仁勋对未来技术并无明确构想。有些技术专家则不然,比如埃隆·马斯克,他先从设想自己站在火星表面的场景开始,然后逆向构建所需技术,以实现这一目标。黄仁勋则恰恰相反,他从眼前电路的功能出发,极力向前推测其潜能。唯有在理性的边界,他才允许自己稍作逾越,涉足那朦胧未知的领域
灵感并非来自邱定伟这样的量子物理学家,但黄仁勋深信:在某个角落,定有位狂热者,其创意将通过 CUDA 得以验证; 在某处,定有某位研究生跳过烦琐的资助申请,省下住房津贴购买一个英伟达 GPU,从而掀起一场技术革命;在某处,定有某个被忽视的科学领域,正静候 CUDA 的算力加持,以彻底颠覆旧有范式。他只是尚未明确那空间是何物。
辛顿认为,试图去破解大脑的功能显得有些荒谬,就好比试图去解析肾脏的功能,然而,这样的观点并未能为他争取到更多的认同。为了掩盖他的工作内容以便更顺利地获取资金支持,他与其他神经网络研究者共同选择将他们的研究描述为“机器学习”,有时也称作“深度学习”,却唯独避免提及“人工智能”一词
辛顿给苏茨克弗和克里泽夫斯基布置了一项艰巨的任务:利用英伟达的 CPU 训练计算机学会图像识别。
为了训练他的神经网络,克里泽夫斯基使用了 ImageNet 数据库,这是一个由斯坦福大学的计算机李飞飞组装的图像数据集。
在机器学习领域,利用像 ImageNet 这样的带标签数据集进行训练被称作“监督学习”,正因如此,克里泽夫斯基将他的神经网络命名为“SuperVision”。
克里泽夫斯基不仅开创了多项编程技术,更关键的是他发现 CPU 训练神经网络的速度比 CPU 快数百倍
卡坦扎罗说道,”我是从最底层,即电路的角度出发接触到人工智能的。我深感人工智能是最重要的计算工作负载,就是无法避免的。“
戴利的目光很长远:他认为应该向其他顶尖科学家宣传他的研究工作,以吸引他们加入。”我们会吸引最杰出的学者加入公司,因为他们能看到我们的出版物,“他常说,”质量会说明一切。“
吴恩达是斯坦福大学教授,当时在谷歌工作。在山景城的实验室,吴恩达开发了类似于 AlexNet 的技术,不过他运用的是传统的计算架构
黄仁勋的 CUDA 决策如同一场豪赌,使公司跨入了深邃莫测的未知领域。10 年来,他始终站在船头,远望彼岸。如今,仿佛他已寻得传说中的亚特兰蒂斯。
“他在周五晚上发了封电子邮件,说我们将全面转向深度学习,不再是一家图形芯片公司,”英伟达副总裁格雷格·埃斯特斯(Greg Estes)讲述道,”到了周一早上,我们已经转型为一家 AI 芯片公司。真的,转变就这么快。“
在这些演讲中,他反复强调几个核心主题:”光速“调度理念的关键性,追求传说中的”零亿美元市场“,以及尤其要警惕潜滋暗长的官僚主义危害。
他与卡坦扎罗在停车场进行的思想实验,反映了他坚信公司可能需要随时进行万花筒般的重组。”我希望你们每个人能做好准备。“他常对聚焦在一起的执行团队这样说,”你永远不知道自己何时会为公司不可或缺的角色。“
在人类的大脑组织中,每个神经元平均维持着约 1000 个与其他相信神经元的突触连接。大脑通过化学方式改变这些连接,而神经网络则通过矩阵乘法来实现这一改变
矩阵乘法是通过结合 2 个网格的数字来生成第 3 个网络。虽然其规则简单,但当矩阵乘法非法合适并行处理。然而,在神经网络兴起之前,英伟达并未将矩阵乘法视为重点
直到后来人 们才广泛理解这一事实:深度学习不仅是软件的革命,而且是硬件的革命
在并行计算上运行的神经网络:这两种紧密相连的技术正是新型强大生命体的 DNA 双螺旋,即将吞噬世间的所有数据。
信心与确定性是两个截然不同的概念。在追求目标的过程中,你可以满怀信心地前进,同时开放心态,欣然接受并拥抱其中的不确定性
脆弱并非软弱的表现,不确定性也不是信心的缺失。在这个复杂多变的世界中,你即可以坚强自信地面对挑战,也可以诚实地接纳自己的脆弱和不确定性。
作为领导者,你的决策应始终围绕使命展开,以他人的福祉和成为为考量
黄仁勋认为,性格不是靠聪明绝顶的人塑造出来的,而必须是经过磨难的人
一条新的定律正在形成,它是一条超级加速的定律。我们得构建一个替代宇宙。There’s a new law going on, a supercharged law. We have to build an alternative universe.
尽管训练成本高昂,但如果操作得当,它可以实现自我回报,正如谷歌努力展示的那样:通过利用神经网络优化其服务器网络的能耗,谷歌每年在电费上节省了数亿美元,几乎立即收回了其在 AI 的投资成本
波斯特洛姆的著作是他多年思考的延伸。此前,他提出了”曲别针制造器“的设想:倘若我们拥有一个人工智能,它的唯一目标就是生产尽可能多的曲别针。很快,这个人工智能就会意识到,没有人类的世界对它更为有利,因为人类可能会选择关闭它。毕竟,一旦人类这样,曲别针的产量就会减少。更何况,人类的身体中包含大量可用于制造曲别针的原子。因此,这个人工智能所追求的理想未来,便是一个遍布曲别针却无人类存在的世界。
他们信心满满地踏入那些商业上的废弃之地,这些场所遍布着失败企业家的残迹,他们却有能力让这些地方重获新生。
马斯克认为,先进的人工智能可能带来灭绝级威胁
采取了一种非比寻常的组织架构,牵头创立了 OpenAI,汇聚了一群捐赠者和技术专家。”OpenAI 是一家非营利性质的人工智能研究公司,“该组织在首篇博客文章中写道,”我们的目标是以最可能造福全人类的方式来推进数字智能的发展,不受财务回报需求的限制
英伟达的首款 FinFET 芯片架构被命名为帕斯卡,以致敬 17 世纪的哲学家兼数学家布莱兹·帕斯卡,他发明了首台机械计算器,这是他众多成就之一。
历经 60 余年的深入研究和数百亿美元的资金投入,计算机现在已经能够准确区分刮刀和小斧。这标志着,一个由机器引领的新时代已经到来。
GPU 使科学家能在宏观或微观之下,并行堆叠这些数据“积木”,构建出宇宙奇观的精确三维模型
黑洞与自然的齿轮,它们已经存在了漫长的数百万年,只是从未被人类所察觉。而并行计算的崛起,终于使这一切成为可能。
现在他明白了,仅仅模拟一件事是远远不够的;他得模拟所有的事物。“我们得构建一个替换宇宙。”黄仁勋表示。
一个真正的现实模拟器,不仅需要拥有完美的物理引擎,还必须能精确呈现碰撞弹性和物体密度。
乌斯科雷特决定仅停靠上下文来构建语言模型。他摒弃了所有的记忆结构,取而代之的是一个简洁的知识图谱
以往的神经网络结构总是试图构建完整的句子乃至段落,而 Transformer 则采用基于概率关系的方式,逐个预测词语,每次仅预测一个词,这便是其预测的极限
苏茨克弗里希望利用 Transformer 技术构建一个能够提高高质量、人类可读文本,并能回答任何可理解提示的产品。
AGI 的一种定义是“能够完成任何人类任务的软件”。苏茨克弗里在推进 GPT 版本的复杂度时,再次思考了 OpenAI 成立的初衷所担忧的问题
从黄仁勋的角度来看,神经网络并非实质性的成就;真正的成就,是他成功地将庞大的算力打包进了数据中心。
他迫切希望掌握数据管道,这一关键的缺失环节将把他的 AI 工厂从一个智能大脑转变为一个更接近于复杂神经网络的实体——这是公司并购罕见协同效应的一个真正典范。
英伟达之所以成功,并非因为它的电路更出众,而是因为它的软件更优秀
英伟达的软件工程主管德怀特·迪克斯手下拥有一支万名程序员的庞大团队。“我们其实是一家软件公司,这才是人们不理解的地方。”他说道。
每当出现新的科学技术时,他总是第一时间出现,并推出他那些虽然丑陋却极为实用的软件工具。某个竞争者或者会在未来推出成本更低、设计更优雅的产品,但届时已然太迟——行业标准早已尘埃落定。
AI 在工业上的应用意味着电网更高效、航班调度更迅速、配送速度更快,以及无数其他逐步的改进
DeepMind 的德米斯·哈萨比斯凭借在蛋白质折叠方面的贡献荣获 2024 年诺贝尔化学奖,而杰弗里·辛顿同时摘得 2024 年诺贝尔物理学奖。同年,黄仁勋当选美国国家工程院院士,很多人都觉得这项荣誉早就该授予他了。
“逐渐””突然“这两个词也恰如其分地描述了黄仁勋的财富增长之路。历经 20 余年的投资与不断的小幅改进,如今终于带来了惊人的回报。
一些华尔街分析师形象地指出:”AI 领域正上演着一场激战,而英伟达则是这场战争中唯一的军火供应商。“
黄仁勋的宏伟愿景,是将英伟达和计算机图形研究与生成式 AI 研究相融合
”人工智能,如果它足够智能的话,它所关注的世界远比人类居住的这层薄薄的地壳要广阔。我不认为它会有兴趣从我们这里掠夺什么。相反,我觉得人工智能会愿意照顾我们。“
GPU 已经解决了计算速度的瓶颈问题,而 Mellanox 的 Infiniband 协议解决了数据吞吐量的瓶颈。目前,唯一的瓶颈在于数据中心所消耗的电力
一次标准的谷歌搜索大约需要 0.3 瓦时的电量。而启用生成式 AI 后,同样的谷歌搜索所需电量是原来的 10 倍,这足以为一个灯泡供电约 20 分钟。若让 GPT 为你撰写一篇 5000 字的论文,所耗电量足驱动微波炉运行 1 小时
要在满足英伟达 GPU 所需电力的同时实现碳中和目标,现实中几乎无法找到可行的方法。除了升级高压线路,道明尼公司还在探讨重启已封存的燃煤设施的可能性。
戴利投身于人工智能领域的一个重要原因是,他坚信这一技术能推动人类走向碳中和的未来。他曾这样说道:”如果说有什么问题能让全世界的人都夜不能寐,那无疑就是气候变化。
台积电在凤凰城建造芯片厂的总预算将超过 400 亿美元,这使其成为美国历史上最大的外国直接投资项目之一,也是全球最昂贵的超级工程之一。一旦完工,凤凰城的这家工厂将雇用 2000 名员工,每年生产 60 万块芯片,足以满足美国国内的全部需求。
荷兰公司阿斯麦,作为建造光刻机的巨头,成为欧洲最有价值的科技股。而拥有无与伦比制造设施的台积电,则成为亚洲最有价值的科技股
他并非生来就是一位伟大的 CEO,也并非注定会成为这样的人。他通过不断的抽象思考,通过解决一个好 CEO 应该具备的输入和输出问题,把自己变成了这样一个人
一切的成功都并非难以捉摸,而是有迹可循的:“他们的智慧确实超乎常人。”
当一个念头真正触动黄仁勋时,它会在数日乃至数周内慢慢酝酿发酵。它融入他的词汇库,并在每次会议上被反复提及。诸如“零亿美元市场”或“光速”之类的概念,并非在黄仁勋的脑海中一闪而过,而是在历经数月深思后,作为反复打磨的智慧结晶浮现。
凌晨 4 点,黄仁勋便已起身投入工作。他总是从自己最看重的长期项目开启新一天,坚信只要着手这个项目,无论当天遭遇何种变故,这一天都算不上失败
“人工智能越强大,就越可能试图控制运行它的计算机,以便为自己获取更多奖励,”本吉奥说,“这就是我们的故事结局。”
“人工智能会占上风的,它会为自己争取更多资源。事实上,最自私的变体将表现最佳,你应该能看出这是一条非常危险的道路。”
短短 10 年间,人工智能已经两次实现了不可预见且永久的能力跃升。本吉奥认为,当前的模型尚不会对人类生命构成直接威胁,但谁又能预料下一次的突破呢?没人能够断言它将带来什么,或何时到来。
目前有 99 位极其聪明的人正致力于让人工智能变更更出色,但也有一位极其聪明的人正试图探明如何阻止它接管一切。”辛顿说道。
黄仁勋的信心还来源于人工智能与生物大脑间的诸多差异。大脑并非通过反向传播来学习,这一点确凿无颖。而神经网络仅仅是模仿神经元。
不过,说实话,我也感到一丝其名的兴奋。能成为黄仁勋愤怒的对象,从某种意义上说,竟也算是一种荣幸:这是每个进入他核心圈子的人都必须经历的考验。
黄仁勋之所以能在并行计算、人工智能、Omniverse 等他人失败的领域取得成功,源于他不容忍对未来进行毫无根据的臆测。他总能为冷静地从第一性原理出发去审视技术,既不受乐观情绪影响,也不被恐惧所左右,仅凭一种冷静且耐心的商业逻辑,将企业远见推至极限。便除此之外的一切,他既不看也不去想象。人类灭绝的可能性并不属于企业战略层面的问题,对他来说,这纯属无稽之谈。
OpenAI 的成立背景便是防范灾难的发生。而几乎只有黄仁勋坚信,人工智能只会带来益处
解决问题的自动化可以归纳为三个核心概念:观察并感知环境,理解并推理环境,然后提出并执行计划
AI 目前尚未能从第一性原理中直接得出答案,它是通过观察数据来学习和得出纵论的。因此,它并非模拟第一性原理的求解器,而是在模仿智能、模仿物理。
他敢于摒弃传统观念,依循自己的理性判断行事。正是他坚定的信念,使他在一众中脱颖而出。
英伟达一直对规模庞大且利润丰厚的市场视而不见,反而专注于规模较小、处于边缘地带的市场
渴望复制黄仁勋成功之路的企业家们,务必要遵循他的成功蓝图:首要之务是(持续)掌握所在领域顶尖的专业知识。
在未来的岁月里,人工智能将以我们几乎无法想象的方式重塑我们的世界。无论是艺术、科学、商业、战争,还是体力劳动,人类活动的每个领域都将发生变化。
一切都将焕然一新,没有东西都够维持原状
硬件进化与 AI 算法的协同发展,成为推动这一时代变革的关键力量

books