「立即訂閱」 A級透明度項目半月報,發現 1% 的項目
API 下載RootData App

黃仁勳GTC演講全文:推理時代到來,2027營收至少萬億美元,龍蝦就是新操作系統

2026-03-17 09:38:43

分享至

2026年3月16日,英偉達GTC 2026大會正式開幕,英偉達創始人兼CEO黃仁勳發表了主題演講。

在這場被視為"AI行業年度朝聖"的大會上,黃仁勳闡述了英偉達從一家"晶片公司"向"AI基礎設施和工廠公司"的蛻變。面對市場最關心的業績持續性與增長空間問題,黃仁勳詳細拆解了驅動未來增長的底層商業邏輯------"Token工廠經濟學"。

業績指引極度樂觀,"2027年至少1萬億美元的需求"

過去兩年,全球AI計算需求呈指數級爆炸。隨著大模型從"感知"、"生成"進化到"推理"與"行動(執行任務)",算力的消耗量急劇攀升。針對市場高度關注的訂單與營收天花板,黃仁勳給出了極為強勁的預期。

黃仁勳在演講中直言:

去年這個時候,我說過,我們看到了5000億美元的高確信度需求,覆蓋Blackwell和Rubin直到2026年。現在,就在此時此地,我看到到2027年至少有1萬億美元的需求(at least $1 trillion)。

黃仁勳的萬億預期一度推動英偉達股價漲超4.3%。

不僅如此,他更是對這一數字做出了補充:

這合理嗎?這就是我接下來要講的。事實上,我們甚至會供不應求。我確定,實際的計算需求會比這高得多。

黃仁勳指出,如今的英偉達系統已經證明了自己是全球"成本最低的基礎設施"。由於英偉達能運行幾乎所有領域的AI模型,這種通用性使得客戶投入的這1萬億美元能夠被充分利用並保持長久的生命周期。

目前,英偉達60%的業務來自排名前五的超大型雲服務商,而另外40%的業務則廣泛分布於主權雲、企業、工業、機器人和邊緣計算等各個領域。

Token工廠經濟學,每瓦性能決定商業命脈

為了解釋這1萬億需求的合理性,黃仁勳向全球企業CEO展示了一套全新的商業思維。他指出,未來的數據中心不再是存儲文件的倉庫,而是生產Token(AI生成的基本單位)的"工廠"。

黃仁勳強調:

每一座數據中心、每一座工廠,從定義上來說都是受電力限制的。一座1GW(吉瓦)的工廠永遠不會變成2GW,這是物理和原子的定律。在固定的功率下,誰的每瓦Token吞吐量最高,誰的生產成本就最低。

黃仁勳將未來的AI服務分為四個商業層級:

  • 免費層(高吞吐、低速度)
  • 中級層(~每百萬token 3美元)
  • 高級層(~每百萬token 6美元)
  • 高速層(~每百萬token 45美元)
  • 超高速層(~每百萬token 150美元)

他指出,隨著模型越來越大、上下文越來越長,AI會變得更聰明,但Token的生成速率會降低。黃仁勳表示:

在這個Token工廠裡,你的吞吐量和Token生成速度,將直接轉化為你明年的精確收入。

黃仁勳強調英偉達的架構能夠讓客戶在免費層實現極高的吞吐量,同時在最高價值的推理層級上,將性能提升驚人的35倍。

Vera Rubin兩年實現350倍加速,Groq填補極速推理

在這個物理極限的約束下,英偉達介紹其有史以來最複雜的AI計算系統,Vera Rubin。黃仁勳表示:

過去提到Hopper,我會舉起一塊晶片,那很可愛。但提到Vera Rubin,大家想到的是整個系統。在這個100%液冷、完全消滅了傳統線纜的系統中,過去需要兩天安裝的機架,現在只需兩小時。

黃仁勳指出,通過極致的端到端軟硬體協同設計,Vera Rubin在同一座1GW數據中心裡創造了驚人的數據跨越:

在短短兩年時間內,我們將Token的生成速率從2200萬提升到了7億,實現了350倍的增長。摩爾定律在同期僅能帶來約1.5倍的提升。

為了解決極速推理(如1000 Tokens/秒)條件下的帶寬瓶頸,英偉達給出了整合被收購公司Groq的最終方案:非對稱式的分離推理。黃仁勳解釋:

這兩款處理器的特點截然不同。Groq晶片擁有500MB的SRAM,而一顆Rubin晶片擁有288GB的內存。

黃仁勳指出,英偉達通過Dynamo軟體系統,將需要海量計算和顯存的"預填充(Pre-fill)"階段交給Vera Rubin,將對延遲極度敏感的"解碼"階段交給Groq。黃仁勳還對企業算力配置給出了建議:

如果你的工作主要是高吞吐,100%使用Vera Rubin;如果你有大量高價值的編程級別的Token生成需求,拿出25%的數據中心規模給Groq。

據透露,由三星代工的Groq LP30晶片已在量產,預計第三季度出貨,而首個Vera Rubin機架已在微軟Azure雲上運行。

此外,針對光互聯技術,黃仁勳展示了全球首款量產的共封裝光學(CPO)交換機Spectrum X,並平息了市場對於"銅退光進"的路線之爭:

我們需要更多的銅纜產能,更多的光晶片產能,更多的CPO產能。

Agent終結傳統SaaS,"年薪+Token"成矽谷標配

除了硬體壁壘,黃仁勳把大量篇幅留給了AI軟體和生態的革命,特別是Agent(智能體)的爆發。

他將開源項目OpenClaw形容為"人類歷史上最受歡迎的開源項目",稱其僅用幾週時間就超越了Linux在過去30年取得的成就。黃仁勳直言,OpenClaw本質上就是Agent計算機的"操作系統"。

黃仁勳斷言:

每一個SaaS(軟體即服務)公司都將變成AaaS(Agent-as-a-Service,智能體即服務)公司。毫無疑問,為了讓這種具備訪問敏感數據和執行代碼能力的智能體安全落地,英偉達推出了企業級的NeMo Claw參考設計,增加了策略引擎和隱私路由器。

對於普通職場人,這場變革同樣近在咫尺。黃仁勳描繪了未來的職場新形態:

在未來,我公司的每一位工程師都需要一個年度Token預算。他們的基礎年薪可能是幾十萬美元,我會在此基礎上再拿出大約一半的金額作為Token額度給他們,讓他們實現10x的效率提升。這已經是矽谷的新招聘籌碼了:你的offer裡帶多少Token?

演講最後,黃仁勳還"劇透"了下一代計算架構Feynman,它將首次實現銅線與CPO的共同水平擴展。更引人遐想的是,英偉達正在研發部署在太空的數據中心計算機"Vera Rubin Space-1",徹底打開了AI算力向地球之外延伸的想像空間。

黃仁勳GTC 2026演講全文,全文翻譯如下(AI工具輔助):

主持人: 歡迎英偉達創始人兼首席執行官黃仁勳上台。

黃仁勳,創始人兼首席執行官:

歡迎來到GTC。我想提醒大家,這是一場技術大會。能看到這麼多人一大早排隊入場,能看到在座的各位,我感到非常高興。

在GTC,我們將聚焦三大主題:技術、平台和生態系統。英偉達目前擁有三大平台:CUDA-X平台、系統平台,以及我們最新推出的AI工廠平台。

在正式開始之前,我要感謝我們的預熱環節主持人------Conviction的Sarah Guo、紅杉資本的Alfred Lin(英偉達的第一位風險投資人),以及英偉達的第一位主要機構投資人Gavin Baker。這三位對技術有深刻的洞見,在整個技術生態系統中擁有極廣的影響力。當然,我還要感謝今天所有我親自邀請出席的貴賓們。感謝這支全明星團隊。

我同樣要感謝今天到場的所有企業。英偉達是一家平台公司,我們擁有技術、平台和豐富的生態系統。今天到場的企業代表了價值100萬億行業中幾乎全部的參與者,共有450家公司贊助了本次活動,在此深表感謝。

本次大會共設有1,000場技術論壇、2,000位演講嘉賓,將覆蓋人工智慧"五層蛋糕"架構的每一個層級------從土地、電力與機房等基礎設施,到晶片、平台、模型,以及最終推動整個行業騰飛的各類應用。

CUDA:二十年的技術積澱

一切的起點,就在這裡。今年是CUDA誕生二十周年。

二十年來,我們始終致力於這一架構的研發。CUDA是一項革命性的發明------SIMT(單指令多執行緒)技術允許開發者以標量代碼編寫程序,並將其擴展為多執行緒應用,其編程難度遠低於此前的SIMD架構。我們最近還新增了Tiles功能,幫助開發者更便捷地編程張量核心(Tensor Core),以及當今人工智慧所依賴的各類數學運算結構。目前,CUDA已擁有數千種工具、編譯器、框架和庫,在開源社區中存在數十萬個公開項目,並已深度整合到每一個技術生態系統之中。

這張圖表揭示了英偉達100%的戰略邏輯,我從最初就一直在講這張幻燈片。其中最難實現、也是最核心的要素,是圖表底部的"裝機量"。歷經二十年,我們已在全球範圍內積累了數億塊運行CUDA的GPU和計算系統。

我們的GPU覆蓋所有雲平台,服務於幾乎所有計算機廠商和行業。CUDA龐大的裝機量,正是這個飛輪不斷加速的根本原因。裝機量吸引開發者,開發者創造新算法並取得突破,突破催生全新市場,新市場形成新生態並吸引更多企業加入,進而擴大裝機量------這個飛輪正在持續加速。

英偉達庫的下載量正以驚人的速度增長,規模龐大且增速不斷提升。這個飛輪使我們的計算平台能夠支撐海量應用和層出不窮的新突破。

更重要的是,它還賦予了這些基礎設施極長的使用壽命。原因顯而易見:NVIDIA CUDA上可運行的應用極為豐富,涵蓋AI生命周期的每個階段、各類數據處理平台,以及各種科學原理求解器。因此,一旦安裝了英偉達GPU,其實際使用價值極高。這也是為何我們六年前發布的Ampere架構GPU,其雲端價格反而在上漲。

這一切的根本原因在於:裝機量龐大,飛輪強勁,開發者生態廣泛。當這些因素共同發揮作用,加之我們持續更新軟體,計算成本便會不斷下降。加速計算在大幅提升應用性能的同時,隨著我們長期維護和迭代軟體,用戶不僅能在初期獲得性能躍升,還能持續享受計算成本的下降。我們願意為全球每一塊GPU提供長期支持,因為它們在架構上完全兼容。

我們之所以願意這樣做,是因為裝機量如此龐大------每發布一次新的優化,便能惠及數百萬用戶。這種動態組合,使得英偉達架構在持續擴大覆蓋範圍、加速自身成長的同時,不斷壓低計算成本,最終刺激新的增長。CUDA是這一切的核心。

從GeForce到CUDA:二十五年的演進之路

而我們與CUDA的旅程,實際上早在二十五年前就已開始。

GeForce------相信在座有很多人是伴隨著GeForce長大的。GeForce是英偉達最成功的市場推廣項目。我們從你們還買不起產品的時候就開始培養未來的客戶------是你們的父母代替你們成為了英偉達最早的用戶,年復一年地購買我們的產品,直到有一天,你們成長為優秀的計算機科學家,成為真正意義上的客戶和開發者。

這是二十五年前GeForce奠定的基業。二十五年前,我們發明了可編程著色器------這是讓加速器實現可編程化的一項顯而易見卻意義深遠的發明,也是世界上第一款可編程加速器,即像素著色器。這五年後,我們創造了CUDA------這是我們有史以來最重要的投資之一。當時公司財力有限,但我們將絕大部分利潤押注於此,致力於將CUDA從GeForce延伸到每一台計算機。我們之所以如此堅定,是因為我們深信其潛力。儘管初期歷經艱辛,公司堅守這一信念長達13代、整整二十年,如今CUDA已無處不在。

正是像素著色器推動了GeForce的革命。而大約八年前,我們推出了RTX------為現代計算機圖形時代對架構進行了全面革新。GeForce將CUDA帶給了全世界,也正因如此,讓Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton、Andrew Ng等眾多學者發現,GPU可以成為加速深度學習的利器,由此點燃了十年前人工智慧的大爆炸。

十年前,我們決定將可編程著色與兩個全新理念相融合:一是硬體光線追蹤(Ray Tracing),這在技術上極具挑戰;二是一個當時頗具前瞻性的想法------大約十年前,我們就預見到AI將徹底變革計算機圖形。正如GeForce將AI帶給了全世界,AI如今也將反過來重塑整個計算機圖形的實現方式。

今天,我要向大家展示未來。這是我們的下一代圖形技術,我們稱之為神經渲染(Neural Rendering)------3D圖形與人工智慧的深度融合。這就是DLSS 5,請看。

神經渲染:結構化數據與生成式AI的融合

這是不是令人嘆為觀止?計算機圖形就此煥發新生。

我們做了什麼?我們將可控的3D圖形(虛擬世界的真實基礎)與其結構化數據相結合,再融入生成式AI和概率計算。一個完全確定性,另一個概率性卻高度逼真------我們將這兩種理念融為一體,通過結構化數據實現精準可控,同時進行實時生成。最終,內容既美觀驚艷,又完全可控。

結構化信息與生成式AI融合這一理念,將在一個又一個行業中不斷復現。結構化數據是可信AI的基石。

結構化數據與非結構化數據的加速平台

現在我要帶大家看一張技術架構圖。

結構化數據------大家熟悉的SQL、Spark、Pandas、Velox,以及Snowflake、Databricks、Amazon EMR、Azure Fabric、Google BigQuery等重要平台,都在處理數據框(Data Frame)。這些數據框就像巨型電子表格,承載著商業世界的全部信息,是企業計算的基本事實(Ground Truth)。

在AI時代,我們需要讓AI來使用結構化數據,並對其實現極致加速。過去,加速結構化數據處理是為了讓企業更高效地運轉。而未來,AI將以遠超人類的速度使用這些數據結構,AI智能體也將大量調用結構化數據庫。

非結構化數據方面,向量數據庫、PDF、視頻、音頻等構成了世界上絕大多數的數據形態------每年生成的數據中,約90%是非結構化數據。過去,這些數據幾乎完全無法被利用:我們讀取它們,存入文件系統,僅此而已。我們無法查詢,也難以檢索,原因在於非結構化數據缺乏簡單的索引方式,必須理解其含義與語境。而現在,AI可以做到這一點------借助多模態感知與理解技術,AI能夠讀取PDF文檔、理解其含義,並將其嵌入可供查詢的更大結構之中。

英偉達為此創建了兩個基礎庫:

  • cuDF:用於數據框、結構化數據的加速處理

  • cuVS:用於向量存儲、語義數據和非結構化AI數據的處理

這兩個平台將成為未來最重要的基礎平台之一。

今天,我們宣布與多家企業達成合作。IBM------SQL語言的發明者,將使用cuDF加速其WatsonX Data平台。Dell與我們聯合打造了Dell AI數據平台,整合cuDF與cuVS,並在NTT Data的實際項目中實現了大幅性能提升。Google Cloud方面,我們現在不僅加速Vertex AI,還加速BigQuery,並與Snapchat合作將其計算成本降低了近80%。

加速計算帶來的好處是三位一體的:速度、規模、成本。這與摩爾定律的邏輯一脈相承------通過加速計算實現性能飛躍,同時持續優化算法,讓所有人都能享受到持續下降的計算成本。

英偉達構建了加速計算平台,其上匯聚了眾多庫:RTX、cuDF、cuVS等等。這些庫整合進全球雲服務和OEM體系,共同觸達全球用戶。

與雲服務商的深度合作

與主要雲服務商的合作

Google Cloud:我們加速Vertex AI和BigQuery,與JAX/XLA深度集成,同時在PyTorch上表現卓越------英偉達是全球唯一一家在PyTorch和JAX/XLA上均表現出色的加速器。我們將Base10、CrowdStrike、Puma、Salesforce等客戶引入Google Cloud生態。

AWS:我們加速EMR、SageMaker和Bedrock,與AWS有著深度集成。今年令我格外興奮的是,我們將把OpenAI引入AWS,這將大幅推動AWS雲計算的消耗增長,幫助OpenAI擴展區域部署和計算規模。

Microsoft Azure:英偉達100 PFLOPS超算是我們構建的第一台超級計算機,也是第一台部署在Azure上的超算,這奠定了與OpenAI合作的重要基礎。我們加速Azure雲服務和AI Foundry,合作推進Azure區域擴展,並在Bing搜索上深度協作。值得一提的是,我們的保密計算(Confidential Computing)能力------確保即便是運營商也無法查看用戶數據和模型------英偉達GPU是全球首批支持保密計算的GPU,可支持OpenAI和Anthropic模型在全球各地區雲環境中的保密部署。以Synopsys為例,我們加速其全部EDA和CAD工作流,並部署於Microsoft Azure。

Oracle:我們是Oracle的第一個AI客戶,我為能夠第一次向Oracle解釋AI雲的概念感到自豪。此後他們發展迅猛,我們也為其引入了Cohere、Fireworks、OpenAI等眾多合作夥伴。

CoreWeave:全球第一家AI原生雲,專為GPU托管和AI雲服務而生,擁有出色的客戶群,增長勢頭強勁。

Palantir + Dell:三方聯合打造了全新的AI平台,基於Palantir的本體論平台(Ontology Platform)和AI平台,可在任何國家、任何氣隙隔離環境下、完全本地化地部署AI------從數據處理(向量化或結構化)到AI的完整加速計算棧,無所不包。

英偉達與全球雲服務商建立了這種特殊的合作關係------我們將客戶引入雲端,這是一種互利共贏的生態。

垂直整合,橫向開放:英偉達的核心戰略

英偉達是全球第一家垂直整合、橫向開放的公司。

這一模式的必要性非常簡單:加速計算不是晶片問題,也不是系統問題,其完整表述應為應用加速。CPU可以讓計算機整體運行得更快,但這條路已走到瓶頸。未來,唯有通過應用或領域特定的加速,才能持續帶來性能飛躍和成本下降。

這正是英偉達必須深耕一個又一個庫、一個又一個領域、一個又一個垂直行業的原因。我們是一家垂直整合的計算公司,沒有其他路可走。我們必須理解應用,理解領域,深刻理解算法,並能夠將其部署在任何場景下------數據中心、雲端、本地、邊緣乃至機器人系統。

同時,英偉達保持橫向開放,願意將技術整合進任何合作夥伴的平台,讓全世界都能享受到加速計算的紅利。

本届GTC的參會者結構充分體現了這一點。本次參會者中,金融服務行業的比例最高------希望來的是開發者,不是交易員。我們的生態系統覆蓋了上游和下游供應鏈。無論是成立50年、70年還是150年的企業,去年都迎來了歷史最佳年份。我們正處於某件非常、非常重大的事情的起點。

CUDA-X:各行業的加速計算引擎

在各個垂直領域,英偉達均已深度佈局:

  • 自動駕駛:覆蓋範圍廣泛,影響深遠

  • 金融服務:量化投資正從人工特徵工程轉向超級計算機驅動的深度學習,迎來其"Transformer時刻"

  • 醫療健康:正在迎來屬於自己的"ChatGPT時刻",涵蓋AI輔助藥物發現、AI智能體支持診斷、醫療客服等方向

  • 工業:全球規模最大的建設浪潮正在展開,AI工廠、晶片廠、數據中心廠紛紛落地

  • 娛樂與遊戲:實時AI平台支持翻譯、直播、遊戲互動,以及智能購物代理

  • 機器人:深耕十餘年,三大計算機架構(訓練計算機、仿真計算機、機載計算機)齊備,本次展會共有110款機器人亮相

  • 電信:約2萬億美元規模的行業,基站將從單一通信功能演進為AI基礎設施平台,相關平台名為Aerial,與諾基亞、T-Mobile等企業均有深度合作

以上所有領域的核心,正是我們的CUDA-X庫------這是英偉達作為算法公司的根本所在。這些庫是公司最核心的資產,讓計算平台得以在各個行業發揮實際價值。

其中最重要的庫之一,是cuDNN(CUDA深度神經網絡庫),它徹底革新了人工智慧,引發了現代AI的大爆炸。

(播放CUDA-X演示視頻)

大家剛才看到的一切都是仿真------包括基於物理原理的求解器、AI代理物理模型,以及物理AI機器人模型。一切均為仿真,沒有任何手工動畫或關節綁定。這正是英偉達的核心能力所在:通過對算法的深刻理解與計算平台的有機結合,解鎖這些機遇。

AI原生企業與新計算時代

你們剛才看到了沃爾瑪、歐萊雅、摩根大通、羅氏、豐田等定義當今社會的行業巨頭,也有一大批大家從未聽說過的公司------我們稱之為AI原生企業。這份名單極為龐大,裡面有OpenAI、Anthropic,以及眾多服務於不同垂直領域的新興企業。

過去兩年,這一行業經歷了驚人的騰飛。風險投資流入初創企業的資金規模達到1,500億美元,創人類歷史之最。更重要的是,單筆投資規模首次從數百萬美元躍升至數億乃至數十億美元。原因只有一個:這是史上第一次,每一家此類公司都需要大量計算資源和大量token。這個行業正在創造、生成token,或者為來自Anthropic、OpenAI等機構的token增值。

正如PC革命、互聯網革命、移動雲革命各自孕育出一批劃時代的企業,這一代計算平台變革同樣將誕生一批極具影響力的公司,成為未來世界的重要力量。

推動這一切的三大歷史性突破

過去兩年究竟發生了什麼?三件大事。

第一:ChatGPT,開啟生成式AI時代(2022年底至2023年)

它不僅能感知和理解,還能生成獨特內容。我展示了生成式AI與計算機圖形的融合。生成式AI從根本上改變了計算的方式------計算從檢索式轉變為生成式,這深刻影響著計算機架構、部署方式和整體意義。

第二:推理AI(Reasoning AI),以o1為代表

推理能力使AI能夠自我反思、規劃、分解問題------將它無法直接理解的問題拆解為可處理的步驟。o1讓生成式AI變得可信,能夠依據真實信息進行推理。為此,輸入context的token量和用於思考的輸出token量大幅增加,計算量隨之顯著提升。

第三:Claude Code,首個智能體模型

它能讀取文件、編寫代碼、編譯、測試、評估並迭代。Claude Code徹底革新了軟體工程------英偉達100%的工程師都在使用Claude Code、Codex和Cursor中的一種或多種,沒有一位軟體工程師不借助AI助力。

這是一個全新的拐點------你不再是詢問AI"是什麼、在哪裡、怎麼做",而是讓它"創建、執行、構建",讓它主動使用工具、讀取文件、分解問題、付諸行動。AI從感知,到生成,到推理,再到如今真正能夠完成工作。

過去兩年,推理所需的計算量增長了約10,000倍,使用量增長了約100倍。我一直認為,過去兩年計算需求增長了100萬倍------這是所有人的共同感受,是OpenAI的感受,是Anthropic的感受。如果能獲得更多算力,就能生成更多token,收入就會提升,AI就會變得更智能。推理拐點已然到來。

萬億美元的AI基礎設施時代

去年此時,我在這裡表示,我們對Blackwell和Rubin在2026年之前的需求和採購訂單有高度信心,規模約為5,000億美元。今天,在GTC一年之後,我站在這裡告訴大家:展望到2027年,我看到的數字至少是1萬億美元。而且我確信,實際的計算需求將遠不止於此。

2025:英偉達推理年

2025年是英偉達的推理年(Year of Inference)。我們希望確保,在訓練和後訓練之外,也能在AI生命周期的每個階段都保持卓越,使已投資的基礎設施能夠持續高效運轉,且有效使用壽命越長,單位成本越低。

與此同時,Anthropic和Meta正式加入NVIDIA平台,與此共同代表了全球三分之一的AI算力需求。開源模型已接近前沿水平,無處不在。

英偉達是目前全球唯一一個能夠運行所有AI領域------語言、生物學、計算機圖形、計算機視覺、語音、蛋白質與化學、機器人等------所有AI模型的平台,無論邊緣還是雲端,無論何種語言。英偉達架構對所有這些場景均具備通用性,這使我們成為成本最低、置信度最高的平台。

目前,英偉達60%的業務來自全球前五大超大規模雲服務商,剩餘40%遍布區域雲、主權雲、企業、工業、機器人、邊緣計算等各個領域。AI的覆蓋廣度本身就是其韌性所在------這毫無疑問是一次全新的計算平台變革。

Grace Blackwell與NVLink 72:大膽的架構革新

在Hopper架構還處於鼎盛時期,我們就決定徹底重新架構系統,將NVLink從8路擴展為NVLink 72,對計算系統進行全面分解重構。Grace Blackwell NVLink 72是一個巨大的技術押注,對所有合作夥伴而言都不容易,在此向所有人表示誠摯感謝。

同時,我們推出了NVFP4------不只是普通的FP4,而是一種全新類型的張量核心和計算單元。我們已經證明,NVFP4可以在無精度損失的情況下實現推理,同時帶來巨大的性能提升和能效提升,並且同樣適用於訓練。此外,Dynamo和TensorRT-LLM等一系列新算法相繼問世,我們甚至為優化核心而專門投入數十億美元建造了一台超級計算機,稱之為DGX Cloud。

結果證明,我們的推理性能令人矚目。來自Semi Analysis的數據------這是迄今為止最全面的AI推理性能評測------顯示英偉達在每瓦token數和每token成本兩個維度上均遙遙領先。原本摩爾定律可能給H200帶來1.5倍的性能提升,但我們做到了35倍。Semi Analysis的Dylan Patel甚至說:"黃仁勳保守了,實際上是50倍。"他說得沒錯。

我在此援引他的话:"Jensen sandbagged(黃仁勳保守報數)。"

英偉達的每token成本是全球最低,目前無人能及。原因正在於極致協同設計(Extreme Co-design)。

以Fireworks為例,在英偉達更新全套軟體和算法之前,其平均token速度約為每秒700個;更新後接近每秒5,000個,提升約7倍。這就是極致協同設計的力量。

AI工廠:從數據中心到token工廠

數據中心過去是存儲文件的地方,現在它是生產token的工廠。每一家雲服務商、每一家AI公司,未來都將以"token工廠效率"作為核心經營指標。

這是我的核心論點:

  • 縱軸:吞吐量(Throughput)------在固定功率下每秒生成的token數

  • 橫軸:交互速度(Token Speed)------每次推理的響應速度,速度越快,可使用的模型越大、context越長,AI越智能

token是新的大宗商品,一旦成熟,將分層定價:

  • 免費層(高吞吐、低速度)

  • 中級層(~每百萬token 3美元)

  • 高級層(~每百萬token 6美元)

  • 高速層(~每百萬token 45美元)

  • 超高速層(~每百萬token 150美元)

與Hopper相比,Grace Blackwell在最高價值層提升了35倍吞吐量,並引入全新層級。以簡化模型估算,將25%功率分別分配給四個層級,Grace Blackwell可比Hopper多產生5倍的收入。

Vera Rubin:下一代AI計算系統

(播放Vera Rubin系統介紹視頻)

Vera Rubin是一個完整的、端到端優化的系統,專為智能體(Agentic)工作負載設計:

  • 大型語言模型計算核心:NVLink 72 GPU集群,處理前填充(Prefill)和KV Cache

  • 全新Vera CPU:專為極高單執行緒性能設計,採用LPDDR5內存,兼具卓越能效,是全球唯一使用LPDDR5的數據中心CPU,適合AI智能體工具調用

  • 存儲系統:BlueField 4 + CX 9,面向AI時代的全新存儲平台,全球存儲行業100%加入

  • CPO Spectrum X交換機:全球首款共封裝光學以太網交換機,已全面量產

  • Kyber機架:全新機架系統,支持144塊GPU組成單一NVLink域,前端計算、後端NVLink交換,形成一台巨型計算機

  • Rubin Ultra:下一代超算節點,豎插式設計,配合Kyber機架,支持更大規模NVLink互聯

Vera Rubin已100%液冷,安裝時間從兩天縮短至兩小時,採用45°C熱水冷卻,大幅降低數據中心冷卻壓力。這次Satya(納德拉)已發文確認,首台Vera Rubin機架已在微軟Azure上線運行,我為此深感振奮。

Groq整合:推理性能的極致延伸

我們收購了Groq團隊並獲得其技術授權。Groq是一種確定性數據流處理器(Deterministic Dataflow Processor),採用靜態編譯和編譯器調度,擁有大量SRAM,專為推理單一工作負載優化,具備極低延遲和極高token生成速度。

然而,Groq的內存容量有限(500MB片上SRAM),難以獨立承載大模型的參數和KV Cache,限制了其大規模應用。

解決方案正是Dynamo------一套推理調度軟體。我們通過Dynamo將推理管線解聚(Disaggregate):

  • 前填充(Prefill)及注意力機制的解碼(Decode)在Vera Rubin上完成(需要大量算力和KV Cache存儲)

  • 前饋網絡解碼(Feed-Forward Network Decode)即token生成部分,在Groq上完成(需要極高帶寬和低延遲)

兩者通過以太網緊密耦合,借助特殊模式將延遲減少約一半。在Dynamo這一"AI工廠操作系統"的統一調度下,整體性能提升35倍,並開闢了NVLink 72此前無法觸及的全新推理性能層級。

Groq與Vera Rubin的組合建議:

  • 若工作負載以高吞吐為主,使用100% Vera Rubin

  • 若大量工作負載為代碼生成等高價值token生成,可引入Groq,建議比例約為25% Groq + 75% Vera Rubin

Groq LP30由三星代工,目前已進入量產,預計Q3開始出貨。感謝三星的全力配合。

推理性能的歷史性飛躍

將此前技術進步量化:在2年時間內,1吉瓦AI工廠的token生成速率將從2,200萬token/秒提升至7億token/秒,提升350倍。這就是極致協同設計的力量。

技術路線圖

  • Blackwell:當前在產,Oberon標準機架系統,銅纜擴展至NVLink 72,可選光學擴展至NVLink 576

  • Vera Rubin(當前):Kyber機架,NVLink 144(銅纜);Oberon機架,NVLink 72 + 光學,擴展至NVLink 576;Spectrum 6,全球首款CPO交換機

  • Vera Rubin Ultra(即將推出):新一代Rubin Ultra GPU,LP35晶片(首次集成NVFP4),進一步提升數倍性能

  • Feynman(下一代):全新GPU,LP40晶片(由英偉達與Groq團隊聯合打造,集成NVFP4);全新CPU------Rosa(Rosalyn);BlueField 5;CX 10;同時支持銅纜和CPO兩種擴展方式的Kyber機架

路線圖明確:銅纜擴展、光學擴展(Scale-Up)、光學擴展(Scale-Out)三條路線並行推進,我們需要所有合作夥伴在銅纜、光纖和CPO方面持續擴產。

NVIDIA DSX:AI工廠的數字雙胞胎平台

AI工廠越來越複雜,但組成它的各類技術供應商過去從未在設計階段相互協作,直到在數據中心才"相遇"------這顯然不夠。

為此,我們創建了Omniverse,以及基於其上的NVIDIA DSX平台------一個供所有合作夥伴在虛擬世界中共同設計和運營吉瓦級AI工廠的平台。DSX提供:

  • 機架級機械、熱學、電氣、網絡仿真系統

  • 與電網的連接,實現協同節能調度

  • 數據中心內基於Max-Q的動態功耗和冷卻優化

保守估計,這套系統可將能源利用效率提升約2倍,在我們談論的規模上,這是非常可觀的收益。Omniverse從數字地球開始,將承載各種規模的數字雙胞胎,我們正與全球合作夥伴共同構建人類歷史上最大的計算機。

此外,英偉達正在進軍太空。Thor晶片已通過輻射認證,正在衛星中運行。我們正與合作夥伴開發Vera Rubin Space-1,用於建設太空數據中心。在太空中只能依靠輻射散熱,熱管理是核心挑戰,我們正集結頂尖工程師攻關。

OpenClaw:智能體時代的操作系統

Peter Steinberger開發了一款名為OpenClaw的軟體。這是人類歷史上最受歡迎的開源項目,在短短幾週內便超越了Linux三十年的成就。

OpenClaw本質上是一個智能體系統(Agentic System),能夠:

  • 管理資源,訪問工具、文件系統和大型語言模型

  • 執行調度、定時任務

  • 將問題逐步分解,並調用子智能體

  • 支持任意模態的輸入輸出(語音、視頻、文字、郵件等)

用操作系統的語法來描述,它確實就是一個操作系統------智能體計算機的操作系統。Windows讓個人計算機成為可能,OpenClaw讓個人智能體成為可能。

每一家企業都需要制定自己的OpenClaw戰略,正如我們都需要Linux策略、HTML策略、Kubernetes策略一樣。

企業IT的全面重塑

OpenClaw之前的企業IT:數據和文件進入系統,流經工具和工作流,最終變成供人類使用的工具。軟體公司創建工具,系統集成商(GSI)和諮詢公司幫助企業使用這些工具。

OpenClaw之後的企業IT:每一家SaaS公司都將轉變為AaaS(Agentic as a Service,智能體即服務)公司------不只是提供工具,而是提供專精特定領域的AI智能體。

但這裡有一個關鍵挑戰:企業內部的智能體可以訪問敏感數據、執行代碼、與外部通信。這在企業環境中必須得到嚴格管控。

為此,我們與Peter合作,將安全性融入企業級版本,推出了:

  • NeMo Claw(參考設計):基於OpenClaw的企業級參考框架,集成NVIDIA的全套智能體AI工具包

  • Open Shield(安全層):已集成至OpenClaw,提供策略引擎、網絡護欄、隱私路由,確保企業數據安全

  • NeMo Cloud:可下載使用,並與所有SaaS企業的策略引擎對接

這是企業IT的文藝復興,一個原本2萬億美元規模的產業,即將成長為數萬億美元規模,從提供工具轉向提供專業化的AI智能體服務。

我完全可以預見:未來,公司裡的每一位工程師都將擁有年度token預算。他們年薪可能是幾十萬美元,我會額外給他們相當於薪資一半的token配額,讓他們的產出放大10倍。"入職附帶多少token配額"已經成為矽谷的新晉招聘話題。

每一家企業未來都將既是token的使用者(供工程師使用),也是token的生產者(為其客戶提供服務)。OpenClaw的意義不可低估,它和HTML、Linux一樣重要。

NVIDIA開放模型倡議

在自定義智能體(Custom Claw)方面,我們提供了NVIDIA自研的前沿模型:

模型領域Nemotron大型語言模型Cosmos世界基礎模型(World Foundation Model)GROOT通用人形機器人模型Alpamayo自動駕駛BioNeMo數字生物學Phys-AIAI物理

我們在每一個領域都處於技術前沿,並承諾持續迭代------Nemotron 3之後有Nemotron 4,Cosmos 1之後有Cosmos 2,Groq也將迭代到第二代。

Nemotron 3在OpenClaw中名列全球三大最佳模型之列,處於前沿水平。Nemotron 3 Ultra將成為有史以來最強的基礎模型,支持各國構建主權AI。

今天,我們宣布成立Nemotron聯盟,投資數十億美元推進AI基礎模型研發。聯盟成員包括:BlackForest Labs、Cursor、LangChain、Mistral、Perplexity、Reflection、Sarvam(印度)、Thinking Machines(Mira Murati的實驗室)等。一个又一个企業軟體公司加入,將NeMo Claw參考設計和NVIDIA智能體AI工具包整合到自身產品中。

物理AI與機器人

數字智能體在數字世界中行動------撰寫代碼、分析數據;而物理AI則是具身化的智能體,也就是機器人。

本次GTC共有110款機器人亮相,幾乎囊括了全球所有機器人研發企業。英偉達提供三台計算機(訓練計算機、仿真計算機、機載計算機)和完整的軟體棧及AI模型。

自動駕駛方面,自動駕駛的"ChatGPT時刻"已經到來。今天,我們宣布四家新合作夥伴加入英偉達RoboTaxi Ready平台:比亞迪、現代、日產、吉利,合計年產量1,800萬輛。加上此前的奔馳、豐田、通用,陣容進一步壯大。我們同時宣布與Uber達成重大合作,將在多個城市部署並接入RoboTaxi Ready車輛。

工業機器人方面,ABB、Universal Robotics、KUKA等眾多機器人企業與我們合作,將物理AI模型與仿真系統相結合,推動機器人在全球製造產線的落地。

電信方面,卡特彼勒(Caterpillar)和T-Mobile也在其列。未來,無線基站將不再只是一个通信節點,而是一個NVIDIA Aerial AI RAN------能夠實時感知流量、調整波束成形,實現節能增效的智能化邊緣計算平台。

特別環節:Olaf機器人亮相

(播放Disney Olaf機器人演示視頻)

黃仁勳: 雪人登場!Newton運行正常!Omniverse也運行正常!Olaf,你好嗎?

Olaf: 見到你我真的太開心了。

黃仁勳: 是的,因為是我給了你計算機------Jetson!

Olaf: 那是什麼?

黃仁勳: 就在你的肚子裡。

Olaf: 太神奇了。

黃仁勳: 你是在Omniverse裡學會走路的。

Olaf: 我喜歡走路。這比騎馴鹿仰望美麗的天空好多了。

黃仁勳: 這正是因為物理仿真------基於NVIDIA Warp運行的Newton求解器,這是我們與Disney和DeepMind聯合開發的,讓你能夠適應真實的物理世界。

Olaf: 我正想說這個。

黃仁勳: 這就是你聰明的地方。我是雪人,不是雪球。

黃仁勳: 你能想像嗎?未來的迪士尼樂園------所有這些機器人角色在園區裡自由漫步。不過說實話,我以為你會更高一些。我從沒見過這麼矮的雪人。

Olaf: (不置可否)

黃仁勳: 來幫我結束今天的演講好嗎?

Olaf: 太棒啦!

主題演講總結

黃仁勳:今天,我們共同探討了以下核心主題:

  1. 推理拐點的到來:推理已成為AI最核心的工作負載,token是新的大宗商品,推理性能直接決定收入

  2. AI工廠時代:數據中心已從文件存儲設施演變為token生產工廠,未來每家公司都將以"AI工廠效率"來衡量自身競爭力

  3. OpenClaw智能體革命:OpenClaw開啟了智能體計算時代,企業IT正在從工具時代走向智能體時代,每家企業都需要制定OpenClaw戰略

  4. 物理AI與機器人:具身智能正在規模化落地,自動駕駛、工業機器人、人形機器人共同構成物理AI的下一個重大機遇

感謝大家,GTC愉快!

最近融資

查看更多
$3M 03-17
$1B 03-17
$10M 03-17

近期發行Token

查看更多
03-13
03-11
03-08