12月6日消息，英偉達首席執行官黃仁勛今日表示，在生產最好的人工智能芯片的競爭中，華為是英偉達“非常強大”（very formidable）的競爭對手之一。周三，黃仁勛在新加坡接受采訪時表示，華為、英特爾和不斷壯大的半導體初創公司對英偉達在人工智能加速器市場的主導地位構成了嚴峻挑戰。“我們在中國和國外都有很多競爭對手，”黃仁勛說。“我們大多數競爭對手并不關心我們在哪里，無論我們走到哪里，他們都想與我們競爭。”英偉達的芯片已成為人工智能熱潮中最受追捧的商品，因為它們為訓練大數據模型（例如支持ChatGPT的模型）提供了最有效的方法。黃仁勛今日早間還表示，英偉達正考慮在新加坡進行重大投資。12月5日，黃仁勛宣布，英偉達將在日本建立一個人工智能（AI）研究實驗室，并在當地打造一個AI工廠網絡。（易句）延伸閱讀：英偉達CEO黃仁勛：將為中國市場提供符合美國規定的新產品澎湃新聞記者 方曉美國芯片企業英偉達公司的首席執行官黃仁勛12月6日表示，在生產“最好的”人工智能芯片的競賽中，華為是英偉達“非常強大”的競爭對手之一。他透露，英偉達正在與美國政府密切合作，確保面向中國市場的新芯片符合出口限制。正在新加坡訪問的黃仁勛在記者會上表示，華為、英特爾和不斷壯大的半導體初創公司對英偉達在人工智能芯片市場的主導地位構成了嚴峻挑戰。“我們在中國內外都有很多競爭對手。”他說。英偉達的芯片已成為人工智能熱潮中最熱門的商品，因為它們為訓練大語言模型提供了最有效的方法。但美國政府對英偉達的芯片銷售設置了壁壘，今年10月中旬更是進一步收緊了英偉達芯片對中國的出口。美國商務部長吉娜·雷蒙多12月2日稱：“我們不能讓中國獲得這些芯片。”針對雷蒙多的這一言論，中國外交部發言人汪文斌12月4日在例行記者會上回應稱，美方應當樹立正確的對華認知，同中方一道切實落實中美元首舊金山會晤達成的重要共識，停止將中國視為“假想敵”，糾正打著競爭的幌子搞大國對抗的錯誤行徑。黃仁勛表示，中國市場占英偉達銷售額的20%左右，該公司將繼續“完美”遵守貿易法規，并為中國市場提供一套符合美國政府最新規定的新產品。他補充說，英偉達需要尋求市場的建議，這一過程正在進行中。英偉達11月在財報中警告稱，美國新規實施后，預計第四季度在中國的銷售額將大幅下降。在訪問新加坡期間，黃仁勛與新加坡總理李顯龍舉行了會晤。12月4日，新加坡發布國家人工智能策略2.0，提出把該國人工智能從業者的隊伍擴大到1.5萬人。黃仁勛表示，此行將與李顯龍深入探討英偉達如何幫助、支持和參與該策略。新加坡資訊通信媒體發展局（IMDA）4日宣布斥資7000萬元推出國家多模態大型語言模型計劃，計劃開發東南亞首個具有區域特點的基礎語言模型。黃仁勛表示，目前英偉達正在與資訊通信媒體發展局合作創建由11種語言訓練的大模型SEA-LION。該模型旨在更好地理解和代表東南亞的不同背景、語言和文化。今年第三季度，英偉達來自新加坡市場的營收達到27億美元，占其總營收的約15%。黃仁勛表示，英偉達在新加坡擁有兩類重要客戶。一類是新加坡本地的云服務提供商，該國有1100家人工智能初創公司，它們正推動新加坡云端GPU消費的需求。第二類客戶則是將產品部署到中國的公司，這類公司在新加坡交易，但將產品和服務用于中國市場。新加坡擁有由格芯（GlobalFoundries）等全球企業運營的非尖端芯片的制造工廠。英偉達的人工智能芯片首選制造商臺積電和恩智浦半導體也在新加坡經營著一家合資企業。貓鼠游戲中的英偉達來源: 硅星人自步入人工智能時代以來，中國一直是英偉達的大客戶。2022年，英偉達銷售數據中，25%來自中國客戶，尤其是一些互聯網大廠，他們對英偉達的算力產品，比如H800，可以說是瘋狂買買買。但是隨著美國在2023年10月更新了先進半導體和計算設備的出口管制，英偉達中國特供版GPU A800和H800都將在11月17號后禁止出口中國。而且更難處理的是，華盛頓新的出口管制下，幾乎絕大多數高算力產品都不再能出口中國了。不過英偉達有他們的小心思，25%的巨大收入來源不可能說斷就斷，所以英偉達決定要和美國政府來一場貓鼠游戲，要在這只貓的眼皮底下，偷走奶酪。于是英偉達開始布局一款新的產品——H20。注意，這個H20是“H”和“二十”，不是水分子的化學式。H20這款產品的浮點運算能力僅有296TFLOPs，性能密度只有2.9。這意味著它從紙面上看已經是一款超低性能產品，然而有意思的事情來了，如此低性能的產品，依然有公司會買，而且它繼續引發美國的監管部門以及英偉達競爭對手的恐慌。在硅星人此前的文章《》中已經提到，英偉達的美國對手批評它不夠美國，而英偉達認為這些批評不合邏輯；而最近的消息是，美國商務部長Gina Raimondo又點名英偉達，警告它停止為中國設計繞過出口管控的AI芯片。所以，這個貓鼠游戲里，英偉達到底是如何做的？3A090里的文字游戲3A090，是華盛頓出口管制中的ECCN編碼物項。3A090特指特定高性能集成電路，當一顆芯片輸入輸出雙向傳輸速率超過每秒600GB，或算力超過4800TOPS時就屬于3A090，也就意味著禁止向中國出口。上一次美國規定先進半導體出口措施的時候，英偉達旗艦產品A100和H100都被劃在了禁止向中國出口的列表當中。英偉達當時采取的措施是推出低配版、但是同架構、且同樣配備高帶寬插槽版本（也就是SXM版本）的A800和H800。這兩塊產品在性能上和原版的A100、H100幾乎完全一致，甚至連內存芯片用的也都是HBM2e和HBM3這種當時的頂級內存芯片。頗有種孫悟空和六耳獼猴的感覺。在上一次禁令發布的時候，美國只是對產品的具體型號做出了禁止出口的規定，這才有了H800和A800這種李逵李鬼的情況。所以這次新規就加入了更為嚴格的限制，規定了算力總和以及性能密度，所有人工智能產業能用到的高端張量計算GPU全都被劃進了限制。說得更直白一點，高性能的GPU不讓賣，低性能的GPU買了也沒用。然而有意思的事情來了，禁令所限制的兩個詞匯“性能密度”和“總算力”，其實是一個文字游戲。什么是性能密度？國際上有兩個說法，第一個是人工智能公司常用的，浮點計算能力FLOPs，也就是每秒浮點操作數除以單位面積內的晶體管數量得來的。第二個是MIPS，也就是每秒百萬指令數除以單位面積內的晶體管數量得來的。我們都清楚一個道理，那就是“大人時代變了”。就拿英偉達剛推出的新品H200所搭載的HBM3e來說，這顆芯片采用了一種3D技術，通過立體空間堆疊的方式增加內存。如果只按面積來說，那這顆芯片的性能密度就很高，但是要按體積算，這顆芯片的性能密度也挺高，只是沒有按面積算那么高而已。所以如果想要性能密度這個數字越小，算的時候以體積為單位就可以了。畢竟除法嘛，分母越大結果越小。另外MIPS通常比FLOPs大，因為在計算過程中除了浮點，還有整數類型（INT）的運算。而且浮點自己還囊括了單精度（32位）、雙精度（64位）等以所需存儲空間來劃分的類型。因為傳統FLOPs計算方式，往往只會統計單精度和雙精度，因此一顆張量計算用的GPU，在數據測試的時候，也可以只報單精度、雙精度的浮點，這樣無論是它的MIPS還是FLOPs都會很低。畢竟除法嘛，分子越小結果越小。總算力這塊能玩的花活就更多了。總算力，這個詞指的是每個核心的時鐘速度總和。英偉達H20，或者說整個H系列所采用的Hooper架構，它都是有多種核心的，比如專門用來做張量計算的TensorFloat32核心，還有腦浮點（BF16）核心。那剛才咱們聊了，計算FLOPs時，可以只計算單精度，雙精度，也就意味著它在算力總和的測試中，就可以只計算單精度和雙精度核心，而不再啟用上述的這些張量計算核心。畢竟自然數加法嘛，加數越少結果越小。綜上，作為一個算力芯片廠商，他們可以很簡單地把芯片數據弄得很低。這只是一種可能的假說，因為英偉達的最終目的不是通過3A090的限制，他是要把產品賣出去，賺取利潤。一個性能極低的產品根本沒有市場銷路，就算設計出來了也沒有實際的價值。H20背后的真正秘密區區是一張中上游的游戲顯卡RTX 4080，它的浮點運算能力都能達到320TFLOPs，同時RTX 4080的性能密度有6.8。H20尊為一個張量計算用的GPU，296的浮點和2.9的性能密度，就好像是一個超級富二代獨生子，從出生開始就享受世界上最優質的資源，頓頓早餐吃的煎餅果子都能加倆雞蛋，喝酸奶從來用不著舔蓋，結果到頭來算個10以內加減法都能把CPU干冒煙了。可我要是說H20的Die足足有814平方毫米，和H100完全相同，閣下應該如何應對？這并不是好鋼用在刀背上，相反這正是H20的隱藏屬性。也正因此，才讓我更加相信，英偉達在H20的數據上，存在一些貓膩。Die指的是芯片的裸晶，一般來說，越是性能優越的芯片，Die尺寸就會越大。比如RTX 4080的Die尺寸是379，而目前性能最好的游戲顯卡RTX 4090的Die尺寸是609。因此，H20實際上并不是低端芯片，至少從芯片的制程來講，H20是站在第一梯隊的。老鼠沒有貓力氣大，速度上也不占優勢，如果老鼠不想被貓抓住，那就要想方設法地躲起來，不暴露自己。誠然，H20的浮點運算能力很低，可是H20 SXM的內存足足有96GB，更恐怖的是它的帶寬來到了4Tbps。相較之下，1979TFLOPs浮點運算能力的H100 SXM只有80GB的內存和3.4Tbps的帶寬。在人工智能領域，尤其是現在火熱的大語言模型中。內存是影響模型運行的關鍵，每10億參數就要消耗3到5GB的內存，如果內存溢出則會嚴重影響模型的質量，產生不可預估的后果。那也就是說，在面對實際應用的時候，H20能比H100承擔更大規模的大語言模型。可能你會問了，H20的浮點運算能力不行啊，光有內存沒用，跑的速度會慢。如果是2022年，那這的確是個大問題，畢竟沒有人工智能公司會考慮低效率的GPU，這樣做會拖垮整個訓練過程。可是2023年，英偉達的TensorRT-LLM已經問世，并且擁有TensorRT-LLM功能的H200即將要在2024年發售了。TensorRT-LLM是一個幫助GPU快速解決復雜計算的優化軟件，搭載在GPU內部，類似于游戲顯卡驅動一樣。以H100為例，使用TensorRT-LLM后的H100，在對一些媒體網站進行文章摘要時的工作效率，比使用前快出整整1倍。而在700億參數的Llama2上，前者比后者快77%。目前流通在市面上的A800也好，H800也好，都沒有搭載TensorRT-LLM功能。H20很有可能，或者說板上釘釘的會搭載TensorRT-LLM。英偉達雖然一直以硬件銷售為主，然而其軟件能力非同小可。比如DLSS，這是一種專門用來“欺騙”軟件。不過DLSS所騙的目標并不是用戶，而是顯卡。當計算機需要大量圖形計算時，DLSS會把圖形以極低分辨率的形式交給顯卡，它去騙顯卡說：“你干這么點活就得了，剩下的不用你操心”，再通過DLSS技術還原成高分辨率的圖形，這會大幅減輕顯卡的壓力，進而提升畫面效果。回到現在，TensorRT-LLM也是一個給GPU減壓減負的軟件技術，這就讓GPU能夠表現出本不該屬于它的性能。此外，如果英偉達真的隱藏了H20的真實數據，實際上H20的表現力很有可能會超過H100。你以為英偉達是壁虎，斷尾求生。實際上英偉達壓根不打算“閹割”，他們想的是換一種方式，繞過監管，達到目的。畢竟，如果H20算力很低，就算可以出口中國，也沒有買家愿意購買這樣的產品。當貓堵住了一個老鼠洞，老鼠還是能有辦法溜出來，因為不可能只有一個出口。不只是英偉達自己的貓鼠游戲英偉達有個好朋友叫做SK海力士，英偉達最新旗艦產品H200 SXM上的內存芯片HBM3e，就是SK海力士的。目前他們正聯手開發HBM4，以顛覆整個產業。英偉達也是SK海力士最大的客戶之一，如果英偉達失去了中國市場，那么SK海力士的損失也會是巨大的。最重要的是，GPU是一個橫跨軟硬件兩個領域的事情，造就了一個附加值極高的交易體系。比如英偉達的Hooper架構，也就是H100、H200、H800、H20所采用的架構，多種同架構的GPU并聯在一起，能夠更好地分配計算資源。一般來說，人工智能企業都是買很多塊GPU，而不是就買一塊。所以當人工智能公司進行算力擴展的時候，GPU的第一個附加價值就體現出來了，它會要求人工智能公司只能接著購買該公司的GPU產品。第二個附加價值在于算法的開發，不同的GPU產品，比如AMD的MI，英特爾的Gaudi，他們的差別不只有浮點運算能力、性能密度這些，還有指令集、邏輯芯片、底層語言上的差異等等。一個能在H100上運行的算法，不一定就完美適配MI300X。換言之，如果開發伊始就是基于某公司產品的話，后續的開發大概率也只能基于同公司，甚至是同架構的產品。第三個附加價值是反向的，由人工智能公司給予GPU公司。在算法的開發過程中總是會遇到各種各樣的難題，當這些難題反饋給GPU公司時，GPU就會清楚下一代產品應該做怎樣的改進。就比如上文說的HBM4，英偉達和SK海力士要非常清楚目前GPU在當前場景下還有哪些不足，才能做出足以顛覆產業的產品。正是這些附加價值，綁定了GPU公司和人工智能公司，形成了復雜的裙帶關系。所以英偉達不能失去中國市場，不單單是為了25%的銷售額，還有比銷售數字更重要的這些附加價值。中國的人工智能水平增長非常迅速，英偉達深知其中的利害。在貓鼠游戲中，老鼠之間也會互相打配合，有些負責吸引貓的注意力，有些負責搬運奶酪。還有一點，貓和老鼠都明白兩者雖然對立，但是存在著一個用來維持雙方平衡的灰色空間，既不黑也不白，兩者都能生存。貓不能一下子將老鼠全抓死，那樣貓就失去了作用，老鼠也不能太猖狂，那樣會壓縮貓的生活空間。