【王煜全 要聞評(píng)論】粉絲群已經(jīng)開通
歡迎加入前哨粉絲群，在這里你可以和科技投資人、創(chuàng)業(yè)者、各行業(yè)專業(yè)人士互動(dòng)溝通，分享心得體會(huì)，也可以第一時(shí)間了解到前哨相關(guān)活動(dòng)動(dòng)態(tài)，結(jié)交志同道合的小伙伴。
入群方式：
微信掃碼下方二維碼即可入群
如果您想洽談合作，請(qǐng)?zhí)砑觿?chuàng)新地圖的微信：innovationmap ，并附上簡介。
你好，我是王煜全，這里是王煜全要聞評(píng)論。
最近，Sohu芯片火了。別誤會(huì)，此Sohu非彼搜狐，而是由兩位哈佛大學(xué)輟學(xué)的學(xué)生創(chuàng)立的公司Etched，所推出的芯片，代號(hào)為Sohu。
據(jù)稱，一臺(tái)搭載8塊Sohu的服務(wù)器，性能可媲美160塊英偉達(dá)的H100芯片，速度整整快了20倍！Sohu在處理700億參數(shù)的Llama 3模型時(shí)，其吞吐量竟高達(dá)每秒50萬tokens，大概相當(dāng)于每兩秒生成一本西游記。創(chuàng)始人之一Gavin Uberti自信滿滿地表示，在Transformer領(lǐng)域，Sohu絕對(duì)是速度之王。
所以，資本也是比較追捧，繼去年6月份完成500多萬美元的種子輪融資后，最近他們又完成了1.2億美元的A輪融資（約合8億元人民幣）。年輕的哈佛大學(xué)輟學(xué)學(xué)生，兩年內(nèi)推出了性能碾壓英偉達(dá)的芯片，并獲得了高額融資，這簡直是最好的創(chuàng)新神話。
Gavin Uberti（中間）
然而，如果你冷靜下來細(xì)品，Sohu芯片雖火，但要真正“擊敗”英偉達(dá)，恐怕還有很長的路要走。
Sohu屬于ASIC芯片（Application Specific Integrated Circuit），即特定用途集成電路，為特定任務(wù)而生的。當(dāng)年比特幣挖礦還很火的時(shí)候，很多人就開始使用ASIC芯片了，而不是英偉達(dá)的GPU。
Etched公司也做了相關(guān)說明：他們是“將Transformer網(wǎng)絡(luò)架構(gòu)燒錄到芯片里”，實(shí)現(xiàn)了三倍于英偉達(dá)GPU的FLOPS利用率，以及Transformer推理速度的飛躍，讓Sohu在算力和功耗等方面均展現(xiàn)出超越傳統(tǒng)GPU的卓越性能。這就像長期專注于某一領(lǐng)域的專家（ASIC芯片），其工作效率必然遠(yuǎn)勝于雜而不精的通才（GPU）。
但問題來了，為什么英偉達(dá)不涉足ASIC領(lǐng)域呢？
首先，我們需要明確，AI芯片被分為訓(xùn)練芯片和推理芯片。訓(xùn)練芯片注重絕對(duì)的計(jì)算能力和精度，需要具有一定的通用性。英偉達(dá)的GPU就是訓(xùn)練芯片的典型代表。推理芯片則更看重能效、時(shí)延和成本等綜合指標(biāo)，而且可以具有一定的專用性。今天所介紹的sohu芯片，就是典型的推理芯片。當(dāng)然，英偉達(dá)GPU也可以用于推理。
很明顯，現(xiàn)階段大模型的訓(xùn)練需求正在井噴，未來隨著文生視頻、多模態(tài)大模型的普及，訓(xùn)練芯片、也就是英偉達(dá)GPU的需求還會(huì)持續(xù)爆發(fā)。
而且，把ASIC芯片用于AI領(lǐng)域，并非Etched首創(chuàng)。今年2月，初創(chuàng)公司Groq就用自研的LPU芯片（Language Processing Units），其文本生成推理速度較GPU飆升十倍，而能耗卻驟降至十分之一。
當(dāng)然，最著名的，莫過于谷歌2013年研發(fā)的TPU（Tensor Processing Unit），專為機(jī)器學(xué)習(xí)量身打造，據(jù)稱在神經(jīng)網(wǎng)絡(luò)計(jì)算方面展現(xiàn)出了顯著優(yōu)于英偉達(dá)GPU的性能。而且，TPU可以用于AI大模型的訓(xùn)練。
此外，比較著名的，還有特斯拉的Dojo芯片、微軟的Maia 100等等。而且如Meta、OpenAI、亞馬遜AWS等等都紛紛表態(tài)在自研AI芯片，大概率也是定制化的芯片。
但是，需要注意的是，雖然有自研芯片，這些巨頭仍然需要購買大量的英偉達(dá)GPU。
可見，Etched不僅傷害不到英偉達(dá)，而且強(qiáng)者環(huán)伺，挑戰(zhàn)重重。Etched的創(chuàng)新之處，頭部企業(yè)其實(shí)很快就能學(xué)去。也就是說，這是典型的產(chǎn)業(yè)增強(qiáng)型創(chuàng)新，而不是產(chǎn)業(yè)顛覆式的創(chuàng)新。
所以，下次再有芯片公司宣稱可以顛覆英偉達(dá)，我們需要從兩個(gè)維度審慎考量。
第一，要看這家公司能否突破或繞過英偉達(dá)的CUDA平臺(tái)，搶占數(shù)據(jù)中心業(yè)務(wù)。很顯然，目前即便是AMD、英特爾等芯片巨頭也做不到。英偉達(dá)同時(shí)仍在通過持續(xù)高投入，不斷推出一系列加速庫和工具，不斷優(yōu)化CUDA平臺(tái)。
第二，要看這家公司能否在高速互聯(lián)技術(shù)上取得突破，從而能夠構(gòu)建大規(guī)模的數(shù)據(jù)中心。英偉達(dá)的NVLink技術(shù)傳輸速度遠(yuǎn)超同行水平，可以讓成千上萬個(gè)GPU連在一起協(xié)同工作。最關(guān)鍵的是，英偉達(dá)的技術(shù)是經(jīng)過大量工程實(shí)踐驗(yàn)證的，運(yùn)行穩(wěn)定，大大降低了訓(xùn)練中斷的風(fēng)險(xiǎn)。
我曾說過，在各大公司都強(qiáng)調(diào)平臺(tái)的實(shí)戰(zhàn)性、爭分奪秒搶奪算力的當(dāng)下，英偉達(dá)的GPU就相當(dāng)于AK47，雖然可能打得沒那么準(zhǔn)，但不卡彈、皮實(shí)耐用，一定是大家的首選。
但我更想強(qiáng)調(diào)的是，對(duì)于中國的芯片產(chǎn)業(yè)，sohu芯片給了我們兩點(diǎn)啟示。
首先，ASIC芯片可以是中國廠商的發(fā)力點(diǎn)，作為解決AI算力短缺的一劑良藥。寒武紀(jì)、地平線以及阿里的平頭哥都在不同領(lǐng)域發(fā)布了ASIC芯片。當(dāng)然，雖然ASIC的理論性能遠(yuǎn)高于GPU，但初始投入巨大，失敗概率較高，仍然是有一定難度的。
其次，更重要的是，AI芯片這個(gè)彎道已經(jīng)顯現(xiàn)，中國芯片產(chǎn)業(yè)應(yīng)該圍繞AI芯片盡快形成產(chǎn)業(yè)生態(tài)，實(shí)現(xiàn)“彎道超車”。我曾提出過“產(chǎn)業(yè)生態(tài)的木桶原理”，即在新產(chǎn)業(yè)出現(xiàn)之初，不要總想著另辟蹊徑，把某個(gè)長板做得特別長，而是應(yīng)該讓一堆短板一同協(xié)作，一起長成長板。
科技是這個(gè)時(shí)代最大的紅利。相信你也是關(guān)心中國科技產(chǎn)業(yè)發(fā)展、希望有所作為的弄潮兒。把握機(jī)會(huì)，貴在前瞻性的分析。我們?cè)谶^去8年，積累了系統(tǒng)且經(jīng)過事實(shí)驗(yàn)證的科技產(chǎn)業(yè)分析體系，一定會(huì)對(duì)你有所幫助，歡迎前來學(xué)習(xí)探討，先人一步、看清未來。
以上就是今天的內(nèi)容，更多詳細(xì)的產(chǎn)業(yè)分析和底層邏輯，我會(huì)在科技特訓(xùn)營里分享，歡迎關(guān)注全球風(fēng)口微信號(hào)，報(bào)名加入。
王煜全要聞評(píng)論，我們明天見。
【回放地址】
長按掃描二維碼加入科技特訓(xùn)營，可觀看所有直播和回放。
用戶評(píng)論