TenstorrentInc首席CPU構架師 練維漢：助力數字化升級的RISC-V AI 高性能CPU

（電子發燒友網 張迎輝）在2023年8月28日上海臨港舉行的第三屆滴水湖中國RISC-V產業論壇上，主辦方特別邀請到了高性能 RISC-V AI芯片公司Tenstorrent Inc首席CPU構架師練維漢現場作了“助力數字化升級的RISC-V”專題演講。Tenstorrent Inc.是一家加拿大AI芯片獨角獸企業，從事高性能RISC-V芯片的設計。他們公司的CEO是CPU產業界的“知名大拿”，曾在水果公司作CPU的架構設計師。練維漢除介紹RISC-V內核的高性能 CPU IP內核技術之外，也對近期熱門的RISC-V AI技術和Chiplet 芯粒對高性能 AI芯片的助力、異構CPU架構等分享了觀點。

為何會有Digital Transformer？

數百年前的第一次工業革命是機器取代人的勞動力，而現在正在發生的“工業革命”是機器替代人的腦力。我們經常討論，共同的感覺就是Digital這個事情是在改變著世界。其實AI帶給人最重要的是一個什么東西呢？你作為的東西都可以因為你而“最佳化”，你可以享受到專門為你量身定做的東西。這樣的東西在以前是沒有可能的，因為沒有那樣的算力可以到達為你量身定做任何一樣的事情。這是一個巨量的計算！我在十年前如果要出來開一個創業的公司，說：“我要做芯片”，沒有人會投。為什么十年之后全世界各國，我去跟歐洲的談、日本的談、印度的談，他們都有注入大量的錢到這個行業。他們投入百億、千億的資金在這個芯片上面，就是這個原因。

圖：Tenstorrent Inc首席CPU構架師練維漢在第三屆滴水源RISC-V產業論壇演講（圖片來源：電子發燒友網）

1947年Transistor發展，這個技術每年以兩倍的速度翻倍。1997年個人PC時代的開始，在這個開始之后、2007年iPhone是另外一個革命性的東西，手機可以每一天跟著你記錄你的使用信息。另外一個里程碑，是3G、然后有4G、5G，慢慢你有很大的頻寬傳送你的Data。你每天拿著手機產生大量的資訊，然后可以傳到“云”上、大量的數據被產生了。然后兩年之后你看到巨量的數據產生了，你開始在挖這個“金”，然后到2012年爆炸性的成長，然后一直到最近的ChatGPT3。所以這是有歷史痕跡的，我要讓大家知道“為什么今天走到AI”的地步？有了大數據你才能夠用AI解釋、為你做量身定制。

這個東西的結果是什么？就是巨量的Data每天被產生，你要了解這些資訊、找出里面的有價值數據。ChatGPT4說：2.5個月，計算能夠就要翻一倍。ChatGPT4=2-trillion parameter，有人說會到4trillion。每天人類要處理多少的訊息？所有的數據都要經過儲存。為什么今天大家坐在這個地方，說：芯片有它發展的原因，就是因為有這個數字?，F在沒有人知道，用什么樣的方法來解決這個計算的問題。我看一個數據，就是說：谷歌如果要把他們所有的數據轉換成ChatGPT的這種結果，要花一千億美金。然后，電力要增加20倍。企業要巨量的投資，你們的Data產生的也是越來越多、不僅要數字上的、還要變成視頻，這是海量的數據。我們現在站在這個歷史的風口，怎么樣解決這個算力的問題？我個人覺得是沒有很好的解決方法、在這個階段，除非說有在AI的上面有科學家看出來有更基本的改變才有可能有辦法應付，目前看到是沒有辦法。這個產業每個國家巨量投資就是因為這個原因，因為有巨量的數據和巨量的計算的需要。

怎么解決這個呢？我們的看到：計算必須要在每一個地方發生。例如：人類是一個非常復雜的生物機器，如果所有碰觸到你皮膚的數據都要傳遞到大腦做決定是不可能的事。如果這樣的話，你的神經可能要比現在寬多少倍都不知道。很多觸覺上的東西在皮膚層就做了篩選，有用的訊息才會傳遞到大腦。在生物學上基本上告訴你已經不可能了，所以在實踐上面要把所有的計算都放到云端算了再傳回來這是一件不可能的事情。我們在想這件事情，就是說：計算必須要在每一個地方發生，然后你才能夠達到你所要的功效需求和傳輸的需求。你們都知道人類的大腦事實上是全世界最復雜的一個處理系統，假如要跟現在的計算相比、人類好像是1萬倍吧。所以說你基本上是不可能把所有的東西傳到云端算了再放回來，所以可能要放在你的IoT上面、放在你的機器上面，到處都需要有這個計算。

有這樣的一個需求以后，我們需要Heterogeneity（異構）。還有就是要能夠可擴充性，你發明的東西不能用在一個點、要用在從最簡單的到最復雜的東西。就像愛因斯坦希望用一個理論來解釋宇宙所有的現象，我們也希望一個解決方案可以通用到所有的事情上面去。還有就是你也不能讓它太復雜，我們常常做架構經常問的一個問題，就是說：你做的這個東西是不是足夠的簡單，是不是去無從輕到最高極限、最簡單的東西去解決同樣一個問題。我們永遠尋求的最終解決方案，永遠是要找到最精簡的東西來解決同樣的一個問題。精簡有什么好處？容易實現。以后做變動的時候等等，都有很多的好處。

為什么RISC-V非常適合？

為什么RISC-V很適合這個東西？因為它是一個Open source（開源）。我們的好處就是說，我做了一個架構、不需要跟ARM說：“我可不可以做這樣，可不可以做那樣?！庇蟹浅４蟮膹椥?，這是指令集給你的一個方便的東西。我為什么認為這個東西一定會起來？就是基于這個考量。因為以后的計算是非常復雜的，你需要一個指令集能夠讓你做這樣的事情。RISC-V就是一個很好的“點”。

我們大概有1/3的人做CPU、2/3的人做AI的東西。我是帶領RISC-V CPU的團隊，我們公司很特別、因為我們是世界上唯一一個公司有Workink的機器學習。我們公司有RISC-V、CHIPLETS。（圖）我們公司有Grayskul（2021）、Wormhole（2022），2023公司開始有Blach Hole，因為我們知道未來很多東西沒有辦法用AI來做這樣的事情，那么你就需要一個很好的介入、我們后來發現算力還是不夠，我們就說：我們自己研發RISC-V的芯片。兩年前開始研發RISC-V的芯片，開始看看怎么整合等等。在未來、下一步要走向Chiplet，、研發上面Quasar跟Grendel。我們可以成為一個很好的，對于未來AI的一個架構。

基于AI技術的可擴展 RISC-V芯片

我們公司AI是怎么做到的？看我們公司實際上是很多AI的好的解決方案。每個“人”都有自己的任務要做，有一個是把Data拿起來、有一個是把Data送出去。你可以把它往上擴充，也可以往上減少。（圖）這是一個大系統的Skill APP，它可以解決更大的運算的需求、解決更大算力的問題。所以我們的Scalable AI Architecture可以把它變成一個大的系統，然后我們變成一個芯片之后又可以放到更大的系統里面。我們的軟件系統可以了解到計算所需求的要求，可以幫你聚焦到這些、完成這些工作，它是從一個到幾萬個芯片在一起。

AI的改變非?？?，今年說Transformer很牛、可能五年后Transformer不牛了怎么辦呢？你所有的AI不能只為現在做設想，你必須要設計的足夠有彈性、以便于可以去應付未來AI方案的需求。也就是說，你必須要有彈性。像我們做這種東西，一定要看長遠一點、不能只聚焦在當下。在Application的架構上，也要想到以后可能沒有辦法在你現在設計的AI方案上面做的很好。以后你怎么辦？你不能把系統拆掉再換一個新的，所以你要有彈性接口兼容。你要兩個都是最好，要不然你沒有辦法做到最好的系統。

介紹一下公司的可擴展 RISC-V處理器家族

（圖）我們架構這個東西的時候，我們希望這個要具有很強的可擴展性。為什么要放CPU在里面？因為我們預測未來AI的運算CPU還是會占一個很重要的地位。所以它在兩個不同算力的東西在一起的時候，我們有幾種很多的考慮。（圖）這是AEGIS Chiplet，希望每32核變成一個Chiplet。

Chiplet芯粒與AI芯片

剛才我已經說了，你做這個東西要考慮到很多的應用場景。，統統都是用Chiplets的方法，把AI拿掉就可以跟AMD做PK。如果內存不夠，它就可以變成一個助手，所以它是一個很好的、讓你很有彈性設計你的系統架構。下面，講一下應用。例如：Ascalon-D2，Mobile Computing。你你可以調整它的功率，讓你具有最高的運用使用率。還有車載，你可以買我們的IP。你要做L2自動駕駛可以買我們的IP，我們幫你組裝起來。不管你是用雷達還是什么，我們AI計算的核心都是要在那個地方，我們的設計可以幫助你用chiplet；你說要做L2，我給你chiplet、它是一個非常有彈性的東西。CPU也是一樣，我們的CPU可以根據你的應用需求來選。也有很多人跟我們談DPU、Storage Server，我們可以幫他們做Storage Server的東西。

我從Scalable Architecture講一些應用場景，讓你們了解我們怎么使用這些東西。我們的看法是：巨量的Data、巨量的AI需要的算力，對于未來計算的需求、基本上是需要“Compute Everywhere”。Compute Everywhere你不能讓它太困難去執行東西，我們的公司符合那樣的一個要求。當然，我們的客戶也看到這樣的一個東西。講的比做的容易，我們也是一直在更新我們的軟件、硬件，一直在學習這方面的東西。

我個人覺得這是一個，我一直在強調、就是說：這是一個非常有前景的事情。大家要看到這個歷史的浪潮，我們也是看到了、我覺得未來十年、二十年可能是芯片的黃金時代。因為在算力方面，我現在沒有看到任何解決方案來解決這個事情，所以這是巨大的產業、巨大的機會在這個地方，我希望跟在座的各位做合作。（完）