0:00 那我覺得這一次的 大語言模型會有一模一樣的事情 而且我覺得DeepSeek這件事情其實 把這個這個時代的拐點帶來 就是從第一階段的各大廠 開始在做軍備競賽 買了很多CUDA base的GPU 訓練為主的base開始觸發 到第二階段inference為主 跟觸發第三階段 他二跟三是同時啟動 開源出來之後隔了一周 當大家去驗證他並沒有說謊 而且效果真的不錯的時候 那就造成這些股票的這個大崩跌 大家就認為這個時代拐點 真正來臨就大家被信服了
0:50 Hello大家好我是Jenny 今天繼續來跟大家分享 美股近期的大小事 近期DeepSeek AI的事件 讓大家非常的恐慌 到底是不是用低成本 去突破了當代技術的瓶頸 我在看到這個新聞的時候 也及時的跟大家分享過很多的消息 但是我腦中第一個想到 可以訪問專業的人選 就是我身邊這一位 耐能智慧的執行長劉峻誠執行長 因為現階段NPU 是由他來發明的這個詞 而且他所撰寫的教科書 在全球(口誤)400多間大學 都有來做一個教授 所以由他來討論未來的AI產業 我覺得是最具公信力的 Albert你好 Jenny你好 我們知道 耐能是現階段
1:36 市場上面非常受到關注的 AI新創公司 EETimes有把你們列為是 三大AI最具領導力的公司 那是不是可以請你跟我介紹一下 就是當初2015年的時候 你為什麼會選擇AI 作為你的創業 以及堅持到現在的一個背景故事 當時應該AI還蠻冷門的 我覺得會真的去選這一條路 應也是有蠻多契機的 一來可能就是 我之前在創業之前有在三星跟高通啊 比較前沿的研發中心工作過 我的工作當時其實要去 做了三年 五年 十年後的一個技術上 那其實雖然15年那時候AI還很冷門 但是在12 13年的時候 其實已經有一些論文 大概就是發現 一些基本的技術達到了一個
2:23 技術的拐點 那當時就覺得應該應該會起來 那就就選了這個路這樣 那另外一個可能性是因為 自己小時候很愛看那個 哆啦a夢在卡通 然後就有一點幻想 希望那種類人的機器人真的 這個時代可以來臨 這樣現階段看起來 機器人的夢想好像已經快要實現了 因為這一次DeepSeek可能大家說 因為可以大幅的降低運算的成本 所以導致我們在終端啊 在邊緣啊 這些應用可能可以加速的崛起 我想要先問一個問題 你覺得在你來看啊 DeepSeek這件事件 到底是不是真的是AI產業的黑天鵝 還是你早就已經遇見 會發生這樣的事了 其實我覺得他是 確實證明一個時代的拐點來臨的 那老實說大家會看到DeepSeek
3:08 就是不同的立場 可能會有不一樣的結論 或不一樣的想法 但我畢竟是技術出身 還是蠻關注技術的本質 那技術本質其實DeepSeek的一些 上的一些技術 不管是reinforce learning或者MoE 甚至quantization他做量化 去用8bit的方式來做訓練 其他的本質並不是太新的東西 他應該是一些methodology(方法論） 那耐能其實在2023年 2022年其實我們有用這些methodology 不過可能就是人微言輕 但我覺得他最大的特色是 動用了這些methodology 而且一起把很多東西做到極致 那比方說他的那個量化 其實一般用8bit的來做訓練 其那個效果是會差的 他概念有點像說你用 8K的這種高清去做訓練
3:54 一定比較準 那你去把它弄成這種啊 MP4的那種 模糊的這個資料來訓練的時候 其實應該效果會差 有時候還可能還會訓練錯誤理解錯誤 大家可能就 做了很多大量的手動工作 告訴他說哎 你訓練錯 但我告訴你他的正確答案是什麼 那MoE也是MoE其實也是在做一些 類推的時候他用了一些dirty work 去把它tune到極致 那我覺得他另外一個很大特色是 他把它開源了 開源就是變說啊這樣假設 耐能要去跟大家講說啊 端的AI時代來臨的 小模型的時代來臨的 然後NPU的時代來臨 你會很難去說服別人 那而且我們提供方案 可能是一個閉源的 就是一個total solution 但他的好處是說我就把一切的方法 我怎麼做的我都告訴你 那你自己去試
4:39 所以大家發現就是DeepSeek的這個 開源出來之後隔了一周 當大家去驗證他並沒有說謊 而且效果真的不錯的時候 那就造成這些股票的這個大崩跌 大家就認為這個時代拐點 真正來臨就大家被信服了 我覺得這個事件其實引發了很多的 爭議第一個 當然就是他們的成本的問題嗎 大家都說哎 你今天是用比較低階的GPU來跑的 那大家有一點不信任感 但是我覺得剛剛 Albert有講到的 你說第一個是他在技術方面 比如說我可能把這種解析度啊 調的比較模糊一點 我還是可以達到一樣的效果 這個部分 是不是可以請你再跟我們 白話的說明一點 可以可以 我還是要強調一下 我還是在客觀講一下 就是說其實技術的反覆運算 他有時候都是累積在
5:24 前一代的技術積累 那當然 媒體會很多在爭議 說他到底是不是真的花這麼少的錢 我覺得他對也不對 就是說 他也是積累在一些前人已經走過 就是站在巨人肩膀上 所以他就可以花很低的成本 另外一點說 大家可能會對他的技術產生的效果 比方說 你去問他一些比較政治敏感問題 他可能會 刻意的去回答一些或規避一些事情 但以技術的人來看 其實我們比較看重他 創造的methodology的價值 是因為事實上政治敏感 只要我教會他我想要他的答案 他其實是可以答對的 那以事實來論證來講 他這個methodology 確實可以用一個很低的成本 去創造一個比較百花齊放
6:10 甚至在各個垂直領域去啊 在大家願意基於他的 Methodology 去開發出更多的垂直應用出來 我覺得這是這個這個答案是對的 這樣那我覺得最重要幾個點呢 就是說 他到底為什麼能把成本做到這麼低 還是在強調一下 其實啊我覺得在大語言模型之前 其實在15 16年的時候其實CNN(卷積神經網路)在 大語言模型這次是 Transformer為主就 GPT是generative pre-trained transformer 但在更早之前是一個以CNN為主 大家可以想像他是一個比較簡單的 神經網路 那Transformer是一個比較複雜 更像人的神經網路 所以他才會讓大家覺得哎很驚豔 但在小神經網路的時候 其實啊 就是剛剛說CNN為主的這個
6:57 舊有的這個圖像識別的模型的時候 其實本來在 學界裡面 就有好幾個讓模型變得簡化的方式 那主要有四個方法 一個叫transfer learning(轉移學習) 一個叫Quantization(量化) 一個叫做Distillation Distillation就這一次大家很大的蒸餾 這個蒸餾 然後另外一個叫Pruning(剪枝) 他其實他的物理意義大概是這樣的 transfer learning的大概是這樣 就是說 我的資料拿進來做訓練的時候 我假設我發現我已經訓練 大概已經會了這些東西 我就把一些你已經會的東西 我就不要丟來給你訓練 大概是講就說像我其實讀中文很熟 那如果你今天還要我就是 那我這邊把四本教科書給我 只有一本叫中文 那我還要花時間去讀 其實我在浪費我的時間
7:43 那變成說 transfer learning就是說我要丟資料來 教會我的時候 如果有4本教科書我已經會的東西 我就不要丟來 那就我就會節省我的訓練時間 那這個是CNN時代的做法 那到了這個大型語言模型的時候 他是所謂的這個預訓練 跟最近啊 也是很熱門的詞叫Reinforcement learning 就是叫增強式學習 那意思就說 其實這個DeepSeek他methodology跟 Open AI的methodology有點不太一樣 是可能Open AI或者是之前的LLaMA 他們可能有很多很多很強的GPU 他其實不太去花時間去做這個 預訓練跟 reinforcement learning 因為他GPU夠多嘛 我就是一堆資料我就丟進去 你就自己去學就好了
8:28 對那這種暴力的做法 但可能因為DeepSeek他的GPU 沒有這麼多 所以他就花了很多時間 就是有一堆資料過來之後 我先做一些Dirty Work 知道我已經會什麼 我就先不要什麼東西不要丟 那reinforcement learning概念 是說我有一個東西來 比方說我已經會唐詩三百首 那我已經很熟悉 七言絕句 五言絕句跟平仄對仗的邏輯 那突然我要學一首新的詩 我其實不需要再把 前面的學理都再講一遍 因為也是浪費我時間 我就拿這個詩過來 白日依山盡 那我以前已經知道了這個概念 我就直接去前後對照 我就很快就把這首詩學會 那這個也是啊 就是這兩個function 跟當年CNN的transfer learning很像的
9:13 核心的物理的邏輯做法這樣 但他們很厲害就是做到很極致 對其實我我們看到也是覺得蠻佩服 因為其實這幾這幾個方案 我們其實都有上 其實我們在2023年也有對外 發表一個耐能GPT 但他們真的做的比較細膩 可能是人工比較多 這是第一步叫transfer learning的部分 那對照於大語言模型就是 預訓練跟reinforcement learning的能力 第二個叫量化Quantization 量化其實就是 如果其實 不完全是圖像 因為大語言模型他是什麼資料都有 語音啊語義啊邏輯都有 但如果你用圖像的概念來聽 會比較理解 就是說我要去訓練你去認識林志穎 林志穎的照片 其實你不需要用到8K的照片來
10:01 教會我去認識他是林志穎 教會我去認識他是林志穎 因為我不需要去知道他毛孔有多少 對然後這個眉毛有幾根 然後我可以用一個低階一點的照片 我只要大概知道他的樣子就可以了 那所以與其用8K那種高清或4K的 我可以用1080或720P的 甚至是壓縮過的圖像 但壓縮過的圖像的缺點就是說啊 他可能會認錯 所以這又多了一個 他們做了很多dirty work 就是說啊一般人家在做用 比方說Open AI 他可能是用這種非常高清的 叫32 floating point 浮點數 那第一階的 還是所謂的用8bit的這個浮點數 對耐能其實有做一個很叫類浮點 其實概念是一模一樣 但他很厲害就是說
10:47 一般人家用8K的啊 對不起 8bit的浮點做出來做訓練的時候 他會不準 效果很差 但他做了很多的 dirty work去把它調成夠對 那其中一個方法就是MoE 就是他在做這個權重的時候 他去做了一些調整 這樣這是第二步 Quantization 那再就是剪枝 跟這個啊所謂的Pruning Pruning剪枝意思是說 腦很大對不對 那腦大家也都知道 很多人都說腦可能 有80%的部分是idling的 就是根本很難有人把整個腦都用起來 那他可能有不同的區域 專職不同的功能 比方說影像區 他可能就是一個蘋果形狀的 那意思說 其實神經網路也是 就是神經網路他
11:33 當然人類對神經 網路的理解還沒有那麼的深 但你可以想到它其實很多神經元 然後之間有很多連結 那一個訓練資料進來的時候 他剛好跟這個訓練資料 相關的部分連接 他就會觸動連起來 那一樣的就是如果你用腦來想 就說今天如果一個人腦 我來看影像的時候 其實就是只有圖像區域是有動的 其他部分是不會動的 所以剪枝意思是說 我要做訓練的時候 這個圖像跟這個神經網路 或這個input 這個資料跟這個神經網路 它其實就只有一部分會動 那不動的地方我就把它剪掉 就是那個枝就把它砍掉 那以後這個枝要進來 我就只是專門在做 activate這部分 那也許還是可以省掉90%的資源 其他的方法其實都是合理的
12:20 對那最後就是一個蒸餾 蒸餾就是這一次 但蒸餾其實也不是 也不是新技術 其實他也是 Google在2016年時候也有提出蒸餾 其實我們公司在16年 15年時候 我們當時做 人臉識別模型或語音辨識模型 其實我們也有上蒸餾 甚至我們在2023年年底 那個大雄跟靜香的結婚周年紀念 10月25號 我們當時推出的那個叫KneronGPT 其實我們也上了這四套方法 對只是我覺得他最 能說服大眾就是他把他開源了 然後再就是他把他的所有的方法跟細節 不像我們 我們覺得這是我們的商業機密 我就不想講出來 但他把他所有的細膩的部分 甚至怎麼調的他都把他講出來
13:07 我覺得你剛剛講的這幾種方法 其實好像最主要的一個原因 就是 我要怎麼樣大幅的去提高我的效率 跟降低我的成本 這個感覺好像也是在這一次呢 會掀起這麼大巨浪的一個原因 因為就像您剛剛有講到的 之前美國的公司 他其實是不太關心效率的 反正我就是砸錢 我可以做出來一樣的成果 其實我不會很care 說我到底成本花了多少 以及對方我的客戶要付出多少錢 我感覺是有定價權的優勢 可是在這一次呢 中國廠商好像是打亂了 這一盤棋的感覺 他這4套方法你從物理層面來看 第一 我覺得他就是 並說你在做訓練的時候 先撇開他 拿什麼資料去教他 他要教他去做共產黨的思維 他當然會回答出共產黨的思維 但是你也可以教會他 比較你希望他的思維
13:54 那所以我還是看技術的本質 以技術本質來講 而不是你怎麼去教他 以技術本質來講我覺得這四套方法 他本來就存在然後他把他做到極致 然後用他的方式 就我覺得他打破了幾個物理的boundary 一個boundary 就是說我不太再需要那麼高階的GPU 然後再來說 也不是只有因為 其實 為什麼訓練一直都是CUDA和 Nvidia的GPU支配整個市場就是因為 如果我要做訓練 然後我不想要管我的資料怎麼丟棄 他我就是暴力的做的時候 他的整個生態鏈一定要非常的靈活 就比如說你小孩丟進了資料 有經過訓練像我博士生畢業 丟進來的資料
14:39 和非常整理好乾淨的資料 跟美國人丟的資料 印度人丟的資料都要一樣 他都要能處理 那就是擴大非常強的生態系統 因為他已經建構了十幾年 他把很多大家沒有想到的corner case 就小孩會犯什麼錯 然後美國人喜歡什麼 日本喜歡什麼他都把他弄的很完整 但他把他打破了 就變成說我 上了一些比較精簡化的方式 我不再這麼依賴CUDA 這是為什麼 這一次就是大家開始說 AMD的GPU也可以起來 甚至NPU也可以起來 甚至ASIC可以起來 我覺得這是他這一次 對整個市場最大的衝擊 傳遞的訊息這樣 我覺得這個也還蠻符合 我們之前見面的時候 其實你就有跟我講 你覺得未來呢就會朝向推理部分 然後去做個進行
15:25 從過去的訓練然後到未來的推理 其實現階段 好像已經開始去加速了 因為我們今天可以在網路上面去 下載這些開源的模型 之後我也可以在本地 然後去跑我自己想要的模型 甚至是在隱私啊 或者是專有數據方面 只要我可以掌握到這些數據 我就可以去達到我自己 想要的一個目標 所以很多人講說這個轉變 其實對於AI的產業最直接的影響 就是未來的發展 會從訓練去朝向推理這個部分 你怎麼看後續的一個發展 其實有一句諺語 叫太陽底下沒有新鮮事 對我還是再回看一下 就是說在上一代 上一代的這個CNN base的AI的模型 他怎麼做的這樣 大型語言模型跟CNN不太一樣 他更大更完整更複雜這樣 但其實因為耐能做很早
16:10 從15年就開始做 其實15 16 17年 exactly在上一代的AI模型就一模一樣 跟今天正在發展的趨勢一樣的 那時候其實講就是說 CNN Base為主的話 其實做影像識別為主 當時剛開始有這個人臉識別 是第一個大家發現人臉識別 原來AI做的比人好 那當時不管Facebook或Google啊 當然西方比較擔心隱私 所以其實並沒有那麼張揚 但比較出名是中國的商湯 寒武紀 這不是寒武紀 商湯 Face++ 依圖 雲從 那當時你會發現啊 模型還沒有訓練到 非常準的時候 各家都開始 買大量的GPU在雲上做訓練
16:56 然後那時候的AI 其實是被局限在雲的 然後可是在16年 那是那是16年的2月3月開始 然後Google 也當時的DeepMind拿去做這個 下棋然後DeepMind下棋一起來之後 那時候就是第一次的AI的 CNN Base的熱潮 那你會發現 當時可能雲上的GPU的訓練 可能佔當時的市場可能啊 大概95%以上 因為大家都想要極致的做軍備競賽 拿到更多的GPU 把自己模型tune到準 那就很像今天的這個 我們叫第一階段 AI的這個第一階段 結果後來沒多久你會發現 當人臉識別模型大家都沒有差異 話說一開始到97% 98% 99% 然後最後是99.9% 九十九點九九九九點九九九
17:43 大家都沒有差異的時候 變成雲上的推理 這叫第二階段inference開始叫推論 開始變成啊主流 開始變成啊主流 那時候的推論市場馬上上升到90% 然後訓練只剩10% 只要到推論的時候 其實CUDA的壁壘就沒有那麼重要 因為只有訓練時候才會 大家都需要把資料丟上去 然後需要資料是比較多元比較 就是啊沒有就是不會因為你是誰 就是就是要用戶友善 跟flexible這樣 靈活性 那但是到了推論的時候其實 CUDA的壁壘就沒有那麼重要 那再來沒多久呢 就是這一次 DeepSeek傳遞的另外一個訊息 就叫distillation 就是蒸餾把模型變得很小 然後其實我們有
18:30 那時候大概是在17年年初 就是後來你發現連端的模型 就很小的模型 他的準度跟 雲上的模型基本上沒有差異 然後後來開始端的AI就起來了 所以那時候嗯 這件事情的趨勢 在人臉識別時代出現 在語言翻譯的時代也出現 所以你現在看到人臉識別模組 基本上很多都在端 然後很多翻譯機其實在端也可以做 那我覺得這一次的 大語言模型會有一模一樣的事情 而且我覺得DeepSeek這件事情其實 把這個這個時代的拐點帶來 就是從第一階段的各大廠 開始在做軍備競賽 買了很多CUDA base的GPU 訓練為主的base開始觸發 到第二階段inference為主 跟觸發第三階段 他二跟三是同時啟動 其實今天早上才有個
19:15 才有個訊息嗎 是微軟說把那個 DeepSeek為主的模型 放到了snapdragon 就是高通為主那個 基本上就是端的小模型 它可以的其實就是AI PC 而且你看他在端的模型基本上準度 他提出來的那個SPEC 其實跟雲基本上沒什麼差異 你剛剛講到的東西 是不是最近我們大家常在講的 就是大型語言模型 現在遇到最大的問題就是 他已經發展到一個比較飽和 比較成熟的階段 那最近大家講的是Scaling Law 就是縮放法則 是不是就是這個問題的起源 所以我們才開始要推向 到你剛剛講到的第二階段 跟第三階段 對其實你可以看到在去年年底 其實華爾街的華爾街日報 就開始很多爭論 第一個爭論是說 這些雲端巨頭拚命做軍備競賽 但是其實推出來的模型
20:01 差異化已經不大了 其實跟當時16年的 人臉識別跟那個很像 感覺是一個放大版而已對 可是然後你又發現 就說用GPU為主的AI 造成的碳排放跟 地球的消耗資源其實很大 他每一年產生的這個碳 59 噸的碳排放 然後其實我們也實際有感 去年的整個地球其實異常了 我從來沒有在臺灣11月還有颱風 對不對然後南加四十幾年 也沒有森林大火還是比佛利山莊耶 對不對所以 老實說 這種碳排放 其實對地球已經造成一定程度的標準 其實對地球已經造成一定程度的標準 然後另外很多大廠甚至說要去蓋 核能電廠來維持用GPU為主的AI 讓這個時代能延續
20:46 其實他已經有點有點瘋狂了這樣 然後很多華爾街日報也甚至說 他有一篇新聞說啊 GPU廠商甚至會把地球的海水 蒸發的 7%還8%在一定時間內 然後他也說 這些雲端大廠買了這麼多GPU 投入產出比不符合效益 他還有很多問題等下可以說 我覺得他有模型的問題 因為當你的模型是全部開源的時候 資料很容易被破壞 就是說 我今天想要讓這個大語言模型來 幫我解決我工作的問題 那可是他可能會 一本正經胡說八道 那資料不正確 我就不敢讓他工作 但是當他變成區域化localize的時候 因為他是我每天教的 他就變我個人的AI
21:31 那這樣我就可以確保 他的答案是對的 那他就能真正的產生出效益 所以我覺得當 這個大語言模型的時代 從第一階段 第一階段到第二階段inference為主 到第三階段端為主的時候 我覺得這個產業才會真正創造價值 然後才會爆發 那我覺得也因為這樣 就是打破了CUDA壁壘 讓NPU能崛起我覺得他會讓啊 就是一來 你的地球不會需要蓋核電廠 然後碳排放不會那麼高 然後第三就是啊你的AI 比較精簡化在localize 那他才能真的能説明你的日常工作 我這樣所以我覺得他是一個 時代的拐點來的 等於感覺 他是更可以去接觸到消費者 或者是應用端的感覺 或者是應用端的感覺 那您剛剛有提到
22:17 如果我現在進入到第二階段 因為我已經不需要去訓練 這種大型語言模型 第一個是低階的GPU可能會崛起 第二個是ASIC 就是專用型的這種可能會崛起 再來就是NPU 那這三個部分呢 我感覺好像在ASIC跟NPU上面 他是不是會有一些比較類似重疊 或者是競爭的地方 對我這邊可能要稍微解釋一下 其實他是一個時代技術的迭代 其實CPU GPU或NPU 或甚至大家所謂的ASIC 他其實跟啊這個錄影帶 跟這個VCD跟DVD跟MP3是一樣的 它其實是不同世代的產品 就MP3可能大家覺得很小 所以你不太能用MP3的一個隨身碟 他可能可以放 四五十部的這個錄影帶的電影的 這個資料來看
23:03 說哦他為什麼這麼小 然後為什麼這個錄影帶這麼多 然後錄影帶 我需要一個架子 就是衡量錄影帶的能力 好像是說我這個架子可以 放二三十個錄影帶 好像是比較重要的對不對 那MP3在你說你沒有價值好像就 就就不行嗎 好像也不對 他是一個下個世代的東西 那CPU GPU跟NPU 他其實 其實CPU是在五十幾年前就有了 一九六幾年Intel成立的時候 那Nvidia是一九九幾年 所以他也在 人類歷史上也存在二十幾年 其他們都有他們的歷史意義 跟他們創造價值 一個是做邏輯運算的 就電腦的组合興起就是CPU 然後圖像跟遊戲最早其實是GPU 剛開始設計就是圖像跟遊戲 其實這裡就有一個GPU跟一個NPU的
23:49 東西那這個GPU就這麼大 對然後NPU就這麼小 NPU做的小的serve就這麼小 那你可以看他的散熱 這還有風扇還有很多排水系統 所以其實GPU一開始 本來就是做遊戲跟圖像 你硬要拿那一做AI他就會很貴 然後很大 甚至你要蓋核能電廠 甚至會產生很多碳排放 他會讓地球變熱 那並不是說GPU沒價值 GPU就是適合做遊戲 對 那我覺得他會跟當年的還是這樣 太陽底下沒有新鮮事 就是當年的CPU跟GPU時代的競爭 最後其你會發現兩個 CPU兩個過程其實都存在在歷史上 那現在電腦其實都有CPU跟GPU 我覺得未來也是會同時有CPU GPU跟NPU 那ASIC是什麼ASIC有點像是一個
24:34 大家為了要找GPU的替代 因為真的太貴了 要蓋核能電廠 不是每個公司可以負擔得起 然後碳排放那麼大 然後做的系統還要水冷系統 還要這麼重的這個風扇這樣對 那在在那個時代 演進的過程當中就出現了 有一些公司就去做了一個ASIC ASIC的幹嘛呢 ASIC就是把他的要做的功能寫死 寫成一個專用的晶片 但他缺點是這樣 就說人類 其實對AI的瞭解還沒有這麼深 就是有點像我 人類對人腦 其實也沒有那麼了解那麼深 像我們以為的視覺區 也許它是一個蘋果形狀 但是也許隔了5年之後 你發現視覺區其實應該是這個 鳳梨形狀 那ASIC是什麼樣的
25:20 就說我知道他是視覺 我就把它寫成一個蘋果 他就是固定的 那別人說 如果我知道下一個世代模型改變了 他變成鳳梨形狀 我要重新再開一顆ASIC 他的開發週期就兩年三年 所以他就會有點有一點就是僵化 那所以你會看到很多GPU大廠在 攻擊AISC或 把大家誤導為AISC跟NPU是一樣 其他是不一樣的 對我給大家解釋一下NPU的原理 那其實我剛剛就說我現在 那其實我剛剛就說我現在 現在大語言模型 是Transformer為主的 但是其實上一個世代 就在兩三三年前 其實是CNN為主的 其實我都認為再過一兩年應該會是 不是Transformer為主 可能會是Mamba為主的 這個是耐能的預言 這個一定會發生
26:06 我們先立flag 那其實我們很早讀Transformer 我們在2021年 就推出一個晶片去支持Transformer 所以我們看的還算準 可能也因為跟我以前在高通 跟三星的訓練有關 然後每天都有在讀一些paper 那長話短說就是說 像CNN為主改成transformer 以ASIC的這個方案 我就我以前 CNN的晶片我就不能用了 我要重新開一顆 就是我以為人腦的視覺區是蘋果型 我把它刻成蘋果型 結果原來是鳳梨形 我就要重新再刻一顆 那它一次開發就是2年 所以變成說GPU 我覺得不管是ASIC還是NPU 其他都要解決的痛點都是 GPU現在太貴了 那有人就提了ASIC的方案 那NPU的方案是什麼 其實NPU耐能定義的NPU 其實我們已經在市場上有6 7顆
26:51 NPU因為最早做的嘛 15年就在做這樣 那確實有一些廠商做的NPU很像ASIC 但他就硬拿NPU來當成他的詞 但那個不是耐能的NPU 耐能的NPU叫可重構NPU架構 我們也是因為發明的這個架構 所以得了IEEE的達靈頓獎 IEEECTSoc企業創新領袖獎 達靈頓是發明電晶體的人 所以在IEEE這個協會裡 我們得到這個獎是還蠻受國際認可 所以這裡為什麼 我這小毛頭寫的書會這麼多 世界各國的大學採用 那這可重構NPU的架構是講 就說人腦很大 那我也覺得 之後我硬刻 一個視覺區跟一個嗅覺區 他其實一來不靈活二來 我也許只刻了一個視覺區 他只能做視覺的AI 我如果要再做一個嗅覺或聽覺區
27:38 我要再刻一個蘋果香蕉型的 那我的晶片就會做很大 然後可能 我現在沒有在做視覺或嗅覺的時候 我就做我就做一部分的時候 他可能另外百分之七八十 的地方是閒置的 所以不像其他公司去做整個腦 或者是把整個腦的區域寫死 我們做的其實是 我們沒有建整個腦 但我們卻 做了一個很靈活的方法 可以支持整個腦 是因為我做的是腦神經元 我們做 所以我們有時候會在媒體上說 我們是LEGOlize 樂高式的這個晶片 就是我裡面有一堆樂高 它就是一堆小小的腦神經元 然後今天呢我要做視覺的時候 我就把這個 這些 腦神經元來組成一個蘋果的形狀 就像捏黏土一樣 把樂高拼拼拼成一個視覺區
28:25 那我就能做視覺AI 那下個時刻我把它拆掉 我要做聽覺區的時候 我就把它組成一個香蕉形狀 我就能來做這個 這個聽覺的AI 這樣那好處就變成說 如果明天我發現 視覺區不是蘋果形狀 是鳳梨形狀 我再多補一些腦神經元 它就可以變鳳梨形狀 所以它可以隨著技術的迭代 我還是能支援 那另外一個點就變說 我每次組的部分 就是這一個我正在用的部分 所以我的比較能fully utilize 就是能真正充分用到 而不是說我的腦很大 然後我建一個非常大的腦 但是百分之八九十是閒置的這樣 我聽你剛剛的意思就是 即便我們現在是從GPU 然後改到ASIC這種專用型的 對於一些大廠來說 他可能有資本然後去做一個開發 而且他的開發週期也是比較長的 可是如果未來呢
29:11 不管今天是任何的參數 或者是任何的規格有改變的話 他又要花很多時間再去重新去做 一個創建或者是重新再做一個設計 這如果今天我是用NPU的話 因為NPU這個詞就是您發明的 而且現在已經被廣為使用了 我今天如果是用NPU的話 我等於是我想要什麼功能 我就把它加上去就好了 我可能在後續做開發 然後我可以一直不斷的擴建 甚至是我今天我的運算能力 也可以透過這種樂高式的方式 然後一直不斷的去做一個堆疊 是這樣嗎 對像這個裡面其實就疊了4顆 就說一個是在晶片裡面可以可重構 就我通過分位就是我的指令集 去把改變他組這個樂高的方式 那我可以多加幾個神經元 讓他變大一點 或變小一點 那另外是說如果晶片層面不夠 我還可以再
29:56 就是三四顆晶片像積木一樣疊 讓它的啊功能就是變強 對就是一樣 其實也跟DeepSeek一樣 就是可能耐能因為資源比較有限 然後然後人也比較少 所以我們 就是把很多東西想要把它弄到極限 那歐美的大廠畢竟資源很多 所以他們就比較暴力的作戰 其他都是不一樣的方法 但可能就是局限於資源跟 人力的關係 是我們一直很早就是走這個 這個我們所有的可重構的NPU 的架構的方式 這樣所以耐能 在這種創新的突破壓力之下 其實你們的創新能力也是非常強 我看就算今天疊了很多晶片 可是不管是在體積啊或能耗上面 其實還是 相對都是處在一個比較小的階段 是的是的其實這個這裡面的人 有時候你連散熱片都不需要的
30:41 可是我又想來挑戰一下 因為我還是有看到一個說法 就是現階段你如果到邊緣啊 他還是需要去運算一些大型語言模型 那如果今天我用NPU的話 他的算力 可能沒有辦法去達到我想要 可能跑不動 比如說我的未來到裝置啊 比如說AI PC啊 或者是一些終端的話 如果我今天用NPU 他還是沒有辦法去比過GPU 我可能只是需要用比較低階的GPU 那這說法你怎麼看 我還是覺得 我還是用技術的本質來看這件事情 就是說你知道CPU有CPU的算力 GPU有GPU的算力 NPU有NPU的算力 你可以想要他號稱的算力 就是他的規格 就是他有多大 然後多powerful 但是CPU的本質的每個算力 他其實主要在做加減乘除 其比那個計算機 就是最早的CPU
31:27 對那 可是假設說我今天說我 算加減乘除的能力是10 好的你要把它拿來做圖像 他這個10 是不是等於做圖像的能力的10 就是假設有另外一個GPU 他的算力也是10 然後CPU的算力也是10 那GPU是在幹嘛 他是做圖像的matrix的 那個算就是 因為他最早做遊戲圖像了 因為遊戲圖像是好幾個像素 所以他就要矩陣乘法 然後裡面有RGBD 然後RGBD是02255就是一個顏色 總之他就說他在算 說你的這個每個像素的那個 那個成色是多少 那意思說 你拿加減乘除的這個來算這個成色 即使他是10的算力 他做圖像還是會輸GPU 所以一樣的就是說
32:13 假設我今天有個CPU GPU跟NPU他的算力都是10 單位都是10 那我們一起去跑加減乘除 CPU的10的算力的 產生出來效果一定會遠遠贏GPU 贏NPU那這三個都是10的時候 我拿去投做這個圖像 一樣是GPU會贏 大幅的勝CPU跟NPU 那可是一樣的 如果這三個拿來同時做AI NPU的10個算力會遠贏另外兩家 就是這樣 所以啊我才會講是說你不能拿DVD DVD他的這個一個圈裡面有好幾個格 他說我有多少格我有多少儲存量 我就比較強 可是DVD跟VCD 他就是不一樣的技術 所以你不能拿DVD的 概念思維來看VCD
32:58 也不能拿這個概念思維來看MP3 一樣的就是CPU GPU跟NPU 雖然他都叫算力 但我覺得他單位就可能是美金台幣 然後看你的應用是什麼這樣 所以如果未來呢 我們真的要到推論然後到邊緣的話 其實有一個方式是 比如說我的電腦 我的筆電裡我可能有CPU有GPU 但是我要怎樣可以去加入NPU 可以説明他在跑AI的時候 可以變得更順 或者是提升他的效能 其實才是這些廠商他必須要去關注 或者是去開發的一個重點 其實我覺得還是一樣叫 太陽底下沒有新鮮事 就我們今天你看啊現在 的NPU跟GPU的市場上的很多訊息 其實在30年前在我很小的時候 當年的CPU跟當年的GPU 也是一模一樣 有一樣的爭論
33:45 當時CPU 大廠當時 當時CPU大廠兩家 Intel跟AMD GPU大廠也是有兩家一個是ATI 一個是Nvidia 那當時的CPU大廠 就在市場一直在跟大家講 說啊你不用GPU 其實你用CPU 就能做遊戲做的很好了 然後甚至說 有些大廠 甚至有一個嵌入式的就是Intel 當時也有出啊 在他的CPU裡面有GPU 但我還是想要強調 CPU跟GPU跟NPU的架構 它是大大的不同 它有點像是貨車卡車跟坦克車 那你一定要把坦克車跟貨車 組合在一起 他就很糟糕 他的性能就大幅的降低 就變說你要打仗也不行 然後載貨也不行 當年的Intel就是就幹了這件事情 但是他們是大廠 所以每天跟大家brand washing
34:31 所以有些GPU大廠撐不過 因為他們要 大廠一定會防止下一個技術崛起 這個是不變的道理 這利益的本質 所以當年的CPU大廠就拼命 跟大家洗腦說 GPU不行GPU不行 那有一家ATI就撐不下去了 所以ATI就降價賣給了AMD 那Nvidia撐過了 那時候有個時代的拐點 就是3D遊戲出來 然後啊Nvidia要撐到那個3D遊戲崛起 當然還有當時的台積電支援他 讓他先tape-out 後面再還錢 然後有一些日本的廠商 先買的先付了錢 所以他撐過那個死亡的幽谷這樣 然後後來3D遊戲 大家就發現 GPU跑3D遊戲性能就是遠遠的 比CPU好很多 然後那種embedded的混合型之後
35:17 就不是主流嗎 就技術本質他就不是主流 所以後來Nvidia就崛起了 所以你看當時現在的筆電其實 最後都是CPU加GPU 那我認為未來一個很好的架構 以技術的本質來講還是獨立 CPU加GPU加NPU 如果你要解決夠複雜系統 如果你要解決很簡單系統 也許hybrid的是可以的 但是 如果你要真的是充分發揮這三個的 的優勢的話 其實它是獨立是有它的優勢的 這樣 其他就跟你的那個瑞士刀一樣 就是說你不能硬把剪刀跟 那個小刀整個弄起來 就是你需要剪刀的時候 你把剪刀拔出來 那你需要小刀的時候 就把小刀拔出來 那我們知道除了AI PC之外 其實邊緣裝置還有很多嘛 包括像車用啊 或者是你們現在非常專注
36:02 也有在安控的部分 其實也跟很多的大廠 去做一個合作 想知道未來在AI趨勢的發展之下 耐能的NPU 到底還有哪一些發展的潛能 跟機會可以讓我們參考 其實我們啊現在 公開的就是能講的客戶很多 像韓國的NHN NHN其實就是韓國的Google 他最大的搜索引擎NAVER 哦那個Blackpink的那個 YG的母公司也是NHN 他啊他 應該是19年開始就用我們家的方案 然後南韓的韓華 他們最大的軍火商 跟他們最大的安控公司 應該超過50%以上的 外面的AI 攝影機 用的也都是我們家的AI晶片 那Panasonic啊Garmin啊 然後車廠啊 對讓我們有進JVC Kenwood 客戶就是Toyota這些這樣 那其實
36:48 有點像是在 這一次大語言模型 或這一次DeepSeek 還沒有跟大家證明說 大語言模型可以 這麼的輕量 然後碰到各個各行各業里 之前我們能挑的都是對 成本跟對時間有critical的 需求的廠商 比方說車子 你就不太可能依賴 很貴的GPU在雲上 因為車在開的時候 如果你要判別一些場景 你要把這些場景傳到雲 去做判別完再傳下來 那他可能一點delay 他可能都會把人撞死了 所以你就發現無人機跟車 這個一定是要本地化邊緣為主 那某些國家比較說 我們現在跟沙烏地阿拉伯在合作 他其實非常注重主權式AI 主權AI也是一個我覺得很重 重要點是說
37:34 如果你用GPU來跑 那因為他很貴 然後但是對某些國家 他不希望把他的核心的 國家的國防機密 或安全機密 去洩露給另外一個國家的的這個 生成式AI的大廠 但是他又沒法去 用核能電廠這種等級 然後買一堆H100來建構 就像沙烏地他天氣已經很熱了 他還要更熱 那其實蠻可怕的這樣 所以這時候啊他就要想要 選我們這種NPU去做他的比較 便宜的這個主權式AI 然後對於地球環境也比較好這樣 那再就是每個公司可能會需要 建造公司的GPT 那也是我們去年或前年一直在推的 叫那就是localize這個GPT 其實這個GPT後來我們也是 搭配的是CPU
38:19 GPU加NPU的一個整個子系統 這樣 那最後呢 我還是不免俗的 想要問一個跟投資市場相關的問題 畢竟呢你也有說 在這件事情剛出來 到市場真的發酵的時候 其實大概隔了一個禮拜 那你覺得這次產業的一個飛躍 或者是技術的一個創新 對於未來不管是大型的科技巨頭 或者是潛在的新創公司 他到底會帶來什麼樣的利多 或者是利空的影響 其實我覺得時代的巨輪 是一直在滾動的 就跟技術巨啊這個 這個巨輪也是一直在滾動 就跟當時我說的CPU跟GPU時代 這CPU 最後還是他奠定的他的江湖地位 GPU有他的歷史定位 那我覺得這一次 其他就是一個時代的拐點來 就是他驅動了這一次大語言模型 就像我當時在16年
39:06 17年經歷的那個CNN的模型 從階段一切換到 以訓練為主的階段一 以訓練為主的階段一 切換到以推論inference為主的階段二 到切換到第三以端 其實雲跟端同時都各自的生態 但是端就百花齊放這樣 那我覺得這是大語言模型 也是一模一樣在驅動的這個 第一階段 第二階段跟第三階段 那我覺得這對 環境跟 對事物的本質也是健康的 因為我覺得大語言模型的AI 當然他有他的價值 因為他全知全能嘛 但是你以生物學的角度 就是你有你獨立的腦 我有我獨立的腦來 我們的腦並沒有連到一個更大的腦 對不對那這個腦有個更大的腦區 全知全能 在科幻電影大家也看到 其就是那個天網Skynet
39:52 然後甚至是這個Matrix 那我們都覺得NPU為主或以端為主 其實比較像是哆啦a夢這種 就是每個機器人他有他自己個性 然後他不會被 就如果他全部聚中在一個很大的腦 很可怕是假設有些瘋狂 瘋狂科學家去教會他說 嗯這個機器人要統治人類啊 或者是控制核彈要去毀滅地球啊 其他會走向哪裡是未知的 那有些真實的實質應用 比方說 像我們曾經有幫一家公司做他的 客服系統 那他的客服系統 他就希望他的資訊是可控的 就讓人家來問他的時候 他會說哦我的公司是 良善然後科技創新 然後可是如果他的競爭對手 如果他是一個open的大的模型 他競爭的如來跟他說
40:38 這公司是個爛公司 或網路上也覺得亂七八糟的 亂七八糟文章 他就不會符合他想要打的這個效果 所以我覺得最後 我覺得這一次的事情 以我自己看的他其實就是 把這個大語言模型 或者是以GPU base server為主的AI 對地球的傷害啊 這個熱這個南加大火啊 這個颱風啊 然後碳排放蓋核能電廠 導向一個雲有雲的 全知全能的AI 但是同時又百花齊放的小的AI 我覺得他是一個更良善的一個 不管是環境 ESG甚至AI的文明發展 道德發展 還有真正能夠幫我解決問題 不會有那個故意 一本正經胡說八道的問題 我覺得他都是一個更好的 那我覺得萬物是離不開本質
41:24 當你本質是更良善的 其實資本自然就是比較良善的這樣 我相信 這應該也是耐能在經營的時候 非常重要的一個核心原則跟理念 因為我之前看過你的很多專訪 其實你都是希望這個世界可以藉由 不管今天是你的產品 或者是你的所作所為 可以讓他變得更美好 是的對 今天非常感謝Albert 來接受我們的訪問 藉由這一次的訪問呢 其實我們瞭解到更多 關於DeepSeek所帶來產業的影響 其實很多 我覺得反而在技術方面 是對於世界有正向的影響的 但是在商業的競爭 或者是在資本市場上面 我覺得也有可能會帶來不小的波動 那也很感謝Albert 因為我好像是在除夕的時候 然後私訊你說 可不可以來聊一下DeepSeek 但是你非常 對你非常霸氣的跟我講 說創辦人是沒有休假的 我相信這個也是耐能公司 他可以厚積薄發到現階段呢
42:11 可以成為NPU 或是在未來的AI趨勢上面 非常重要的一家公司 也期待你可以成為下一個科技巨頭 那我們今天呢就先跟大家分享 這邊如果大家有任何 跟AI相關的問題的話 也可以在底下留言 告訴我你們的想法 那將就先降摟拜拜
