0:00 電晶體縮小已經到了極限 所以現在唯一能做的 就是用先進封裝的方式 把不同的晶片 堆起來 而且大家要記得 先進封裝 台積電沒有領先Intel 台積電是 先進製程領先Intel 但是先進封裝 Intel其實技術是很強的 所以未來這個主戰場 先進封裝的重要性會慢慢提高 哈囉大家好 歡迎收看工商時報財經相對論 我是主持人Jenny 在ChatGPT問世以後 AI已經成為了全民新顯學 台股跟美股接連創下歷史新高 而產業界學術界也爭相投入更多的資金 希望可以抓到未來的市場機會 在今天我們特別邀請了 知識力科技的執行長 以及YouTube頻道
0:46 曲博科技教室的創辦人曲博 來跟我們一起分享AI人工智慧 在未來的產業趨勢 曲博好 Jenny好 各位觀眾朋友大家好 其實之前跟曲博同台過很多次 那每一次在問你 未來的產業趨勢的時候 都會發現一件事情 就你在當下的時候 有的時候真的是比較逆風的 但是在後來又很像鐵口直斷 一一地去實現你當初的預言 所以今天我們當然也要來請教你一下 就是未來的AI 到底有哪一些產業挑戰跟機會 可是我有一個問題 就是過去兩三年 其實AI已經變成一個全民的運動 那到底AI它可以持續去 發光發熱的原因是什麼 在未來會不會面臨到什麼樣的挑戰 這是好問題 我想一開始我們還是先了解一下 到底什麼是 到底什麼是人工智慧
1:31 人工智慧大概分兩個階段 第一個階段叫做 訓練 應該大家都有聽過 第二個階段叫做 推論 那麼訓練呢 意思就是我把資料輸入電腦 找出規則建立模型 所謂的模型 指的就是這個 這個資料的規則 那麼有了模型之後呢 我們再利用這個模型 來推論預測未來 我舉個例子 我可以去蒐集過去30年的財經數據 譬如說黃金走勢啊 美元指數啦 消費者物價指數啦 失業率啊 這些財經數據 然後我去收集台積電過去30年的股價 然後把這些資料輸入電腦 找出規則建立模型 那麼有了這樣的模型之後呢 我就可以在今天早上開盤前
2:17 把最新的財經數據輸入電腦 這個模型就可以推論預測台積電 待會會漲還是會跌 這個就叫人工智慧 那訓練這個模型就是規則嘛 那這個規則訓練完之後 如果我拿這個模型來 做決策 我們就稱為 決策式人工智慧 譬如我剛剛說的這個例子 我可以判斷台積電會漲會跌 這個就稱為決策 那如果我今天找出規則建立模型 利用這個模型來產生新的內容 我們就把它稱為 生成式人工智慧 這個輝達不是最近才漲的哦 輝達大概3～5年前就漲過一波了 後來是因為疫情才跌回來嘛 那一波漲的就是決策式的人工智慧
3:05 利用人工智慧來做投資理財機器人 利用人工智慧做這個自駕車 但是那一波慢慢成熟了以後呢 最近又熱起來的就是 生成式的人工智慧 所以輝達又再漲一波 那生成式人工智慧的應用就更多 譬如說可以產生圖片啊 聲音啊 最重要的還是聊天機器人 那他呢可以把人類的知識訓練出一個規則 大家可以想像將來 每一個企業都有一個 超級大腦 Jenny應該有看過一個電影 叫鋼鐵人嘛 那鋼鐵人的男主角每次遇到問題會問誰 Javis 對 所以以後的企業呢 都會建立一個超級大腦 就是Javis 那我們可以把資深員工大腦裡的知識
3:52 輸入電腦 找出規則 建立模型 那麼有這個模型之後呢 將來的員工遇到任何的問題 第一個就是問Javis 所以各位可以想像一下 全世界有多少企業 那每一個企業都要做這樣的應用 那會需要多少硬體 然後再回頭來看 過去台灣的強項是硬體 代工嘛 那大家都覺得硬體代工不值錢嘛 可是呢 未來這兩三年 全世界的企業都要做這樣的東西 那他一定要準備什麼東西 當然就是相關的伺服器 才有辦法做這個人工智慧 所以為什麼最近 台灣相關人工智慧廠商業績這麼好 原因就是這些訂單 最後幾乎都是流到台灣 所以我想可以很明確地說呢
4:38 未來兩三年 因為硬體需求 會讓台灣企業業績很好 主要的原因在這裡 好 那我們在進入重頭戲硬體之前 我還想要追問曲博一個問題 就大家現在會說通用人工智慧 因為剛剛聽曲博在講的話 照道理來說人工智慧應該是會 越來越聰明 即便他現在對我們來說 可能已經知道我們很多不知道的事情 可以產出很多我們想要的答案 但是到通用人工智慧的時候 反而會讓大家有一種有點恐懼的心理 到底對我們人類社會是利多還是利空 講到通用人工智慧 各位先不用緊張 10年之內 絕對做不出這種東西 有一些科技公司 尤其是美國那邊的科技公司 他因為募資的需要 常常會把一些新科技把他講得很神 但是業內專家都知道事實上不是這樣
5:26 首先我們定義什麼叫 通用人工智慧 我們剛剛說人工智慧是把資料輸入電腦 找出規則建立模型 但是現在最大的問題在於 不同的應用 現在都必須用 不同的模型 所謂的人工智慧 實際上是一種資料分析技術 如果今天你每一種應用 都要用不同的模型 那就變成你下棋要用一個模型 你要聊天用一個模型 你要做文字的辨識要用一個模型 這個就不叫通用人工智慧 因為人的大腦只有一個模型 就可以做所有的事情 所以通用人工智慧的定義很明確 就是將來有一天 人類可以用一個模型 就做所有的應用 那就像大腦一樣 但是這件事情 十年之內做不到的
6:11 那實際上這個在技術上有很大的困難 甚至目前有很多人說將來的這個 大型語言模型 只要參數做到夠大就可以做成通用 這個邏輯也不是這樣子的 事實上現在人工智慧 是一種資料分析技術 資料的統計方法 所以你一定是依據不同的應用 必須用不同的數學跟演算法去統計它 才會精準 所以未來實際上更有潛力的 不是那種超大型的模型 搞通用人工智慧 相反的而是 針對特定應用 設計出專用的模型 讓它的精確度提高 這個才是業界未來會發展的方向 所以不管今天是要達到我們所謂的 通用人工智慧
6:57 或是你剛講的比較利基型的 我針對特定的用途去使用的人工智慧 基礎建設都是很重要的一環 對 這就是為什麼最後這兩三年 台灣的廠商會獲利 那問題又來了 三年以後會不會持續呢 就要回頭來看 今天的人工智慧面臨什麼問題 各位用過ChatGPT就知道了 聊天機器人會 一本正經 一本正經胡說八道 這個問題現在還無解 那在這種狀況下 如果三五年之後還是這樣 那我想 大家用了之後也會覺得好像不如預期嘛 所以簡單地說 這未來三到五年要觀察的就是 生成式人工智慧 針對一本正經胡說八道這種問題 有沒有辦法解決 科學家在想辦法 但是目前看起來還不成功
7:45 如果沒有辦法解決 我認為人工智慧的硬體需求 成長兩三年之後 基本的需求因為大家都要測試嘛 一定會有基本需求 滿足之後呢 大概就很難再爆發成長 它的成長就會趨緩 但是我認為不會衰退 原因是因為生成式人工智慧 在實務上確實有很多應用 我舉例 譬如說微軟在推Copilot 將來你用Office在寫報告的時候 你可以用人工智慧幫你生成一個報告 然後你只要修改一些文字 雖然那個報告會胡說八道 但是呢你只要修改一半的文字 就可以寄出去了 這樣也節省了你一半的時間啊 那這種基本需求是很明確的 所以即使未來聊天機器人還是會胡說八道
8:30 但是基本的需求大概就保持一定的用量 但是如果今天 這個胡說八道的問題解決掉了 那個未來的成長就會很可觀 原因是 大家可以想像將來有一天 你在用Google搜尋的時候 現在都是搜尋完 一條一條列出來 你要一個一個點進去看對不對 未來如果胡說八道的問題解決掉的話 搜尋引擎會變成 你把問題問它 就好像Javis一樣 它幫你搜尋完之後 全部整理好再來告訴你 那如果這個東西正確率很高的話 那這個應用就是很明確 那這個成長就還可以持續下去 所以我覺得在這個趨勢下 其實Google自己還滿害怕的 因為畢竟像微軟啊很多科技巨頭 都要來挑戰它搜尋的地位
9:15 那在最新輝達它的GTC大會上面啊 它也提出了更高規格的硬體 包括它的B100 或者是它的超級晶片GB100 我知道在你的YouTube頻道上面 其實也有針對GTC大會去做一個影片 去告訴大家說到底有哪一些亮點 以及它目前的規格呢 可以符合哪一些需求 可不可以請你再跟我們稍微簡單的介紹一下 就是你自己覺得最大的亮點是在哪邊 其實輝達它這一次的發表 大概就是它的晶片 那這個GB200系列的晶片 目前確實是領先其他競爭對手 一段滿大的差距 而且它也不是只有做處理器喔 它的處理器 除了這個圖形處理器 這是人工智慧用的 它還有一般的中央處理器喔 就是做
10:00 這個執行作業系統還有應用程式的 甚至它有推出資料處理器 這個是用來處理網路相關的軟體 那更重要的是 它還提供伺服器 它不是做處理器 它還提供伺服器 甚至提供交換器 提供一整個人工智慧的系統 甚至一個資料中心裡面所有的設備 那另外這是硬體 那軟體的部分呢 最重要就是它們的 CUDA這個開發環境 目前是業界大家最習慣使用的環境 這個我認為是競爭對手跟它最大的差距 坦白說 換電腦對我們來說覺得還好 但是叫你換軟體你就會很痛苦 突然今天跟你說你不可以用office喔 你要去用另外一種排版軟體
10:46 我想Jenny你用了你就會發現 這邊不對那邊不對 這個很正常 所以軟體是它領先競爭對手最多的 那另外他也推出其他 包含機器人相關的軟體 還有可以未來 很容易進行推論使用的軟體 我覺得軟體這一塊還有 數位孿生 這個都是他強調的重點 我覺得剛剛曲博講到很多 都是我在這一次GTC大會裡面 很想要去知道的一些 在未來一些延伸的商機 比如說像數位孿生好了 我記得我在一兩年前訪問您的時候 那個時候其實就有數位孿生了 是 那個時候也是輝達 去讓這個數位孿生的商機 開始被市場關注到 可是那個時候是用在 元宇宙 那我非常印象深刻 就是我那時候訪問您的時候
11:32 你就說 在一兩年之後 沒有人會講元宇宙 我覺得真的就是慢慢冷掉耶 可是現在感覺數位孿生它要應用的 不是像我們在講什麼遊戲啊電影上面 它反而是在產業的應用 可不可以請您跟我們分享一下 就是到底數位孿生 它可以去應用在哪一些東西 是真的有潛力的 對 所以講到元宇宙 其實應用就是數位孿生 也就是用在工業 這才是真的 那它哪些應用很重要 我們可以想像一下 今天我要蓋一個工廠 那我蓋 動工之前 是不是可以想辦法先用電腦模擬 我要把什麼設備放在什麼位置 而且放完之後它整個運作的結果 讓電腦模擬完之後確定正常 很好用 我再開始施工 這個就是數位孿生
12:17 所以數位孿生很簡單就是 我在虛擬的電腦伺服器裡面 建立一個 虛擬的真實世界 所以我把真實的一台電動車 在電腦裡面建立一個虛擬的電動車 我把真實電動車上面所有偵測器 偵測到的數據 都輸入這一個電腦裡面 這個時候我就可以用電腦 去模擬這一台車子在路上 行駛的時候遇到的任何問題 所以這個車子有什麼零件 目前的狀況有問題 可能要先更換 我是不是電腦都可以預先知道 這個就是所謂數位孿生 所以不是只有電動車 我的飛機也可以 我的工廠也可以 在生產過程中 所有的感測器數據 全部統統收集到
13:04 這個數位孿生的虛擬工廠裡 另外還有一個例子 這一次的GTC大會 特別強調的就是數位的地球 數位孿生可以建立地球 我可以把地球所有的數據 包含颱風的訊息全部輸入電腦 所以電腦裡面就會有 目前地球全世界 氣候狀況的數據 甚至是地底下的礦產資源 都可以 一個城市 台北市 我可以把台北市所有的這些數據 全部建立一個虛擬的台北市 這個我想應用是非常多 但是這個也相對需要大量的伺服器 所以基本上等於是各行各業 你都可以去導入人工智慧
13:49 去幫助你做效能的提升 甚至在創新上面 以前可能比較有風險的 可是藉由AI人工智慧 可以幫助你去降低風險 去開創更大的商機 那在GTC大會裡面 我們也有看到一個非常大的亮點 就是機器人 輝達的CEO黃仁勳 他身邊站了非常多的機器人 所以大家就開始去熱炒一波機器人的商機 可是我也想到一件事情 就是最近股價非常低迷的特斯拉 因為老實說自駕車對我來說 它其實就是電動車再加上人工智慧 它其實也是機器人的一種 可是為什麼現在市場上面 對於特斯拉 反而好像沒有把它當成是AI概念股 你對於特斯拉有什麼想法 我知道你過去一直都是非常的 對特斯拉有很多的想法 建議
14:37 我對特斯拉最大的意見就是 他把明明是輔助駕駛的系統 說成是全自動駕駛 我認為這個會誤導消費者 因為車子在路上跑 它的安全性是最重要的 所以顯然特斯拉一開始 並沒有把這樣的事情當做一回事 他把它當做一個行銷的術語 我想特斯拉其實還是一個好公司 它的問題還是出在於 它現在的主力產品 營收是來自於電動車 但是電動車市場 確實現在競爭非常激烈 所以馬斯克一直要把公司包裝成 人工智慧的公司 但是它的自動駕駛 又做不到真正的全自動駕駛 所以我想這個中間就有一個差距 有一個落差 因為你的營收交不出來 所以市場上當然就會 比較沒有那麼正面
15:23 但是不管怎麼說長期而言 特斯拉也在發展他們自己的處理器 自己的機器人 需要一點時間 至少它現在主要營收是電動車 你要轉成機器人 這個我認為沒有5年以上不太可能 回頭看GTC 這一次GTC大會 雖然最後的壓軸看起來很精采 對不對 執行長旁邊站了兩排的機器人 但Jenny有沒有注意到 它其實大部分都沒有在動 為什麼呢 因為如果這些機器人一動的話 可能整個GTC就有很多不可控因素 它可能隨便亂講話 可能不小心走兩步摔倒 這是有可能 所以我想 人型機器人 是未來十年 很重要的發展方向 但是這個技術目前是不成熟的
16:09 這一次的大會乾脆就不要展示 回頭過來看 有兩隻小小的機器人有出來嘛對不對 有沒有發現 它其實跟執行長的互動 就是一些動作肢體 那個我認為都是事先套好的 機器人講什麼話 它也沒講話 執行長的反應好像是聽到了什麼 這個有點類似 《星際大戰》裡面的R2-D2 它其實從頭到尾都沒有講話 但是對白裡面都會讓你覺得 人好像聽懂它的 它大概就是用這樣的一個場景帶過而已 不管怎麼說 人型機器人是未來一個發展趨勢 但是這個市場沒有那麼快 目前你看到的說市場已經多大多大了 那都是工業機器人 工業機器人在工廠裡一大堆 那就是一個機器手臂而已 那個我覺得還好
16:54 將來就是會把視覺感測器慢慢加上去 最後才會把處理器加上去 然後最後才會慢慢發展到比較智慧 但是我們也知道 特斯拉它一直在財報裡面 都會強調一件事情 就是它蒐集到的車主的數據 是非常大量的 那如果今天我們要發展人工智慧的話 數據照道理來說 是非常重要的一個資源嘛 有沒有可能成為它未來的一個優勢 數據確實是最重要的 但是問題是大家可能會有個迷思 各位知道那個AI 我們一直講訓練嘛 對不對 常聽這個字 它到底在訓練什麼 它是在訓練一個所謂的 類神經網路 可是講到類神經網路 大家又想成是大腦的神經 其實不是喔 類神經網路是一個數學模型的名稱
17:42 那類神經網路呢 會給大家一個錯誤的印象 就認為說 反正我資料越多啊 不停地訓練啊 這個類神經網路就一定會越準啊 這個在學術上是有問題 就是沒有人確定這件事 類神經網路在訓練的是所謂的 權重 那是所謂的參數 參數越多 參數越多 資料越多 精確度越高 但是會高到什麼程度 會高到跟人一樣的那個程度嗎 我覺得這是很大的問題 所以這個未來還是有很多的不確定性 所以我才會一直說 特斯拉要做全自動駕駛 它用純視覺 用一堆影像 去訓練所謂類神經網路是不夠的 在工程上一定要做所謂的 冗餘 我們講冗餘就是
18:28 我用視覺判斷車子前面沒有東西 我可能還要再用雷達判斷一次 我可能還要再用光達判斷一次 這個就是多餘的 這叫冗餘 為什麼要這樣做 因為任何一種技術可能都會有盲點 車子高速行駛 那是關係到人的安全 所以必須用至少兩種 或三種不同的方式去偵測確認 前面沒有東西 我車子才可以開過去 所以特斯拉最近又改回來了 它本來說要做純視覺 但是去年又改說要把雷達裝回去 這個非常合情合理 光達因為價格比較高 暫時他們沒有說要用 但是或許將來 更多競爭對手都用的時候 價格也很便宜的時候
19:14 特斯拉有一天突然用光達 我也不會覺得太意外 我們再把我們的話題 去拉回到輝達這一次的GTC好了 輝達在最新一季的財報上面 我覺得他有提到一個重點 也是有吸引到投資市場關注的 他有說目前AI的趨勢 已經從訓練轉向到推理上面了 那是不是對於未來在GPU 或是在伺服器上面 它的趨勢 它的需求 也會有改變 我不需要再買這麼貴的伺服器的一個GPU 我也可以去運作AI人工智慧 對 我稍微解釋一下 我們這一次講 生成式的人工智慧 因為它的模型都非常大 就是所謂的 大型語言模型 這種大模型訓練一次 通常都是要幾萬顆處理器 所以你去換算訓練一次 還要訓練一個月
20:00 所以最後換算出來的成本 像這個ChatGPT它訓練一次 我看到的資料說它的成本 大概就要1,000萬美金 我想一般企業沒有人可以付這個錢 所以現在的做法都是分三個階段 第一個階段叫做 預訓練 預訓練的階段就是要花 剛剛說的1,000萬美金 那個是很大的金額 要很長的時間 很多的處理器 預訓練完的這個 類神經網路裡面的參數 還不夠精準 所以接下來進到第二個階段 就是所謂的 微調Fine Tune 我去拿已經標註好的資料 很明確的資料 譬如說我這個語言模型 是要拿來做翻譯的 我就要把你要翻譯的那些資料
20:48 很明確地輸入這個神經網路 去微調這個參數 微調完之後才會得到一個你要的模型 就可以拿來應用 接下來你就把你要的翻譯的資料輸入 它就會輸出 這個動作稱為推論 所以我們現在講大型語言模型 就要分三階段了 預訓練 微調 推論 這三個階段的狀況都不太一樣 預訓練需要大量的圖形處理器運算 所以我剛剛說要1萬個處理器 要訓練一個月 成本要1,000萬美金 但是微調就不一樣 微調你是用大量的數據 標註過去 改變微調參數而已 所以它需要的不是 大量的運算 它需要的是 大量的記憶體
21:35 所以這個時候你就需要伺服器 但是是記憶體要足夠大 那到推論這一段又不太一樣 推論這一段 它需要的處理效能就沒有那麼高 這個原因很簡單 我們講訓練 你就把它想像成你去學英文 我們學英文花十年 所以運算量非常龐大 可是我學好英文之後 已經建立了一個模型 我看到老外要講英文 那個叫推論 當老外講一句英文 我立刻推論講回一句英文給他 那只要幾秒鐘而已 所以推論的運算相對是小的 但是推論是一個很長時間的應用 大家可以想像將來的Google搜尋引擎 如果用人工智慧
22:20 像我剛剛講的這一種生成型的方式 幫你整理答案告訴你答案 那是不是意味著全世界使用Google的人 一直在做推論 所以推論的重點會是 大量的使用者 不停地使用 所以它是一個運算量不用很大 但是因為使用者非常多 而且要不停運算 所以它可以不用最高階的處理器 但是卻需要大量的處理器 因為要應付這麼多的使用者 我覺得這可以衍生出兩個問題 第一個問題我覺得都是跟競爭相關的 第一個問題當然很多人現在說 科技巨頭其實也是輝達的競爭對手之一 只是他們現在不得不依賴輝達的處理器 那第二個雖然說現在市占率還是有差 但是AMD應該算是目前 最接近競爭對手的一個對手吧
23:07 那有沒有可能因為推論的市占率 或者是需求開始去提升 對於AMD未來後來追上的幫助 也會比較大一點 它可能會變成走向說 我GPU是一個 我降低價格 就可以擴展市占率的一個策略 價格永遠是客戶會考量的東西 條件 但是現在遇到最大的困難還是在軟體 我剛一直強調一個重點 現在幾乎所有做AI的工程師 大概都已經被 CUDA這個平台給綁架 大家用習慣了 你叫他換大家不願意 所以我想一般的企業 大概不太會去動這個 那你在CUDA這個平台上開發完 那突然你叫他去換平台 這個其實難度是比較高的 但是還是會有人換
23:52 什麼人會換呢 通常軟體能力強的人就不怕 所以雲端服務供應商（CSP） 就是你剛說的像Google Amazon 微軟這種公司 他們就不怕 因為他們軟體能力強 所以以他們來說 他們就有三個方法 一個方法就是用 NVIDIA的GPU 第二個就是用 部分用AMD的GPU 第三個就是自己開專用的晶片 我想他們一定是三管齊下 因為客戶都在他手上 他需要面對這麼多不同的客戶跟應用 他又要降低成本控制成本 所以我想 用圖形處理器是一個 但是我剛剛說未來的推論運算 會需要大量的使用者資源
24:40 你如果買這麼多的圖形處理器 成本太高 他們就會傾向於自己開晶片 問題又來了 自己開晶片是不是要畫設計圖 設計圖畫一畫覺得很麻煩 有一些周邊的USB PCIE 那種很普通 我自己畫幹嘛 所以就要找別人幫忙畫 所以這個單子 是不是就丟給台灣的 IP相關的這些廠商 像創意 世芯對不對 最後全部設計圖畫完之後 丟給誰代工 台積電嘛 所以你就會發現這整套下來 最後又全部落進台灣來 就是這個原因 我覺得這個目前看起來 還是大型科技巨頭在玩的遊戲 但是供應鏈反而是台廠會受惠 最近我有看你的頻道 你有訪問了群聯的董事長潘建成先生
25:27 在這裡面他就有提出一個 還滿有趣的東西 也是你剛剛講的微調的部分 他的新的產品aiDAPTIV 他其實好像就是可以幫助一些中小企業 或者是你想要針對特定目的的時候 他可以去降低成本 那在這一塊是不是也是未來台灣的一個商機 對 所以我們剛剛回頭講三個步驟 第一個步驟是預訓練對不對 預訓練剛剛說要大量的運算嘛 所以基本上你也只能用圖形處理器 這個沒有辦法改 那微調這一段就比較特別 因為微調要的是記憶體 在圖形處理器旁邊的記憶體叫做 高頻寬記憶體（HBM） 問題是那個先進封裝啊 能夠封的HBM記憶體是固定那麼多 你要再多我也沒辦法多
26:13 所以就造成要微調的廠商 如果你要去拿那個 訓練用的伺服器來微調 可是你又要大量的記憶體 那是不是就代表你就得 多買幾台伺服器 最後就會造成成本很高啊 而且我明明不需要那麼多運算力啊 我還要做伺服器幹嘛 只是為了他的記憶體 聽起來有點弔詭 所以這個群聯的潘董事長很聰明 他馬上就想到 欸我們家就是做記憶體的啊 那記憶體他做的 跟這個高頻寬記憶體不一樣 他做的是 快閃記憶體 就是所謂的 固態硬碟 固態硬碟呢 它是速度比較慢的記憶體 它呢事實上跟我們現在講的 這個高頻寬記憶體是不同等級 可是在微調的時候呢 如果你有辦法用一個軟體 我們叫中介軟體
26:58 讓程式誤以為 這一些快閃記憶體固態硬碟 是跟這個高頻寬記憶體一樣的記憶體 在我做微調的時候可以用 那是不是記憶體就無限大 因為固態硬碟其實很大 可以做到非常大的容量 所以他非常聰明就想到這個方法 所以他推出這一種伺服器是 微調專用的伺服器 企業呢通常不會去自己搞一個大模型 因為沒有那個能力 沒有那個經費 我只要去拿人家預訓練好的大模型 然後用這種低價的伺服器 來做微調 調成我企業想要用的 產品就好 所以我覺得他確實滿聰明的 剛好卡了一塊市場
27:45 這塊市場是不是能夠如期發展 我覺得可以再觀察 但是我個人是認為方向是正確的 那現在重點只是說 這些大型語言模型經過微調之後 到底精確度夠不夠 這個很重要 因為預訓練的資料太大 所以你沒有辦法 標註 所謂標註就是我告訴電腦答案 正確的答案 在沒有標註的狀況下 預訓練出來的參數一定會有誤差 你再去微調之後 得到的這個結果一定會有這個錯誤的問題 那我們公司最近也在幫客戶 發展自己的模型 我們的做法就是幫客戶用 標註過的資料來預訓練 為什麼要這樣做 因為你的預訓練 如果就用標註的資料
28:30 那你訓練出來的那個參數就會比較準 因為我已經標註過了 可是問題是你這樣子做 你就不可能去搞那個1750億的大模型 因為台灣有哪一間公司 可以付1000萬美金預訓練 不可能 所以我們就做一件事 把1750億個參數 縮小到100億個參數 這樣用一台伺服器 就可以訓練一個月 就訓練 預訓練出來 用這樣的方式做出來的結果 再微調做出來的結果 精確度就高 那問題就來了 這兩個不同的東西 一個是精確度比較低 一個是精確度比較高 我覺得這是不同的應用 所以它是適用的場景不同 對 我舉個例子 譬如說你只是要聊聊天 發洩一下你的情緒 需要有個機器人陪你聊天 正確性可能就不是最重要
29:17 可是如果今天你這個模型 是一個銀行在用的APP 在跟你對答 你要問問題 這個APP不能亂講 亂講會出事 所以我想在不同的應用 有不同的場景 所以那個aiDAPTIV這個產品 對於只需要微調 就可以使用的場景 我認為是適合的 所以我覺得這個真的算是一個 滿值得關注的創新 那現階段 因為目前我們剛剛講了 還是大型大規模公司的一個主場 那在先進封裝上面 感覺現在好像 大家都說摩爾定律已經到終點 甚至是大家現在說 黃氏定律會去取代摩爾定律 AI人工智慧的效能 在未來的十年將會提升1,000倍 這個部分你怎麼看 摩爾定律是說 每隔一段時間 這個電晶體就會縮小
30:07 那黃氏定律是每隔一段時間 這個圖形處理器的運算效能就會增加 其實將來你Jenny 如果做節目成功了 你也可以提出Jenny定律 通常有名的人講什麼話都是定律 但是我要說一句實在話 他只是講一個趨勢 沒有所謂的定律這件事 定律在科學上是有嚴格的定義的 他們這個都只能算是一種 趨勢的預估 確實未來的圖形處理器 運算量會越來越高 這是沒有問題 可是問題是 電晶體縮小已經到了極限 所以現在唯一能做的 就是用先進封裝的方式 把不同的晶片堆起來 用這樣的方式 就可以讓 電晶體的密度再增加 所以我想先進封裝
30:53 確實是未來一個非常重要的發展方向 那台積電投入這一塊也花了很多的功夫 而且大家要記得 先進封裝 台積電沒有領先Intel 台積電是先進製程領先Intel 但是先進封裝Intel其實技術是很強的 所以未來這個主戰場會 先進封裝的重要性會慢慢提高 相關的這些供應鏈的廠商 一定也會有不錯的成長 我覺得這個是未來大家要留意的方向 所以如果在先進封裝上面 因為大家現在都在導向 我透過先進封裝 可以在未來 在規格上面有更好的提升 這樣會帶動他們兩個之間 彼此的競爭又再重新的升溫嗎 你說先進製程跟先進封裝嗎
31:38 我個人認為不至於啦 先進製程現在的問題是 通常我們製程越先進 電晶體就越小 電晶體越小 理論上晶片就越小 那我相同晶圓做出來的晶片變多 所以我單位成本是降低的 理論上是這樣 但是先進製程發展到一個程度之後 它那個複雜度增加太高 特別是那個極紫外光 一旦用下去之後 那成本就暴增 所以先進製程是 隨著製程先進 單位成本一直降低 但它的最低點是在 7奈米 5奈米 到3奈米之後呢 反而成本是增加的 到未來的2奈米 1奈米 那成本會暴增 所以簡單的說就是 將來會用到這種先進製程的晶片
32:25 會越來越少 最後呢 只有兩個東西是最有機會用 一個就是高效能運算 就是伺服器使用的處理器 第二個就是手機的晶片 因為手機要小 運算力又要強 最後只剩這種量很大的應用 才有機會用 所以相取代的就是 用先進封裝的方式 把那個5奈米3奈米的晶片 直接堆起來 這樣子才是成本最有效益的方法 所以確實未來兩個重要性 會慢慢變 現在先進製程還是比較重要 封裝相對沒那麼重要 慢慢先進封裝會變得更重要 曲博可不可以也來跟我們分享一下 因為最近我覺得有一個話題也非常夯 那在你的頻道上面 我覺得你有一直不斷去follow這個訊息
33:12 就是共同封裝光學CPO 那它跟我們平常知道的先進封裝 或是它未來的應用 跟商機有什麼不一樣嗎 目前的晶片跟晶片之間 近距離的都是用電來傳送 長距離的就會用光來傳送 因為光在傳送的過程 它的損耗會比電還要小 所以你只要把距離拉長 用光來傳輸 就會比較有優勢 但是隨著資料傳輸率不停地提高 用光來取代電的趨勢 就會越來越明顯 所以目前 我剛剛說就是 長距離用光 短距離用電 將來會慢慢演進到 短距離也開始用光
33:57 甚至將來 先進封裝的晶片跟晶片 都有可能要用光傳輸 這個當然沒那麼快 我認為要做到這個 可能要十年以後 但是這是一個發展趨勢 所以就會開始要把 電的元件跟光的元件 共同封裝在一個晶片 積體電路裡面 這個我們就把它稱為 共同封裝光學 這個就是未來一個趨勢 共同封裝光學跟它有關聯的 就是所謂 矽光子 用矽晶片來傳輸光的訊號 所以我想這兩個題目 確實是未來很重要的方向 台積電早就知道了 所以他們也早就在做這一方面的技術 但是一樣 Intel在這個領域沒有落後 Intel做矽光子比台積電的時間更久
34:44 我相信他們的經驗也很豐富 所以剛剛聽您講這麼多 我覺得AI感覺在未來 真的還有很多的技術需要去突破 還有很多的應用 那直接考您一個問題 那你覺得現在AI是泡沫嗎 我最常被人家問到這個問題 就是說2000年有網路泡沫 那大家就在想這次AI是不是也泡沫 這分兩個方向回答 我們先回頭看為什麼2000年網路泡沫 因為當初大家認為未來是網路的世界 當初的預測有錯嗎 沒錯啊 確實現在是網路的世界 我們現在沒有網路根本沒辦法活 連手機都要上網 那為什麼那個時候會泡沫 原因很簡單 因為當大家認為未來是網路的世界 就開始炒股票 所以相關的網路概念股一路往上炒
35:31 最有名的例子就是Cisco 因為它是網路最重要的概念股 就跟現在我們在講輝達是一樣的 Cisco後來被炒到很高 結果開始2000年到了2001年 是不是要開始看你的成績單 什麼成績單 你的營收啊 你的獲利啊 結果後來發現它的營收獲利不如預期 所以我想泡沫打下來是非常正常 同樣的道理啊 AI也是一樣 當我們發現未來人工智慧 會有很大的需求 這一些企業都在建企業大腦 這個時候開始股價就一直往上飆 這很正常 那飆到一個程度之後就是有點過頭 什麼意思呢 你把兩三年之後 的業績都漲完了 然後呢
36:16 當然就會修正嘛 所以被打下來是正常的 可是被打下來之後 你接下來就要看什麼 就要看成績單嘛 我要看你交出來成績有沒有符合預期嘛 但是實際上的狀況 未來這兩年 AI相關的這些硬體的公司 基本上業績都會很好 這是很明確 我剛一開始就講了 你要做人工智慧 你就得先準備硬體 就好像Jenny你想開餐廳 你就要先去買鍋子 沒有鍋子就不用談 所以這兩年是很明確的 所以我相信當股價打回來 業績開出來確實很好 這個股價就會有支撐 所以這一次跟2000年那一次 絕對是不一樣 但是要提醒大家一個點就是呢 在金融市場在思考的時候又不太一樣
37:02 通常我們會有一個預期的業績 所以如果開出來業績很好 但是不如預期 這個也有可能是 股價會支撐不住的原因 所以我覺得還是要看 但是不管怎麼說以產業的角度 未來這兩三年 業績很好是很明確的 至於多少股價才合理 甚至有些本益比是不是有過高的問題 這是另外一個 金融方面的問題 今天非常感謝曲博來到我們的節目 跟我們分享AI未來的產業趨勢 包括各個公司他們在財務面上面 是否持續地成長 以及在先進製程跟先進封裝的未來 有哪一些機會 如果你對今天的節目有任何的想法 也歡迎留言告訴我們 你的每一個留言我們都會看 如果喜歡我們的節目
37:48 也歡迎按讚訂閱開啟小鈴鐺 工商時報財經相對論 我們下次見拜拜
