0:00 今天我們將研究 Gemini 擴散，這是 Google 發布的一款非常 有趣的產品，因為 這是前沿實驗室推出的第一個基於擴散的文本 生成模型。 現在不要期待任何破紀錄的 表現，但 這種模型的生成速度卻非常快。 實際上你必須放慢速度才能 看到它的作用。這是一個即時 範例。這就是模型生成的真實速度 。它生成了一個可以 運行的遊戲，並且每秒生成 800 個 代幣，這真是令人 難以置信。但請記住，它並不是最 先進的模型。事實上， Gemini 團隊正在將其與 Gemini 2.0 手電筒進行比較，後者是一款相對
0:46 較小的型號，但這款型號似乎 更小， 性能也相當。還有一件事，Google 並不是第一個創建 基於擴散的法學碩士學位的。有一家 名為 Inception Labs 的公司發布了 Mercury，這是首批 商用的基於擴散的 大型語言 模型之一。就連安德烈·卡帕蒂 (Andre Karpati) 當時也在 推特上談論此事。我們將 回到這則推文。谷歌稱 這是一個 可供早期訪問的實驗版本。 基於擴散的文本生成模型為 使用者提供了更好的文本生成控制力、創造力 和速度。作為 用戶，您應該期待快速的回應和
1:32 更連貫的文本，因為它將 並行生成所有內容。 我將向你展示它是如何工作的。並且您可以 反覆 改進 生成，它在相對簡單的提示下表現得非常好。現在， 只是為了測試一下，這是我創建網頁的提示之一。而且其生成速度再次令人難以置信。您感覺就像在 Grock 硬體上運行它一樣。因此，我們以每秒 800 個令牌的速度產生。您也可以預覽網頁， 這非常簡潔。 它確實在更複雜的任務上遇到困難
2:21 ，但我認為它為文字生成模型的新範式開闢了可能性。現在，為了 理解擴散法學碩士的重要性，我們需要了解目前的法學碩士是如何 運作的。這是一個非常簡化的自回歸 LLM 表示。呃，這個 想法是，根據 輸入文本的分佈或 迄今為止生成的文本， 它將預測下 一個單字。假設這是輸入文字。它將查看它可以產生的下一個標記的機率分佈，並且它將在每個步驟中順序產生一個新 標記 。現在有兩個主要問題。 首先，由於它是按順序 生成文本，所以速度會非常 慢。第二個是在
3:11 順序文字生成中，如果犯了錯誤就無法回頭。我們正在討論這些非推理模型。推理模型可以產生平行軌跡。因此，其 改正錯誤的可能性更大。另一方面，擴散的 工作方式卻截然不同。我 將向您展示文字生成過程。 但為了 全面了解擴散， 我們來看看它的運作原理。我們將看一個圖像 生成範例。稍後我將向您展示文本生成的工作原理。因此，在 圖像生成範例中，您獲取 訓練資料並添加不同級別的 噪聲，目標是模型 從一開始就使用這種白噪聲並重新生成 原始圖像。現在，在擴散的情況下， 您將擁有一個固定大小的圖像 或幀，並且所有像素都是
3:57 並行生成的，並且所有像素都 需要保持圖像或幀的空間連貫性 。現在，對於文字 生成，擴散模型將 建立一個固定的上下文視窗。現在，並非 所有這些或所有世代都 具有完全相同的大小。因此 存在大量的標記，但 它可以並行產生不同的 迭代，然後修正它們， 因為它必須一次生成整個 文字視窗。這 是 來自 Inception Lab 的文本生成影片。這 是水星模型。但實際上你可以 看到模型正在並行 產生所有標記 。如果它意識到自己犯了
4:42 一個錯誤，它只會修復 生成的特定部分並保留 其餘的令牌。現在， 這個過程的美妙之處在於，由於所有 文字或所有標記都是 一次性生成的，因此它可以輕鬆找出 錯誤。並在下一次迭代中修正它們 。你確實會對自己的 生成有更多的控制，但 訓練基於擴散的 LLM 極其困難，而且似乎 谷歌已經用 這些較小的模型破解了密碼。那麼，讓我們快速 來看幾個例子。現在，請 記住這是一個研究預覽，我們 不知道很多細節。 例如，Gemini 擴散的上下文視窗是
5:28 什麼？參數的數量是 多少等等。如果我們 看一些例子，它可以 非常快速地產生繪圖應用程式。 例如，我也可以改變顏色， 對嗎？這似乎有效。我還 看到了更多的例子。因此， 例如，如果我們看 井字遊戲的例子，它 也能夠產生這個遊戲。根據我的 經驗，對於簡單的提示，它 確實運行良好。好的，這是 K 均值聚類演算法的一個例子。 這是一種機器學習演算法。 假設我們增加 K，我們就可以運行 聚類演算法。您可以看到它 能夠創建 AIN 聚類演算法的動畫。但對於更
6:15 複雜的提示，例如 在旋轉的天體中產生 20 個彈跳球， 我認為它會很困難。我們 之前看過一個例子。在這種情況下，它 實際上並沒有添加球，並且 七邊形也沒有旋轉。但再次強調， 生成速度確實很快。因此， 不要對第一次迭代抱有太大期望 。但我認為它開啟了 不同的可能性。您可以提供 大量文字並要求其 即時編輯。現在它可以 一次性查看整個文字並 進行這些更改，而不是 像自動 回歸模型那樣按順序為您產生不同的標記。正確的？所以這 真的很棒，如果你有現有的 文字或程式碼，並且想要在
7:02 程式碼中進行更改，我認為 這樣的模型會非常 有用。這裡舉個例子，在程式碼中加入 註解。因此，無需 重新產生整個程式碼，而可以 直接包含註解。所以我 強烈建議您對此進行測試。申請 重量清單。我們將以 Andre Karpathi 的這篇文章結束該視頻， 這是他在基於 汞擴散的 LLM 發佈時發布的， 但我認為它仍然適用。所以他說，就 核心建模方法而言，你所看到的大多數 LLM 都是克隆的。它們都經過自回歸訓練，即 從左到右預測標記。擴散是 不同的。它不是從左到右，
7:50 而是同時進行。 正如我們在那幾個 例子中看到的那樣，您從噪音開始，然後逐漸將噪音分解為標記流。大多數圖像/視訊 生成 AI 工具實際上都是以這種 方式工作的，並且它們使用擴散而不是 自動回歸 。 只有 文字和有時 音訊受到了抵制。所以，對我和其他很多人來說，這都是一個謎
8:35 。由於某種原因，文字更喜歡自動回歸，但圖像或影片 更喜歡擴散 。這是一個相當深的兔子洞，與我們在這些特定領域中對資訊和噪音的感知分佈有關。如果你仔細觀察，你會發現兩者之間也 存在著許多有趣的關聯。也就是說，該模型有可能與眾不同，並 可能展示新的獨特心理學 和新的優勢和劣勢。我 鼓勵人們嘗試 一下，我對 Gemini 擴散也持同樣的看法。無論如何，我希望你覺得這個影片有用。感謝收看，和往常一樣，下次見
