0:00 ИИ, который может помочь улучшить ИИ, на самом деле есть практически везде, если знать, где искать. Не в последнюю очередь это касается инструментов кодирования, таких как новый codeex от Open AAI, который не только помог мне найти ошибку, пропущенную Клодом в курсоре, но и помогает исследователям ИИ. Кодирующие агенты, возможно, выполняют более легкую работу, но это освобождает время исследователей ИИ для эффективной работы над его улучшением. Но редко процесс самосовершенствования ИИ бывает столь прямым, как в альфа-версии агента Evolution от Google Deepmind. Он может генерировать для себя более качественные подсказки, чтобы разрабатывать более качественный код для полезных задач. Задачи, которые ведут к повышению эффективности в его следующей версии. Это было опубликовано менее 100 часов
0:46 назад, но не волнуйтесь, это не Скайнет. Реальный мир пока не позволяет реализовать ту скорость итераций, которую предполагает Alpha Evolve . Но я бы сказал, что этот агент является окончательным доказательством для всех сомневающихся в том, что LM не являются тупиком и едва ли даже начали оставлять свой след. Я собираюсь использовать множество аналогий и многочисленные интервью, чтобы дать вам хотя бы общее представление о том, что происходит с этим рекурсивным Ронином. этот агент уже привел к реальному повышению эффективности работы центра обработки данных Google и математическим прорывам, на которые ушли десятилетия. Но сначала, пожалуйста, сразу перейдем к сути. Что это вообще такое? По сути, человек приходит и должен предоставить проблему, которую нужно решить, какой-то
1:32 код, который он, возможно, уже опробовал, и, что особенно важно, некоторые оценочные показатели. Эти детали имеют решающее значение, если вы не хотите получить преувеличенное представление о возможностях Alpha Evolve. В любом случае, все это обеспечивает человек, и чем больше показателей он может предоставить, тем выше производительность. Тогда, по сути, человек может просто ощущать себя Gemini 2, не Gemini 2.5, гораздо более впечатляющим преемником, а Gemini 2, который повторяет этот код. Система использует Flash-версию Gemini, более компактную и быструю, для множества идей. но и профессиональная версия Gemini 2 Pro для обоснованных предложений. Обратите внимание на выборку подсказок, в которой система использует предыдущие подсказки, которые уже опробовали люди и которые сработали раньше, а также программы из базы данных программ, которые
2:19 отлично себя зарекомендовали в других ситуациях. Все это делается с целью улучшения кода, представленного человеком, в соответствии с оценочными показателями. Вот почему Alpha Evolve называют кодирующим агентом. По сути, это улучшение или развитие кода, который человек представляет, на основе этих оценочных показателей. Затем, пока человек сомневается в выборе карьеры, Alpha Evolve в конечном итоге возвращается с некоторыми улучшениями кода или различиями, которые создают программы, которые в 75% случаев соответствуют последнему слову техники в одной из десятков поставленных задач. Не впечатлены? Ну, в 20% случаев эти конструкции лучше самых современных. Если вы, Терренс Тао, чувак с самым высоким IQ на планете, вы описываете это как экстремальные функции f от x,
3:05 где x варьируется в многомерном пространстве параметров омега, которые могут превзойти более традиционные алгоритмы оптимизации, когда пространство параметров очень многомерно, а функция f и ее экстремизаторы имеют неочевидные структурные особенности. Если подумать, то это просто: экстремизация функций. Будьте уверены, теперь они переходят к более сложным задачам. Надеюсь, мне удастся прояснить ситуацию немного подробнее . Итак, вернемся к статье. На этой ключевой диаграмме вы можете увидеть, что DeepMind полностью сосредоточился на эволюционной части Alpha Evolve, поскольку система не только сохраняет и выбирает лучшие подсказки, судя по метрикам успешности, но и лучшие LLM для этой задачи. Да, Gemini 2.5 Pro будет просто готов к
3:53 работе, без дальнейших улучшений. Перейдем к концу, потому что почему бы и нет? Следующим естественным шагом будет рассмотрение возможности внедрения расширенной производительности альфа-эволюции базовой системы управления обучением в следующее поколение базовых моделей. Это может иметь внутреннюю ценность и, вероятно, улучшит следующую версию Alpha Evolve. Конечно, вы, ребята, можете согласиться, но эти два предложения сами по себе заслуживают целого видео, потому что, во-первых, кого Google обманывает, когда говорит, что собирается рассмотреть возможность сделать это? Я думаю, вполне возможно, что они уже сделали это для Gemini 2.5. Alpha Evolve только что была опубликована, но уже около года проходила внутреннее тестирование в Google. И, во-вторых, Alpha Revolve является, таким образом, довольно убедительным примером, опровергающим идею перманентной войны данных, поскольку
4:38 эта система создана для разработки улучшенных программ, которые затем могут быть преобразованы в следующее поколение базовых моделей, которые затем совершенствуются в создании улучшенных программ. Или, если говорить кратко, то итерированный код, который доказал свою эффективность, затем становится отличными данными для обучения следующей базовой модели, которую затем можно включить в следующую версию Alpha Evolve. Да, кстати, я знаю, что это всего лишь один из нескольких рекурсивных циклов в статье, улучшающих базовую степень магистра права посредством дистилляции. И это все, прежде чем мы перейдем к предполагаемому использованию alpha evolution в прикладных науках, таких как разработка лекарственных препаратов. Но в этой связи я хотел бы очень быстро остановиться на том, почему альфа-эволюция не является подтверждением скорого быстрого взлета. Потому что, как ясно из текста статьи, основным ограничением
5:24 Alpha Evolve является то, что он обрабатывает проблемы, для которых можно разработать и представить автоматизированный оценщик. Хотя это справедливо для многих задач в математических и вычислительных науках, существуют такие области, как естественные науки, где только некоторые эксперименты можно смоделировать или автоматизировать. Да, поэтому он может помочь ученым оценить новые научные эксперименты, и они работают над тем, чтобы сделать его лучшим научным соавтором. Но есть причина, по которой даже известный оптимистичный генеральный директор-антрополог Дарио Аммеддей, ожидающий в следующем десятилетии столетия научного прогресса, заявил, что изначально интеллект будет сильно сдерживаться другими факторами производства. Другими словами, пробирки могут тестировать только определённую скорость. Но вернемся к тому,
6:10 чего Alpha Evolve уже достигла. Самым известным из них является обнаружение тензорного разложения ранга 48 для умножения комплексных матриц 4x4, что на самом деле даже для авторов является весьма неожиданным улучшением по сравнению с 50-летним рекордом для алгоритмов, пригодных для рекурсивного применения. Проще говоря, тензорное разложение здесь означает открытие более фундаментального рецепта с меньшим количеством основных шагов, 48 вместо 49, для выполнения умножения матриц. Этот конкретный тип рецепта, тензорное разложение, хорош тем, что позволяет использовать метод многократно или рекурсивно, чтобы значительно ускорить вычисления для очень больших матриц, умножений, которые необходимы для всех видов вычислений и операций ИИ. Если
6:56 вы не слишком увлечены математикой, давайте посмотрим, чем еще я могу вас удивить. Ну, Google помог улучшить Борг. Да, вы знаете, настоящий Борг, его оптимизация центра обработки данных . Не знаю, о чем ты подумал, Борг, но это улучшение помогло Google восстановить 0,7% своих мировых вычислительных ресурсов. Скоро эта сумма будет исчисляться миллиардами долларов. Но помните, что степень магистра права — это тупик. Но если серьезно, это явно задержка. Люди и магистры права, предлагающие идеи и проблемы. Магистр права, предлагающий итерации, жестко запрограммированные верификаторы и системы, обеспечивающие автоматизированные проверки. И, кстати, мы еще не закончили. Alpha Evolve помогла усовершенствовать следующее поколение чипов Google — TPU Ironwood. А
7:43 если вы помните, как Deep Seek вручную оптимизировал ядро для повышения эффективности, а если нет, посмотрите мой недавний документальный фильм, который дебютировал на Patreon. Но в любом случае Alpha Revolve сделала это автоматически, когда возникла такая проблема, что привело к сокращению времени обучения Gemini на 1%. Очевидно, это еще один рекурсивный цикл. Более совершенные или более эффективные Близнецы, ведущие к лучшему будущему Альфа Эволюция. Но, ладно, теперь мы по-настоящему убеждены в его достижениях. Позвольте мне рассказать вам о четырех способах, которыми, по признанию Google, компания вскоре станет лучше, а также о двух забавных моментах и двух соответствующих фрагментах интервью. Первое будущее улучшение подразумевает наличие некоторого фонового контекста, в котором решения и их оценки для этих задач хранятся в эволюционной базе данных. Но помните, что
8:29 подтверждено, что модели Gemini имеют контекстное окно до 10 миллионов токенов . Эти модели еще не выпущены . Публичные версии достигают только 2 миллионов токенов. Но очевидно, что эта эволюционная база данных может однажды стать невероятно большой, предоставив настоящую библиотеку Александрии, на которую можно будет опираться в любой будущей модели. Тем, кто следит за мной уже некоторое время, это может напомнить мой репортаж о Voyager, агенте для Minecraft, в котором была постоянно растущая библиотека исполняемого кода. Итак, первое очевидное улучшение функций — гораздо большая эволюционная база данных. Во -вторых, как мы уже намекнули, Alpha Evolve не зависит от модели. Таким образом, по мере совершенствования оборудования время обучения сокращается, а знания извлекаются из процесса, который поможет создать лучшую версию Gemini 3. Gemini 3 позволит создать
9:16 гораздо более качественную версию LLM в Alpha Evolve. И это подводит нас к абляциям. Это была действительно крутая часть статьи, потому что она показала, что каждая часть кодирующего агента, которую мы описали до сих пор, на самом деле имеет решающее значение. Например, если вы использовали только небольшую базовую версию LLM, Gemini Flash, а не Gemini Pro, производительность достигала нижнего предела. Если у вас не было этого контекстного окна и вы не могли выполнить полную эволюцию файла, помните это огромное контекстное окно? Ну, если вы не смогли этого сделать, то, опять же, вы можете увидеть, что производительность достигает предела на гораздо более низкой точке. Кстати, если вы это слушаете, все виды абляции показывают более низкую эффективность, если вы не используете полный метод. Даже если отбросить мета-подсказку, где вы
10:02 эволюционировали, которая побуждает использовать импеданс. А для тех, кто заходит на мой Patreon, вы, возможно, помните, как в самом начале AI Insiders я брал интервью у Тима Рокэшеля, ключевой фигуры в Google DM. Он дал нам то, что оказалось ранним предварительным просмотром этого подхода к эволюции подсказок с помощью своего считывателя подсказок на бумаге. Но что делает считыватель подсказок, так это то, что если вы оцениваете пригодность подсказок на основе какого-то определенного набора выдержанных проверок для домена, то со временем считыватель подсказок будет вырабатывать все больше и больше подсказок, специфичных для домена. Это то, что мы увидели в статье, и на самом деле есть еще одна статья, которая, как я думаю, даст вам довольно хорошую аналогию того, что происходит здесь с alpha evolution, и это Dr. Eureka от Nvidia. Для этого представьте, что вы пытаетесь вручную составить инструкции
10:49 для роботизированной руки, чтобы научить ее переворачивать ручку. Очень скучно, займет много времени и не особенно эффективно. Но теперь представьте, что вы можете предоставить языковой модели обратную связь о том, как проходит каждая итерация, какие функции вознаграждения работают хорошо, а какие нет. Это похоже на оценочные показатели, которые люди предоставляют для Alpha Evolve. Имея такую обратную связь, доктор Эврика и Alpha Revolve могут усовершенствовать свои предложения. Оба подхода, которые вы, очевидно, теперь знаете, дают результаты, соответствующие самым современным достижениям, и, надеюсь, это даст вам интуитивное представление (по крайней мере, мне), почему люди не всегда могли достичь такого уровня. Как Alpha Evolve указывает на новые решения, которые люди вряд ли смогли бы найти, если бы попытались. Люди часто застревают в локальных оптимумах в соответствии со своими
11:36 внутренними предубеждениями. Кроме того, у них нет времени на повторение десятков тысяч потенциальных решений. Вот Гуангха Ван, который работал над оригинальными статьями для Eureka и Voyager. Он обладает обширными предварительными знаниями и поэтому может просто предлагать различные виды мутаций и вариаций функции вознаграждения на основе контекста окружающей среды . Я думаю, что он просто генерирует эти функции вознаграждения на основе своих предыдущих знаний, а не как человек, которому нужно вручную настраивать функции вознаграждения, и человеку очень легко застрять на локальном оптимуме, но в случае с GD4 он может генерировать множество функций вознаграждения одновременно, а затем на основе производительности каждой функции вознаграждения он может непрерывно ее улучшать. В Eureka это больше похоже на эволюционный поиск третьей
12:23 комнаты для будущих улучшений, и это большое дело. Этот фрагмент кода, который может улучшить Alpha Evolve, не обязательно должен быть окончательной функцией, которая генерирует прямое решение. Это может быть алгоритм поиска, который впоследствии может быть использован для нахождения оптимальной конечной функции. Таким образом, Alpha Evolve может по сути продолжить совершенствовать методы поиска оптимальных программ. Четвертое будущее улучшение, и оно едва заметно и может быть упущено многими, но авторы предвидят нечто весьма важное для меня. Они говорят: «Однако с этими улучшениями мы предвидим, что ценность создания большего количества сред, проблемы с надежными функциями оценки станут более широко признанными, что, в свою очередь, приведет к более ценным практическим
13:10 открытиям в будущем. Вы, ребята, вероятно, уже устали от того, что я говорю о том, что все, что нам нужно, — это бенчмарки. Но, честно говоря, эта статья кричит о необходимости надежных функций оценки, и стимулы для их создания теперь гораздо более ясны, зная, что у вас будет система под рукой для оптимизации по ним. Хорошо, но я обещал вам, ребята, некоторые странности. Поэтому я подумал, что вам, ребята, может показаться милым, что мы все еще полагаемся на такие подсказки для альфа-эволюции. Это 2025 год, и мы говорим нашим передовым системам действовать как экспертные разработчики программного обеспечения. Ваша задача — итеративно улучшать предоставленную кодовую базу. Позже они говорят, предложите новую идею для улучшения кода, которая вдохновлена вашими экспертными знаниями в области оптимизации и машинного
13:56 обучения. Это действительно заставляет меня по крайней мере задуматься, будет ли последним подсказкой перед настоящей сингулярностью: «Я работаю в Google. Совершенствуйтесь, или я буду уволили. Но еще пара серьезных моментов, прежде чем мы закончим. Одна вещь, которую Alpha Evolve пока не смогла создать, — это Alpha Evolve. Я имею в виду, конечно, Alpha Evolve могла бы улучшить части Alpha Evolve, как я уже говорил, но она пока не могла создать ее с нуля. Не согласны? Ну, как говорит Демис, у нас есть системы, которые являются сверхчеловеческими в игре Go, но пока не могут изобрести Go, говорит он. Это Дейсарис, глава Google Deep Mind. Так что люди все еще у руля, по крайней мере, на данный момент. Далее следует, что это направление итерации и поиска — еще один способ, которым мы можем тратить наши взрывные
14:42 выделения вычислительных ресурсов. И даже OpenAI признает, что это все несколько иное направление по сравнению с Oer, который дал такие поразительные результаты тестов. Джейсон Вэй, старший специалист OpenAI, сказал: «Alpha Evolve глубоко тревожит таких мальчишек с подкреплением, как ваш покорный слуга. Может быть, промежуточный этап плюс хороший поиск — это все, что нужно для ИИ для научных инноваций». И добавил: «Какой необдуманный шаг — держать это в секрете целый год. Поздравляю, большой G». Другими словами, у нас есть модели, приближающиеся к новаторам четвертого уровня без нейронной или мандаринской цепочки мыслей в поле зрения. Как пишут сами авторы на странице 14, Alpha Evolve был выбран вместо глубокого подхода к обучению с подкреплением, потому что его решение кода не только приводит к
15:27 лучшей производительности, но и дает явные преимущества в интерпретируемости, отладке, предсказуемости и простоте развертывания. Основные качества для критически важной системы. Не говорю, что мы всегда понимаем решения, которые Alpha Evolve помогает генерировать, но он действительно помогает в этих факторах. И говоря о цепочках опасных рассуждений, это был невероятный переход к спонсорам сегодняшнего видео, Grey Sworn AI. Они проводят конкурс, в котором вы можете помочь улучшить безопасность языковых моделей, по сути, сделав их джейлбрейк. Это совершенно новый конкурс, ссылка в описании, и призовой фонд составляет 20 000 долларов. На самом деле, я думаю, что это могло быть либо мое последнее видео, либо предыдущее, где закрепленный комментарий — это один
16:13 из вас, ребята, впервые услышавший о Grace One и его арене в одном моих видео, участие в конкурсе и действительно успешные результаты. Было бы действительно потрясающе, если бы вы, ребята, выиграли его, и время пришло, потому что мы вступаем в эту первую полную волну, начиная с 17 мая. Большое спасибо Grace One за спонсорство этого видео и удачи всем, кто участвует. В любом случае, последние несколько вещей от меня на Alpha Evolve. И одна вещь, которую я предсказывал на этом канале в 2023 году, задолго до того, как это стало модным, заключалась в том, что есть значительная вероятность того, что Google убежит с лидерством ИИ. Он работал над AGI и самосовершенствованием в течение многих лет больше, чем другие лаборатории, и имеет гораздо больше ресурсов. Я говорю не о бегстве с точки зрения пользовательской базы или даже прибыли, а о чистом интеллекте его
17:00 моделей. Codeex от OpenAI, который я использовал в течение последних 48 часов, великолепен, потому что вы можете запустить его на мобильном устройстве и отлаживать несколько вещей одновременно. Но всего за 18 месяцев Google прошел путь от смехотворно плохого барда против могучего GPT4 до того, что теперь он, по крайней мере, на одном уровне с Gemini 2.5. По сути, поскольку маховики начинают летать, цитируя Демоса, мне действительно интересно, где будут Gemini и DeepMind через 18 месяцев. Ну, потенциально объединенные в профсоюзы в Великобритании, и честь DeepMind за их этическую позицию по использованию их ИИ в войне. Но в качестве лидера, я думаю, что это почти неизбежно. Дайте мне знать, что вы думаете, и чудесного вам
