0:00 Что случилось, ребята? И вот снова наступило это время года. День открытых дверей AAI только что закончился, и я его еще не видел. Только что приземлился в Сиднее и намеренно не смотрел фильм в самолете, чтобы иметь возможность отреагировать на него в прямом эфире. Выскажу вам свои честные мысли и живую реакцию на это. Я здесь с деловым партнером Джошем. Вы, ребята, должны его знать. Мы приехали на акселерационное мероприятие, которое мы проводим здесь, в Сиднее. И, наконец, вот лодка, которую мы там принимаем. Так что я увижу некоторых из вас там на этих выходных. Но я собираюсь установить эту камеру. Мы выведем это на экран, и вы, ребята, увидите нашу реакцию на все эти объявления. Они собираются выпустить очень и очень большой проект по созданию агентов на основе искусственного интеллекта . Поэтому я думаю, что это повлияет на некоторые программные инструменты, которые многие из нас используют для создания автоматизированных систем на базе ИИ для наших агентств и наших клиентов. Итак, давайте начнем. С момента наших первых дебатов мы пытались выяснить, как
0:46 открыть Chachbt для разработчиков. Мы попробовали такие стандарты, как MCP, и дали разработчикам возможность подключаться к большему количеству устройств. Да, плагины были несовершенны. Да, я думаю, это было своего рода ступенькой на пути к тому, чего они хотели достичь . Их интегрированная монетизация была ошибочной. Поиск был проведен с ошибками. Это позволит создать новое поколение приложений, которые будут интерактивными, адаптивными и персонализированными, поэтому вам будет очень интересно увидеть дорожную карту этих ребят, потому что они весь этот год звонили агентам. Я знал, что они упадут. С помощью SDK приложений вы получаете полный стек. Вы можете подключать свои данные, запускать действия, отображать полностью интерактивный пользовательский интерфейс и многое другое. SDK приложения построен на MCP. Вы получаете
1:32 полный контроль над логикой бэкэнда и интерфейсом пользователя. Мы публикуем стандарт, чтобы любой желающий мог интегрировать SDK приложений. При использовании SDK приложений ваши приложения смогут охватить сотни миллионов пользователей Chachi Geek. Нужно сделать Да. Но в чем же компромисс? Распределение — под твоим контролем, приятель. Хотите сделать нашу платформу более ценной для пользователей вашего существующего продукта? Они смогут войти в систему прямо из беседы, и в будущем мы собираемся поддерживать множество способов монетизации. Магазин GPT, по их словам, собирался монетизироваться. Он никогда не монетизировал это. Ага. Но в этом и заключается вся суть открытого ИИ. Так было всегда. Помню, я тогда позвонил и сказал, что это просто мелочь, чтобы всех взволновать и воодушевить. Ага. и что они на самом деле не собираются этого делать.
2:20 Затем вы также можете запустить Big Jam из итерации дальше. Да, эти вставки действительно интересны, и, я думаю, то же самое они сделали и с видео. Вы можете предоставить релевантное приложение в качестве рекомендации. Возможно, пользователь говорит, что ему нужен плейлист для вечеринки. Проклятие. И вот здесь они переходят от простого построения моделей к тому, чтобы стать платформой. И у разработчиков появится целый ряд новых способов добиться эффекта « Ух ты». Я хотел бы пригласить Алекси на сцену, и мы покажем вам живую демонстрацию. Да, это много. Я имею в виду, если вы думаете с точки зрения кого-то, типа, мгновенно или что-то в этом роде, какой тогда смысл делать что-то большее? Или это больше потребитель, поскольку это потребительские приложения, верно? Spotify, Figma. о бизнесе Figma,
3:05 объединяющем богатые интерактивные визуальные эффекты с возможностями чата. Начнем с Корсеры. Допустим, я не уделяю достаточно времени размышлениям о машинном обучении на работе и хочу узнать больше. Я могу обратиться к приложению Corsera в чате, чтобы узнать об этом больше. Я могу сказать: Корсера, можешь ли ты меня чему-нибудь научить? Видите ли, вот это и есть самое интересное. А если вы не спросите Corsera, порекомендует ли он Corsera и что именно он порекомендует? Ага. Ну, у них есть функция обучения на Chatbt, с которой я экспериментировал . Вы поигрались с другой новой функцией, которая у них есть, типа ежедневных новостных статей? Нет, я не проверял. Ага. О, на пульсе. Ага. Ага. Нет, по-моему, у меня такого еще нет. Он может поддерживать все, что можно
3:51 отобразить в Интернете, как показано здесь на этом видео. Это интересно, потому что у нас было довольно много вопросов от клиентов, даже по спортивным темам, касающихся возможности извлечения отснятого материала, например, выложенных игровых кадров. Таким образом, вы можете наглядно рассказать о том, что происходит в игре, а затем вытащить это наверх. Вот этот интерфейс всегда сложный. Подождите, так он там вошел в Корсеру. У него уже есть доступ к курсу. Ага. А теперь он использует Chat GBT2. Приложение Corsera позволяет использовать содержащийся в нем материал в качестве контекста. Поэтому он задает вопросы по этому поводу. Можете ли вы подробнее рассказать о том, что они говорят сейчас? Таким образом, это похоже на передачу функции ИИ на аутсорсинг, вместо того, чтобы разрабатывать собственный чип ИИ. Таким образом, по сути, они создают платформу, на которой можно будет находиться в одном централизованном месте. Но почему бы и нет, в чем преимущество
4:37 Corsera в таком большем распределении, я полагаю? Нет-нет, но им все равно придется пойти и зарегистрироваться, если только вы не напишете «Эй, мне нужен курс по этой теме», и они порекомендуют Corsera, потому что у них есть приложение для этого. Это как будто бы зачем? Да. Я имею в виду, что они, вероятно, захотят, чтобы они были на платформе. Ну, у них уже есть аккаунт, так что их это устраивает. Они уже оплатили курс, но затем уходят с платформы, чтобы его пройти. Кажется странным способом... И что ты такое говоришь? А зачем они их держат включенными? Зачем призывать Сару приложить все усилия для создания приложения, если вы собираетесь предоставить все материалы курса в качестве контекста, как если бы вы предоставили все материалы своего курса OpenAI. То есть, они могли бы сказать: «О, мы не будем обучать на основе этой информации, но не могли бы вы объяснить подробнее?» или, очевидно, там будут все знания о видео. Как извлечь эту информацию, если
5:23 она в видеоформате? Либо использовать что-то вроде Google Gemini, оно действительно очень хорошее. Если вы пойдете на Gemini, вы сможете загрузить 10–20- минутное видео, а затем задать свои вопросы под видео, используя функцию « Конечно». Думаю, это потому, что он мультимодальный и позволяет задавать вопросы по видеоконтенту. Ну, или он просто делает расшифровку, но я бы сказал, что он также принимает во внимание и визуальные материалы. Так что это мило. Так что я предполагаю, что для этого они используют мощь моделей OpenAI. Но мне кажется странным, что вы, как Корсера, выпустили это. Ага. Ну, это так, так в чем же преимущество любого бизнеса, по сути, собирающегося открыть... Я имею в виду, если вы посмотрите на это через призму Open AI, который пытается... Я имею в виду, что это момент Apple App Store, верно? По сути, это то, что происходит, и причина, по которой
6:08 ваши приложения загружены в магазин приложений, заключается в том, что Apple — это устройство, с которого люди будут получать доступ к его дистрибутивам, и они делают ставку на то, что то же самое произойдет и с открытым ИИ. Мне это напоминает что-то из GPT. Это похоже на GP-ощущение, ну, знаешь, и да, круто. Но да, в чем здесь преимущество? Я очень рад тому, как обучение с Чадом ГБТ, один из наших основных вариантов использования, продолжает набирать популярность. А с помощью приложения и SDK вы сможете открыть более богатые возможности обучения для пользователей по всему миру. И вот chatbt ответил и объяснил, что инструктор должен рассказать об этапах подготовки данных перед тренировкой модели машинного обучения. А затем для меня это превращается в перелистывание книг . Мне не нужно объяснять, что я вижу на видео. Чат видит это сразу. Пользователи также любят проявлять креативность в чате. У меня была беседа, в ходе которой
6:56 я обдумывал несколько идей, как помочь моим младшим братьям и сестрам начать бизнес, связанный с ходьбой. Мы уже несколько раз обдумывали это, и теперь пришло время воплотить это в реальность. Я попрошу Canva превратить это в постер. Могу сказать Canva, можешь ли ты сделать мне постер с игрой Walk This Wag? Я хочу, чтобы он был красочным. Это уже немного понятнее, не правда ли? И я предпочитаю, чтобы они все равно платили за подписку, понимаешь. Да, мне все равно, как они получат к этому доступ . Прохладный. Отправьте это. А сейчас в фоновом режиме Canva создает постеры на основе контекста моего разговора. Canva отлично подходит для создания
7:41 подобных материалов. И теперь вы можете начать его прямо из чата. Независимо от того, создаете ли вы профессиональные маркетинговые материалы для OpenAI или просто развлекательную демонстрацию для дня разработки, это разумно, потому что теперь OpenAI не нужно беспокоиться о том, чтобы все было лучшим, потому что вы получаете таких же лучших дизайнеров, как на Canva, и как у каждой отдельной платформы или приложения есть свои собственные сильные стороны. Как вы видите, это может быть вариантом для использования и попробовать DFD для интеграции компаний. О, это должно быть достаточно просто. Видео HTML Corsera, а также чат, объясняющий, что он для нас сделал. Но мы можем рассмотреть другую модальность в SDK приложений — полноэкранный режим. Я нажимаю на актив, и приложение запрашивает полноэкранный режим. Мы
8:27 можем сосредоточиться на конкретном активе, и отсюда я могу увидеть его более подробно. Я могу попросить систему захвата запросить изменения, возможно, визуальные корректировки, как в случае с нашей генерацией изображений. Но поскольку мы в Сан-Франциско и сейчас день разработки, давайте попросим Canva преобразовать это в презентацию. Я могу сказать: «Canva, можете, пожалуйста, превратить этот постер в презентацию?» Мы пытаемся собрать деньги на выгул собак. Да, интересно, какая у них структура монетизации. Получает ли Canva долю от этих приложений? Получает ли Openai долю от этих приложений? Где происходит покупка? Очевидно, что это происходит нативно внутри Canva. Да. Так как же они получают тикет ? Хм,
9:12 я имею в виду, зависит от того, присылают ли они людей. Да. Например, какие у них предложения на стороне? Я не уверен насчёт монетизации. Интересно, что там искать. Чёрт, чувак. Это будет похоже на количество креатива, которое люди проявят, используя чат GBT. Приложение, чтобы сказать: «Пожалуйста, покажите мне дома на продажу там». О, он связывает их вместе. Теперь он использует Zillow. Он связывается с Zillow, чтобы получить последние данные о жилье, и мы получаем карту, встроенную в чат. Мы рассмотрим, как работает полноэкранный режим. Итак, у нас есть карта, великолепное состояние загрузки, и — бум!
9:57 Вау, смотрите! Похоже, наши слайд-шоу готовы. Мы вернёмся к ним чуть позже. Но эту карту немного сложно увидеть во встроенном виде. Я могу кликнуть по нужному дому и открыть его. Ничего себе, это же полноценный веб- браузер. Большая часть интерфейса Zillow встроена в int. Таким образом, вы можете использовать встроенную версию вашего программного обеспечения, веб-приложения и чата GPT. Да они просто притянут всеобщее внимание к своей платформе, чувак. Конечно. CHP снова поговорит с Zillow. И поскольку приложение работает в полноэкранном режиме, теперь оно может. Да, мы поделимся. Пока у них нет подробностей о монетизации. Мне было бы очень интересно посмотреть, что они делают
10:42 . Ну, если там есть что-то вроде галереи приложений. Ну, это и была причина создания плагинов, хм, плагинов, верно? И GPT. Это просто монетизация. Хм, круто. Давайте увеличим масштаб и найдём конкретного братана. Может быть, это буквально заменяет браузер. Браузер как будто знает, что я смотрю. Я имею в виду ещё один момент – данные. Кто получает эти данные? Zillow получает эти данные? Что за поисковые данные и всё такое? Да, я, должно быть, передаю им информацию. Да. Или какие ограничения на... сторонних разработчиков, таких как поиск. Так что он может предоставить больше информации об этом доме. Хотя этот пользовательский интерфейс становится немного перегруженным, как слои на слоях. Давайте вернёмся к слайдам.
11:30 Итак, если я вернусь к этому разговору, то увижу, что Canva предоставила нам несколько вариантов. Убрать вид этого синего. Итак, если мы откроем его, мы увидим слайды на весь экран, и я смогу увидеть все прекрасные слайды, которые Canva сгенерировала для меня. Когда я буду готов, чёрт, это довольно безумно. Итак, вот оно. Магия приложений от... Chatbt. Разговоры, в которых вы управляете интеллектом Chatbt с помощью ваших любимых продуктов, создают поистине новые впечатления. Это буквально AIOS. Это как операционная система с искусственным интеллектом. Не терпится увидеть, что вы сделаете. Голосовой режим и платежи в дополнение к этому. Разговариваю с Чадом GBT. Я заменил Siri на JT GBT. Я просто общаюсь с группой людей одновременно. Итак, вы отлично справились. Как только приложение сможет совершать платежи за вас и всё такое. Приложения, которые вы видели в демоверсиях, а также
12:16 несколько других от этих партнёров по запуску, они будут доступны в Chatb сегодня, и это только начало. Мы выпустим больше приложений от партнёров в ближайшие недели. Для разработчиков: доступ к предварительной версии доступен уже сегодня, чтобы начать разработку. Наша цель — как можно скорее получить доступ к вашим услугам, услышать ваши отзывы, разработать приложение вместе с вами, а затем, в конце этого года, разработчики смогут отправлять приложения на проверку и публикацию. Итак, они внедряются медленно. Типично. Да. Интересно будет, когда вы получите голосовой режим, и он, похоже, имеет визуальный… Поддержка, чтобы вы могли просто поговорить с ним. Возможно, он в теме. Да. И он обновляется, например, показывает вам что-то на экране. Итак, приложения, и мы всем это нравится. Добро пожаловать в новый магазин приложений, детка. Создание агентов и то, как мы собираемся
13:02 сделать это проще и эффективнее. ИИ эволюционировал за последние пару лет от систем, к которым можно обратиться с любой просьбой, до систем, которые можно попросить сделать что угодно для вас. И мы начинаем видеть это через агентов. Программное обеспечение, которое может выполнять задачи, используя контекст, инструменты и доверие. Но, несмотря на весь ажиотаж вокруг агентов и весь потенциал, очень немногие из них действительно внедряют его в производство и широко используют. Мы поговорили с тысячами команд, многие из которых находятся в этом зале, которые разрабатывают агентов, чтобы переосмыслить, как выполняется работа. И мы действительно спросили, что мы можем сделать, чтобы значительно упростить создание агентов. Поэтому сегодня мы собираемся запустить кое-что, чтобы помочь в этом. Поэтому мы рады представить новый продукт под названием Agent Kit. Agent Kit — это полный набор строительных блоков, доступных на открытой платформе, разработанный, чтобы помочь вам… Агенты от прототипов до производства. Это
13:48 всё, что нужно для создания, развертывания и оптимизации рабочих процессов агентов с гораздо меньшими трудностями. А сейчас мы поговорим о нескольких основных возможностях. Итак, первое — это Agent Go. Это холст для создания агентов. Это быстрый визуальный способ проектирования логических шагов, тестирования потоков, и, чёрт возьми, это похоже на API поддержки, который просто разнес в пух и прах все эти стартапы, вроде чат- рэперов. Второе: мы услышали это громко и чётко, и мы упрощаем внедрение отличного чат- опыта, и пользовательский интерфейс можно настраивать. Я говорил об этом. Да, клянусь, именно это мы и хотели сделать с Gentive. Я говорил всем платформам, с которыми мы общаемся и работаем, что настраиваемый пользовательский интерфейс — это недостающее звено.
14:35 Легко развёртываемый на пользовательских доменах. Должны быть новые функции, предназначенные для измерения производительности агентов. Чёрт. Хотелось бы посмотреть, как они это делают. Насколько глубоко они это прорабатывают? О, Итак, он разбит на задержку на каждом этапе, сплит-тестирование подсказок и всё такое. Кажется , да. Они ещё и про версионирование говорили ? Я не видел, если да. Да, не слышу. Вы были впереди. Итак, давайте рассмотрим пару примеров. Albertson's управляет более чем 2000 продуктовых магазинов по всем США. Более 37 миллионов человек совершают там покупки каждую неделю, и каждый магазин — это как своя маленькая экономика. Менеджерам приходится
15:21 постоянно принимать решения о продвижении данных или ассортименте товаров, переустанавливать витрины, ориентируясь на множество поставщиков. Это очень много всего. Итак, Albertson's создал агента с помощью набора агентов. А теперь представьте ситуацию, когда продажи мороженого неожиданно упали на 32%. Это был буквально один из первых проектов, которые мы когда-либо получали. Я использую входные данные для «нет», «один из…» на самом деле, долины для стартапа, где мы, по сути, запрашиваем данные о розничной торговле. Да. Да. Что произошло, когда мы запустили… Продукт X? Что случилось с продуктом Y? Да. Возможно, пора настроить отображение или запустить локальную рекламу. Давайте посмотрим. Я имею в виду, вы выполняете действия на основе этого. — это клиентская платформа, используемая сотнями тысяч организаций по всему миру,
16:07 и они используют набор агентов для улучшения ответов по Греции, свой инструмент искусственного интеллекта, использующий виджет пользовательских ответов. Итак, в этом примере клиент HubSpot под названием Luma Plants получает вопрос о том, почему растение в Аризоне растёт не так хорошо . Затем он использует помощника Breeze для поиска в своей базе знаний, поиска местных методов лечения низкой влажности в штате, извлекает информацию о политике и сводит всё воедино. Затем он предлагает несколько идей и рекомендации. Вот как мы представляем себе работу разведки. Хорошо. Подождите-подождите. Да. Поставьте на паузу. Поставьте на паузу . Похоже, это просто линейный процесс. Как будто это просто прямой удар по стволу . Что вы имеете в виду, когда говорите, что это одно и то же? У него есть начало. Похоже на начало, а потом оно заканчивается, когда В большинстве случаев это должно быть
16:53 своего рода циклом, кругом. Это должно быть что-то вроде разговора, где есть повторный вход в начале. Я понимаю, если у вас есть рабочий процесс, если вы делаете это чисто, что-то вроде того, что мы называем автоматизированными агентами в бэкэнде, которые активируются либо входящим сообщением, либо программно, а не при непосредственном взаимодействии человека с ними. Возможно, они ещё не внедряют это, или есть способ зациклить это, потому что тогда вам придётся управлять историей чата. Хм, то есть вы говорите, по сути, так что в данном случае, очевидно, это просто «зайти, задать вопрос, получить ответ». Но если бы я собирался вернуться к этому, то каков был бы процесс? Да. Я имею в виду, просто взглянув на это, я понял, что это было в ветке на HubSpot или где-то ещё, верно? Да. Хм, то есть, я думаю, это как специальный агент, к которому вы можете перейти, как если бы вы работали в Slack, вы переходите к… Агент XYZ. Я имею в виду, есть
17:39 агенты Slack, которые мы начинаем видеть сейчас. И, э-э, такие вещи, как Replet, позволяющие вам это делать. Э-э, и тогда он может сделать определённое действие для вас, выполнить пару шагов в этом рабочем процессе, а затем выдать вам ответ. Но если вы хотите, чтобы это было диалоговым, то он должен иметь возможность циклического взаимодействия. У него должны быть идентификаторы сеансов, чтобы он мог добавлять к ним сообщения. Да. Но есть интересные партнёры, которые уже масштабировали агентов с помощью Agent Kit, и он доступен всем с сегодняшнего дня. Итак, давайте проведём живую демонстрацию, и я передам её Кристине. Сегодня я хочу показать вам, как Agent Kit помогает разработчикам работать с агентами быстрее, чем когда-либо прежде. Это здорово, что если вы работаете в агентстве, вы просто можете управлять чем угодно.
18:25 Мы можем немного поговорить об этом, но это идеально подходит для агентств. Абсолютно идеально. Вы управляете своим днём и выбираете наиболее релевантные для вас сеансы. Мы — открытый ИИ. Нам нужен ИИ в наших Сайт дня разработки. Вот что мы собираемся создать вместе. Агент, работающий на основе агента, развёрнутого прямо здесь, внутри этого конвейера. И чтобы было интереснее, я дам себе 8 минут на создание и отправку агента прямо здесь, перед вами. И я запущу часы прямо сейчас, чтобы быть честным. Итак, я начну в конструкторе рабочих процессов на открытой платформе. И вместо того, чтобы начинать с кода, мы можем визуально подключать узлы. Я имею в виду, что это уже выглядит лучше, чем половина существующих решений . Да. Например, инструменты, такие как MCP Guard Rail Loop и другие модульные узлы
19:11 сегодня. Человек в цикле, а также поток, который использует два специализированных агента. Первый будет агентом сеансов, который будет возвращать информацию о расписании, а второй — более общий агент информации о дне разработки. Итак, я начну с агента категоризации. Забавно, что я помню, как раньше это было похоже на рои агентов. Да. Интересно, интегрировали ли они большую часть этого поведения знания на основе этого классификатора. Далее я создам сеанс Агент. Здесь я перетащу узел агента. Назову его агентом сеанса. Задам ему контекст, э-э, для сбора информации о сеансе. А затем я могу добавить сюда различные инструменты для поиска файлов. Да. А делать со всей информацией о…
19:57 Я имею в виду, это не такая уж революционная идея, правда? И прикрепить её. Итак, у этого агента теперь есть вся информация, необходимая для ответа на мои вопросы. Хм, но показывать расписание должно быть интересно и визуально интересно, а не просто текст. Поэтому я также создам для них виджет. Перейду к нашему конструктору виджетов. Э-э, здесь я мог бы создать виджет с нуля. Мы могли бы создать его прямо рядом с галереей, и мы используем их для покупки виджетов. Ха-ха. Они не покупают в чате и не покупают виджеты. Блин. Можно просто создать здесь новый? Да, новый виджет. Один на посадочной сессии. Эм, в парке Золотые Ворота. Так что мы можем просто скачать это, а затем вернуться к нашему… э-э…
20:43 я не понимаю, как… Она собирается вывести это на дом через несколько минут. Итак, выводит это в виджет. Кажется, я не нажал кнопку «Загрузить». Итак, давайте вернёмся и нажмём кнопку « Загрузить». Перейдите и прикрепите его как выходной формат для агента сеансов, который мы только что создали. Вставьте его. Мы можем просмотреть его, чтобы убедиться, что добавили нужный виджет, и всё выглядит готовым к работе. Итак, агент пользователя готов. Хм, а где этот агент отображения? Отображение внутри агента. Да, но это зависит от того, откуда он вызывается. Как будто должен быть вход. Опять же, он должен взаимодействовать с ним через интерфейс, через который заходит пользователь, чтобы он соответствовал бренду дня. Хм, мы снова добавим файл. Итак, у нас есть файл со всей
21:29 информацией о дне. Назовём этот шаг «день». Прикрепим его. Этот агент готов к работе. Извини, детка. Это не очень хорошая демонстрация. Похоже, у меня есть ещё пара минут. Итак, давайте добавим немного дополнительной безопасности с помощью одного из Готовые arills. Итак, что самое важное в сборке? То есть, я не думаю, что я стану революционером, но это хорошая основа для их работы здесь. Так что они справляются. Да, у них есть кое-что простое, например, для повышения качества жизни . Просто. Да. Это значительно упрощает запуск многих из них, дополнительный агент обрабатывает детали, когда, э-э, происходит сбой. Хорошо. Итак, это просто " прошел/не прошёл". Итак, я снова заставлю его говорить в стиле "замороженного" для обеспечения согласованности, и
22:15 напомню ему, что, э-э, он не может открывать вопросы, но содержит конфиденциальную информацию, и удаляет контекст. Э-э, отлично. Итак, я думаю, этот рабочий процесс готов к запуску. Я также могу настроить вывод, чтобы определить, что отображается конечному пользователю. В этом случае я также могу отключить источники поиска файлов, если это более внутреннее. Э-э, и я думаю, на этом всё. Давайте проверим. Итак, если я спрошу это напрямую у нашего конструктора агентов. Так что здесь я могу спросить, что В сеансе, который я посещаю, чтобы узнать о строительных агентах. И я вижу, как это сообщение движется по рабочему процессу, который мы только что создали. Проверка ограждений, категоризация намерений, извлечение информации из файла только что добавленных сеансов, поиск нужного сеанса, использование
23:01 добавленного виджета, и определение, знаете ли, оркестровка агентов в масштабе LM15 с Джеймсом и Роханом – это, пожалуй, лучший сеанс для меня, чтобы узнать больше об этом. Хм, а затем я вижу пару заклёпок, потому что это на самом деле Фро разговаривает со мной и завораживает меня. Итак, ладно, я думаю, этот агент выглядит хорошо. Да, Стив немного разбросан. Специализированные агенты используют инструменты. Мы добавили ограждения. Мы настроили их с помощью некоторых виджетов, а затем подключили SDK рабочих агентов справа. У нас также есть оценка Codex на случай, если я захочу запустить это в своей среде на своих серверах. Но, как видите, это довольно много кода для написания, поэтому я просто буду использовать идентификатор рабочего процесса. который мы только что создали, а затем перейдем на мой сайт. Итак, здесь, на моем сайте для дня дубляжа, я
23:48 сначала создам сеанс чата, используя, эм, рабочий процесс, который мы только что создали. Я просто зайду. Хорошо, просто. Вот так. Компонент реагирования чата, использующий этот клиентский секрет, который мы только что создали на нашем собственном сервере. Откуда она берет все эти скопированные вставки? Или она типа command zing it или что-то в этом роде? Действительно тематический. В данном случае это будет называться ask froge. Он будет продолжать заклепываться в плейсхолдере. Эм, и там будут некоторые fro определенные цвета и начальное поле. Итак, где она программирует это? Это будет на веб-сайте. Да, но где она выбирает бренд, цветовые палитры и все такое? Ах, очевидно, она все это уже делала раньше. Да, она просто собирает веб-сайт, но все это основано на коде. О, это он. Да. Подходим к верхней части сайта. Давайте попробуем. Итак, что же
24:34 отправить, чтобы узнать о возрастах зданий? И снова, это проходит через тот же рабочий процесс, который мы только что создали. Проверка на наличие ограничений, категоризация сообщения, извлечение данных из инструментов. Не знаю, можно ли это настроить, а затем снова решить, как организовать… эм… но посмотрите, что произойдёт, если вы сейчас отправите ещё одно сообщение? Да. Да, я понимаю, о чём вы говорите. Можно ли, по сути, связать их вместе? Да. Ну, вы должны… вы должны иметь такую возможность , но это как прославленный мини-чат, знаете, это как то, что мини-чат мог бы сделать с этой штукой прямо в… эм… в визуальном конструкторе, а также развернуть эти изменения прямо на моём сайте без внесения каких-либо изменений в код. Это включает в себя добавление новых инструментов… эм… добавление
25:21 нового виджета. Это довольно круто. Добавление нового ограничения, точно такого же, как там, и да, тестирование с ним, а затем публикация. Итак, всего за несколько минут мы визуально разработали рабочий процесс агента. Мы добавили несколько инструментов и виджетов. Мы сделали предварительный просмотр. Мы развернули… Мы его протестировали. И теперь вы все можете им пользоваться. Он уже доступен на вашем сайте Devday. Хм, вы можете нажать на свой значок, и вы сможете увидеть его, использовать его и найти сессии, посвящённые Scrio. Итак, мы с нетерпением ждём возможности использовать его, познакомиться с Fro и увидеть все новые возможности, которые вы теперь сможете создавать с помощью Ignit. Спасибо. И возвращаемся к Яну. Да. Пауза. Это мини-чат.
26:08 Это буквально то же самое, потому что мини-чат — это то же самое. У вас есть точка входа. Да. И он возвращается по кругу и зацикливается. Да. Хм, это, вероятно, то, что Mini должен был сделать давным-давно. Но я должен отдать им должное за то, что они объединили все эти маленькие части, такие как поиск файлов, интерпретатор кода. Хм, позволяют вам легко, потому что по сути это просто как склеить кучу маленьких, э-э, GPT-узлов чата, на чём-то вроде make.com, но это также позволяет вызывать инструменты, что технически всё ещё возможно. Раньше. Хм, но это просто более изящный способ сделать это. Но я уже думаю, что вот этот N810 — убийца N810, или, как говорится, они, очевидно, были впереди всех. У вас также есть голосовой поток, эм, с
26:53 аналогичным продуктом, но триггеры, вероятно, если они начнут добавлять триггеры, как в Zapia, у вас есть make.com, у вас есть NAD, и у них также есть аспект триггеров, потому что сейчас всё только начинается, и это только с ввода через чат. Так что, как только вы сможете начать создавать эти, эм, основанные на триггерах, как на всех этих других платформах автоматизации, то у этих ребят действительно будут проблемы . Но сложность Bullcase V8 заключается в том, что они не зависят от модели, и эти ребята, очевидно, не могут себе этого позволить, им приходится полагаться на собственные технологии во всём, правильно? Так что, я имею в виду, что большую часть времени мы с утра просто сидим в одном месте. Экосистема. Если эти ребята лучшие. Скажите, пожалуйста, о некоторых из этих новых проектов, которые мы берёмся. Хм, я уже представляю, что мы сможем делать, если мы сможем делать запросы на естественном языке в SQL и, например, чат с базой данных через
27:40 это, потому что мы говорили о многофакторных решениях для этого. Да, тогда вам, вероятно, не понадобится GPT5. GPT5 и так очень хорош. Нужно ли вам выходить за рамки экосистемы и внедрять множество мелких функций, повышающих качество жизни, таких как защитные ограждения, то есть личная информация, позволяющая установить личность, то есть те функции, которые действительно помогут ускорить процесс разработки? Но я определённо хочу вникнуть в это и подключить это к каким-то реальным инструментам и реальным API. а не просто небольшой поиск файлов, потому что на самом деле важен доступ и подключение к вашим системам, а они этого не показали. Как вы думаете, насколько велика роль «белой маркировки» в плане возможности настройки пользовательского интерфейса? Хм, похоже, у них там была библиотека в формате живого выступления . Хм, где вы, по сути, можете критиковать чужую работу, которая, я полагаю,
28:26 действительно велика. Они обрабатывают все маленькие сложные детали, такие как формат выходных данных от агента, типа, знаете что? Вы знаете, как работает этот виджет . Кто-то это создал, или я это создал. И они на самом деле не показали процесс создания виджета, но, возможно, это просто кодирование этого крутого виджета. Но вот как это выглядело. И есть чат, в котором говорится: создайте свой виджет здесь. Можно сказать, что мне нужно было изображение, затем заголовок, а затем то, с чего начинается разблокировка, и я думаю, что это был большой вопрос о том, как вы собираетесь встроить интерфейс в эти модели чата, и это начало, и если вы посмотрите, вы видели даже в виджетах, что у них есть продукты, это начало возможности совершать покупки в интерфейсе чата. Хм, да, это будет интересно, давайте посмотрим, куда он это приведет. Одно из самых захватывающих событий, происходящих с ИИ, заключается в том, что мы вступаем в новую эру, которая меняет то, как
29:11 пишется программное обеспечение. Каждый, у кого есть идея, может создавать приложения для себя, своей семьи или своего сообщества. Послушайте это. Потоковые медиа помогают людям восстановить воспоминания с помощью chatbt, генерации изображений и Sora. В Университете штата Аризона студентам-медикам нужны лучшие способы отработки сложных человеческих диалогов, которые им предстоит вести в качестве врачей. Итак, они создали виртуальное приложение для пациентов с нашими моделями, где они могут попробовать, потерпеть неудачу и стать лучше, прежде чем приступить к чему? Мол, ты умрешь. Готово, RNS. РЛ. Готово, RNS. Это и есть обучение. Обучение. Обучайте медсестер перед тем, как они пойдут на экзамены. Я снова попал, братан. Где вы можете в режиме реального времени обсудить произведения искусства и скульптуры
29:56 . Ух ты . Революционная история становится разговором. Ага. Нет, скромному человеку это могло бы понравиться в некоторых из тех мест с индейкой. Эй, у меня был такой паршивый аудиогид. Ага. Чат на тему ГБТ. Я думаю, это довольно много. Ага. В целом, они по сути заменяют необходимость использования браузера для многих вещей. Это просто централизует все ваши мгновенные действия. У них есть поиск, у них есть написание текстов, у них есть кодирование, у них есть генерация изображений, а теперь они просто собираются объединить все ваши любимые приложения в одном месте. Хм, я думаю, будет интересно посмотреть, кто возьмется за это и начнет использовать. Я думаю, что вариант использования Canva уже сейчас кажется отличным. А если их будет больше , то можно будет увидеть, что люди будут использовать их
30:42 гораздо больше. Нет, я согласен. Я думаю, в конце концов , OpenAI раз за разом доказывает, что они идеологичны, а не практичны, и в большинстве случаев они выпускают что-то, будь то плагины или GPT, и представляют видение, а затем им требуется обычно 6 или 12 месяцев, чтобы воплотить его в жизнь. Ага. Или иногда они не могут, как в случае с плагинами. Но я думаю, что это целый сдвиг от «эй, мы — поставщик моделей» к платформе, и по сути это операционная система ИИ. Ммм. Настал момент для Apple: эй, это магазин приложений. Очень интересно было бы попробовать и посмотреть, насколько удобен этот интерфейс. И это первая часть. Я думаю, что они прокладывают путь для вокала, и это действительно важно. Как только вы включите на экране своего компьютера или телефона, скажем, маленькую подставку, вы сможете просто разговаривать,
31:27 переведя устройство в голосовой режим. И тогда я говорю: «Хорошо, да, у меня есть идея для слайд-шоу или, типа, бизнес-идея. Я хочу, чтобы это было о том, об этом и об этом. Я думаю, может быть, что-то вроде такой палитры. Можете ли вы придумать какие-нибудь дизайны? И всё это отображается в режиме реального времени. Да. Canva генерирует их. Вы видите это и говорите: мне нравится это, нравится то, не нравится то. И он отправляет вам эти сообщения. Да. Думаю, это то, что меня действительно взволновало бы. И я не могу представить себе, что есть, например, сценарий использования Zillow. Ну, Corsera, на мой взгляд, не показался мне слишком уж сильным . Но в целом, я думаю, эти ребята точно знают, куда идут . Как и всегда, люди говорят, что в OpenAI работают феноменальные специалисты по продуктам. Так что я бы не стал сомневаться в них после того,
32:13 что они сделали. Пока что. Что касается потребителей, я думаю, они справились с этим и, как обычно, опережают конкурентов. Интересно поразмышлять о том, что будет с Клодом в долгосрочной перспективе, как с конкурентом Chat GBT . Они уже немного отстают в этом. Они были очень сильны в написании сценариев использования, у них есть свои артефакты, и они очень глубоко углубились в кодирование, конечно, через API, но не обязательно с таким количеством дополнительных функций. Думаю, они там и работают. Ну, агентский комплект, советы директоров Zapia, NAT, Maker – все собираются собраться вместе и подумать об этом, чтобы понять, где они пытаются глубже погрузиться в фактическую реализацию этих многофакторных
32:59 систем. Мы очень внимательно следим за тенденцией к увеличению численности цифровых сотрудников и цифровых рабочих мест, связанных с ИИ. Вы видите, как стартапы, такие как Relevance AI, действительно углубляются в объединение этих агентов в рабочие места. И судя по всему, он очень ориентирован на разработку. Неудивительно, что сегодня день разработки. Но, эм, забавно вспомнить 2023 год, когда мы впервые заговорили об этом, и как отсутствие автоматизации ИИ на основе кода стало способом привлечь людей . Хотя да, здесь будет много функций, основанных на коде, которые можно будет внедрить, например, создать дополнительные API и инструменты для подключения, в конечном счёте, это будет конструктор без кода . Думаю, мы можем сделать небольшой круг почёта, что приятно видеть. Вопрос, на мой взгляд, в том,
33:45 захотят ли они взяться за это, дать бой Zapia и создать NAN. Эм, похоже, интеграция между этими агентами и заставить их работать вместе проще, чем в 18-м , но насколько продвинутыми они станут, когда все эти команды будут работать вместе, используя разные триггеры, точки входа и всё такое? Итак, это хороший начальный вариант, и я... Думаю, да, как вы и сказали, интерфейс и эти виджеты чата — это большой шаг в правильном направлении, потому что этого долго не хватало на рынке. Так что, я думаю, это довольно смелое заявление в этом направлении. Это как бы уничтожило всю цепочку языков и то, что они создавали с помощью своих многофункциональных фреймворков и всего такого. Я бы сказал, что они просто наступают на пятки тому, что цепочка языков разрабатывала уже некоторое время, и, возможно, взяли элементы голосового управления и то, как они организовали
34:30 конструктор. Возможно, в этом есть некоторое влияние. Но да, это классика: сидеть и ждать, смотреть, что делают все остальные, что работает, что нет, брать все лучшие функции и внедрять их в свой дистрибутив Fire. Так что нужно отдать это Sambo. Думаю, мы могли бы попробовать внедрить это в некоторые из наших клиентских проектов уже в течение следующих нескольких недель. Но да, если вы смотрите это, дайте нам знать, что Вы думаете, что происходит внизу. Каково положение агентств в этом отношении? О чём вы думаете, как владелец агентства, использующего ИИ? В целом, это долгое время было кривой для агентств. Мы знали, что если мы будем просто сидеть здесь, как никто, никто не будет облажаться из-за этого, как агентство. Вы как отличные металлические инструменты, такие как… кривая двигалась в сторону упрощения. Помните, когда мы начали в начале 2023 года, я использовал модель автодополнения текста da Vinci 03, у которой не было истории чата. Вам приходилось, как Джерририг, строить
35:17 весь этот чат-бот вокруг этого. Так что помните историю чата до чата, они тонко настроили её для чата. Это был полный беспорядок. Но я помню, как создавал чат-ботов, гм, очень ранних чат-ботов, основанных на этом, чтобы попытаться воспроизвести chatbt, и как сложно было добиться результатов для клиентов. И вам просто приходилось считать, что Чаш был вашим злейшим врагом, потому что он задавал планку опыта, и вам приходилось очень, очень стараться, чтобы соответствовать этому стандарту, и со временем это… Стало намного проще. Вышел API чата GVT. Хм, у вас есть все инструменты для использования, у вас появился API поддержки. Подобное событие разрушило все эти стартапы, которые занимались, по сути, тем же самым, добавляя инструменты , подсказки и базы знаний . Это просто следующий шаг в этой эволюции, и они действительно упростили жизнь всем. Итак, теперь у
36:02 вас есть это, и они интегрировали в него API ответов. Это великий день для агентств, которые продают услуги ИИ, и я думаю, что это важно, я думаю, часто, и мы видим это даже внутри акселератора, многие агентства начинают паниковать, когда появляется что-то подобное, потому что порог входа, очевидно, снижается, и в конечном итоге, я думаю, именно поэтому вы позиционируете себя как партнера по трансформации ИИ, и я думаю, что даже наш переход от разработки к трансформации партнера оказывается для нас чрезвычайно полезным. Я думаю, в конечном итоге это переходит от чистого развития, В данном случае, знаете ли, будет гораздо проще понять, кто партнёр по трансформации и кто эксперты, которые действительно помогут мне определить, где я могу внедрить эту технологию, которая возьмёт на себя управление. К тому же, компании в большинстве случаев
36:50 не захотят отдавать всё на откуп открытому ИИ, они будут оставаться агностиками и будут искать компании среднего уровня, которые смогут сказать: «Эй, вот лучшие модели, вот что вам следует делать», и они будут искать экспертов. Знаете, как мы всегда говорим, реклама в Facebook – вы можете пойти туда, любая компания может пойти туда и создать рекламу в Facebook за 5 минут. Почему существуют агентства, которые зарабатывают миллионы, миллионы и миллионы долларов в год? Потому что они эксперты в своей области и добиваются лучших результатов, чем компании, работающие самостоятельно. Так что, честно говоря, я думаю, это нас очень воодушевляет . Интересный момент: есть ли эта тенденция к тому, что я называю автоматизацией вибрации, когда у вас есть… Эм, Zapia была первой, кто внедрил текстовое приглашение в рабочий процесс, а теперь у вас есть NAT, которые отказались от него. Думаю, есть и другие стартапы, которые его интегрировали. Возможно, у make тоже есть. Но
37:36 поскольку всё основано на JSON, можно написать: «Эй, мне нужен рабочий процесс, который делает то-то, то-то, то-то и то-то». А затем он может вывести рабочий процесс, практически готовый к тестированию и итерациям. И это важная тенденция, которую мы наблюдаем. Так что, вероятно, главным решением будет наличие своего рода агентного редактора, где можно сказать: «Ну, всё начинается с текстового приглашения». Думаю, у них это уже было в том первоначальном интерфейсе, который я видел, где можно было бы написать что-то вроде чата, где можно было бы написать: «Я создаю это», «это», « это», «это» и «это». В нём должны быть эти функции. Эм, а затем это превратится в нечто привлекательное, где… У вас есть боковая панель. Там есть конструктор рабочих процессов. Вы можете общаться и общаться. Вы можете проводить тесты. Хм, и это отличные новости для агентств и тех, кто хочет начать в этом направлении. Вопрос в том,
38:23 как вы выживете в мире, где разработка может стать довольно коммерциализированной. Быть агентством, которое знает, какие решения использовать, когда стоимость разработки падает так сильно, как сейчас, и сложность в том, что есть так много разных направлений, которые вы можете использовать. Какие сценарии использования вы выбираете в первую очередь? Поэтому быть агентством, которое знает, что делать и когда, действительно будет иметь преимущество в общении с клиентами. Важный день для нас, и я думаю, это большой шаг в правильном направлении. Поэтому я просто рад, что я сейчас на этой позиции, а не эти стартапы. Знаете, мы, возможно, увидим некоторых из вас здесь, в Сиднее, на мероприятии, которое мы проводим в эти выходные в гавани на лодке. Так что вы, ребята, увидите это на канале видеоблога, когда мы это опубликуем. Но да, увидимся позже.
