26 Key Takeaways from Building 150+ Agents in 9 months

26 Key Takeaways from Building 150+ Agents in 9 months

Краткое резюме

В этом видео Арсений Шатохин делится 26 ключевыми выводами, которые он и его команда получили, создавая более 150 AI-агентов за последние 9 месяцев. Эти выводы помогут вам избежать ошибок, которые стоили им времени и денег клиентов.

  • AI-агенты не являются вашими сотрудниками.
  • Начните с хорошо документированных процессов.
  • Владельцы бизнеса никогда не будут создавать своих собственных агентов.
  • Владельцы бизнеса не знают, какие агенты им нужны.

Введение

Арсений Шатохин, основатель агентства по разработке AI-агентов, делится своим опытом и ключевыми выводами, полученными за последние 9 месяцев работы. Он подчеркивает, что AI-агенты не являются ни автоматизацией, ни сотрудниками, а представляют собой отдельный тип инструментов, требующих специфического подхода к разработке и внедрению.

Вывод 1: AI-агенты не являются вашими сотрудниками

AI-агенты отличаются от автоматизации тем, что в автоматизации каждый шаг жестко запрограммирован, а в агентах каждый шаг требует обучения. AI-агенты также отличаются от сотрудников тем, что у них меньше автономии, и для выполнения задачи требуется больше агентов, чем сотрудников. Вместо того, чтобы думать об агентах как о ролях, лучше рассматривать их как стандартные операционные процедуры (SOP). Обычно один агент может эффективно обрабатывать один SOP, в то время как один сотрудник может обрабатывать пять или более SOP.

Вывод 2: Начните с хорошо документированных процессов

Стандартные операционные процедуры (SOP) - это процессы, которые сотрудники выполняют в определенном бизнесе. В хорошо организованном бизнесе эти процессы обычно хорошо документированы. Нахождение этих хорошо документированных процессов упрощает обучение агента. Вместо того, чтобы собирать данные вручную или задавать множество вопросов клиенту, можно просто взять SOP, который, скорее всего, содержит все необходимое для обучения агента.

Вывод 3: Владельцы бизнеса никогда не будут создавать своих собственных агентов

Даже с появлением агентов, которые могут создавать других агентов по одному запросу, владельцы бизнеса все равно не будут создавать своих собственных агентов. Подобно тому, как инструменты без кода не привели к исчезновению разработчиков программного обеспечения, а вместо этого породили волну разработчиков без кода, платформы AI-агентов только увеличат спрос на разработчиков AI-агентов.

Вывод 4: Владельцы бизнеса не знают, какие агенты им нужны

Многие клиенты приходят с идеями о том, какие агенты они хотят создать, но в половине случаев это не самые ценные агенты, которые можно создать для их бизнеса. Поэтому консультирование является важной частью услуг. Чтобы определить, какие агенты лучше всего создавать, рекомендуется начинать с анализа пути клиента.

Вывод 5: Вам не нужно 20+ агентов

Создание большого количества агентов в одной системе только усложняет ее, затрудняет обслуживание, отладку и поиск потенциальных проблем. Кроме того, это увеличивает стоимость и время отклика агентов. Начните с минимального количества агентов, желательно с одного самого маленького агента, который можно быстро предоставить клиенту. После того, как этот агент будет полностью настроен и протестирован клиентом, можно добавлять больше агентов по мере необходимости.

Вывод 6: Принимайте решения на основе данных, но данные должны быть связаны с действиями

В AI-агентах, как и в науке о данных, действует принцип GIGO (garbage in, garbage out). Если вы предоставляете агентам некачественные данные, они будут выдавать некачественные результаты. Однако, как было недавно обнаружено, наибольший эффект достигается не просто добавлением данных, а сочетанием данных с соответствующими действиями.

Вывод 7: Инженерия подсказок - это искусство

Инженерия подсказок уже является реальной профессией, и по мере того, как модели становятся больше, умнее и способны работать дольше, она становится все более важной.

Вывод 8: Интеграция так же важна, как и функциональность

Часто мы слишком сосредоточены на возможностях агента, но интеграция, то есть то, как агент работает, часто бывает еще важнее. Если агентом неудобно пользоваться, то неважно, насколько он мощный, он не сможет принести никакой пользы.

Вывод 9: Надежность агента уже решена

Если агент ненадежен, то это не проблема агента, а проблема разработчика. Джейсон Лео в 2023 году выпустил видео "Penic is all you need", где показал, как использовать библиотеку валидации данных Penic для валидации всех входных и выходных данных агента.

Вывод 10: Инструменты - самый важный компонент

При создании AI-агентов есть три самых важных компонента: инструкции, знания и действия. Около 70% работы в агентстве уходит на создание действий, то есть инструментов.

Вывод 11: Не более 4-6 инструментов на агента

В настоящее время рекомендуется использовать не более 4-6 инструментов на агента, в зависимости от их сложности.

Вывод 12: Стоимость модели не имеет значения

Если ваш кейс имеет смысл, то использование AI-агента почти всегда принесет огромную отдачу по сравнению с ручным выполнением того же процесса.

Вывод 13: Клиенты не заботятся о том, какую модель вы используете

Бизнесу неважно, какую модель вы используете, главное, чтобы она приносила ценность и не нарушала их политику конфиденциальности.

Вывод 14: Не автоматизируйте, пока не будет установлена ценность

Не стоит автоматизировать процесс, который еще не существует. Сначала нужно вручную установить ценность процесса, а затем уже автоматизировать его.

Вывод 15: Не думайте о кейсах, думайте о ROI

Формула для расчета ROI: (ставка * количество часов) - операционные расходы / расходы на разработку.

Вывод 16: Разработка агента - это итеративный процесс

Как и в соревнованиях по науке о данных, где побеждает команда, протестировавшая наибольшее количество параметров и архитектур моделей, в разработке AI-агентов важно экспериментировать с различными архитектурами.

Вывод 17: Используйте подход "разделяй и властвуй"

Разделяйте сложную задачу на более мелкие, управляемые задачи.

Вывод 18: Оценки важны, но только для крупных компаний

Оценки - это метрики, которые вы устанавливаете для своих агентов, чтобы отслеживать их KPI и производительность.

Вывод 19: Существуют два типа агентов: агенты и рабочие процессы

Существуют агентические рабочие процессы, где каждый шаг является агентическим.

Вывод 20: Агенты должны быть адаптивными к обратной связи

При создании агентов важно не только добавлять инструменты, которые позволяют им изменять свою среду, но и инструменты, которые позволяют им анализировать свои собственные результаты.

Вывод 21: Не стройте вокруг ограничений

Стройте своих агентов с учетом того, что модели будут становиться все лучше и лучше.

Вывод 22: Развертывание агентов намного сложнее, чем их создание

Развертывание агента - это его интеграция в процессы клиента.

Вывод 23: Водопадные проекты не работают

Агентические проекты слишком гибкие, чтобы их можно было планировать на 3 месяца.

Вывод 24: Включите человека в цикл для критически важных агентов

Для агентов, где ошибка может привести к серьезным последствиям, необходимо включить человека в цикл.

Вывод 25: 2025 год - год вертикальных AI-агентов

Вертикальные AI-агенты - это агенты, специализированные для конкретного кейса.

Вывод 26: Агенты не заменяют людей, они помогают бизнесу масштабироваться

AI-агенты помогают бизнесу стать более эффективным, позволяя сотрудникам сосредоточиться на более важных задачах.

Share

Summarize Anything ! Download Summ App

Download on the Apple Store
© 2024 Summ