Claude 4 против всех. Я протестировал 9 AI-моделей в вайбкодинге (GPT, Gemini, DeepSeek)

0:00 Недавно Антропик неожиданно релизнули новую версию своих моделей, Claude 4. Две вариации, Sonnet и Opus. По бенчмаркам модели выглядят очень впечатляюще. Возможно, теперь мы сможем делать большие и сложные задачи, попивая чаёк. Или всё-таки нет. В этом видео я попробую это узнать. Сравню версии в плане вайбкодинга не только между собой, но и с другими топовыми моделями от конкурентов. А также с предыдущими версиями Claude, чтобы понять, получили ли мы вообще какое-то улучшение в эффективности. Попробую написать несколько приложений и игр в один промпт, пофиксить баги и даже сделать модельку в блендере. Погнали! Привет! Меня зовут Олег. В обычной жизни я разработчик, но по вечерам скорее вайбкодер. Тестирую разные AI-инструменты, запускаю свои проекты. На этом канале показываю, что из этого выходит, что реально работает,

0:45 а что пока нет. На сайте Antropic в анонсе новых моделей мы видим бенчмарки, сравнивающие вышедший Claude 4 с лучшими моделями конкурентов. Мы видим, что Sonnet 4 справляется с задачами кодинга на 10% чаще, чем предыдущая версия 3.7. Также, судя по этим данным, Sonnet 4 обходит даже GPT-O3 и Opus 4, хотя Sonnet значительно дешевле этих моделей. Если посмотреть на полный список бенчмарков, то видно, что здесь Sonnet тоже жестко выигрывает почти по всем показателям, кроме некоторых. И кстати, здесь мы впервые видим, в чем смысл Opus 4. Он обходит Sonnet по нескольким категориям. Окей, понятно примерно с чем мы имеем дело, давайте приступим к тестированию. Начнем с вайб-кодинга. Это один из самых важных показателей лично для меня, потому что модели, которые существовали до Claude 4 и так

1:31 достаточно успешно справлялись с решением каких-то мелких задач. Всегда можно было разбивать очень сложные комплексные проекты на под задачи и очень аккуратно работать с ними по одной. Это уже работал раньше. Поэтому сегодня я хочу проверить написание одного большого проекта в один промпт, давая большую задачу на вход сразу, не разбивая ее на кусочки. Первая задача. Doom в браузере. Это классический бенчмарк лично для меня. Я много моделей проверял на нем. Он всегда интересно отрабатывает. Посмотрим, как поправятся с ним все наши модели. Начнем с самой дешевой и будем двигаться по возрастанию цены. Итак, самая дешевая нейронка, если говорить про стоимость API, это DeepSeek R1. Выбираем ее в курсор. Для чистоты эксперимента

2:16 я отключаю rules и пишу инструкции только в диалоге с агентом. Говорю, что можно использовать MCP, Context 7 и GetStack для документации библиотек и получения шаблонов. Также указываю, что можно открывать браузер через MCP PlayWright, чтобы чекнуть, все ли нормально работает. Если вы не знаете, что такое MCP, то посмотрите мой предыдущий видос. Сходу заметно, что DeepSeek реально быстро думает. Мысли летят мощно. Я вижу здесь JS-код, HTML, но... Ничего не создается. Он выдает код только в виде текста ответа и вообще не понимает, что он может изменять файлы, запускать какие-то команды. Даже с стандартными тулзами от Cursor. Я попробовал попросить его использовать инструменты, но это тоже не сработало. В общем, DeepSeek ничего

3:02 не знает об инструментах. Он не знает ни MCP, ни встроенных инструментов Cursor. Поэтому в этой категории ставлю ему жесткий минус. И похожую модель DeepSeek мы вычеркиваем из эксперимента, так как на ней по сути невозможно вайб-кодить. Следующая модель по стоимости это Claude 3.5 Haiku Самая дешевая доступная модель от Claude на данный момент В рамках этого эксперимента я буду работать с моделями Claude в Claude Desktop Так как я недавно прикупил подписку от Antropic для этого эксперимента нейронка решила, что офигенной идеей будет скачать готовый код классического дума плюс движок DOS для браузера и запустить это все в связке после 10 минут приседания ничего так и не вышло видим, что код дума не получилось скачать и нейронка просто отказывалась выполнять команды в терминале самостоятельно хотя у нее был доступ к нему Она

3:47 заставляла меня это делать. В общем, ставим минус в этой категории. Далее идет одна из самых топовых моделей по соотношению цена-качество на данный момент. Это Gemini 2.5 Pro. Она более чем в два раза дешевле, чем модель Claude, но при этом по перформансу ведет себя довольно хорошо. Единственный минус, который я замечал у нее довольно часто, Это то, что в большом диалоге она ведет себя довольно странно Она может забывать начало, но при этом заявленный контекст модели довольно большой Миллион токенов На русском это примерно 500 тысяч слов По сути как книга «Война и мир» То есть теоретически она может оперировать таким размером данных в рамках одного запроса Как это будет работать реально на практике, сейчас проверим Gemini тоже сосредоточилась на поиске готовых решений запуска Doom'а. Она выкачивала файлы, разархивировала

4:33 их, проверяла разные репозитории. В итоге она просто нашла готовые репозитории в WebDoom, скачала и запустила его успешно. Наконец-то я впервые поиграл в классический Doom. Ставлю хитрый плюс для этой модели. Вырываюсь из будущего. После записи всех тестов Google неожиданно выпустили обновление Gemini 2.5 Pro версия 06-05.

5:18 По бенчмаркам новая версия много где обгоняет модель конкурентов. Так что пришлось тоже ее докинуть в этот видос. Иначе бы он был не очень актуальным. Doom на обновленный Gemini. Модель решила использовать шаблон конвас проекта, а потом переключилась на полную симуляцию DOS-системы в браузере. Успешно запустила эмулятор, но не смогла запустить внутри него Doom. За это я ставлю ей минус. Следующая модель это GPT 4.1. Это недавно выпущенная модель от OpenAI, которая специализируется на таких задачах как написание кода. Стоит чуть дороже чем Gemini, но дешевле Claude на 30%. И кстати имеет тот же миллион токенов в контексте. Давайте проверим. Ага, модель тоже избрала стратегию скачивания готового дума.

6:04 Шла почти так же как Gemini, 20 минут упорно ковыряла архивы в интернете, но в итоге запуталась в папках, погрязла в багах запуска сервера и не смогла показать какой-либо результат похожий на игру. В общем, ставлю минусик в этой категории. Не получилось. Слабовато. Двигаемся дальше. Переходим к топовым моделям от Antropic. Смотрим Claude 3.7. Это самая базированная модель для программирования. Последние полгода я пишу код именно на ней. Годится чтобы делать простые задачи, фиксить несложные баги и верстать крутой фронт. Модель в целом довольно мощная. Я использовал ее при генерации текстов на русском языке в своем небольшом проекте. Она была единственной моделью, которая на большом контексте сохраняет правила языка и не путает факты. Вероятно это потому

6:50 что антропик очень сильно загоняется в плане следования инструкциям пользователя. Проверим ее тоже в Claude Desktop, чтобы максимально точно сравнить ее с новыми моделями от Andropic. Запускаю работу. Забавно, что эта модель решила использовать браузер не для тестирования готовой игры, а для поиска готового кода. Это реально крипово. Она зашла на сайт эмулятора системы DOS, перешла в его GitHub. Открыла гугл поиск, чекнула. Еще один репозиторий, переходя по файлам. Попыталась заюзать готовый движок JS-DOS, но застряла в багах и создала пару версий игры. Все они не работали. Выходит, что не справилась. Ставим минус. Итак, у нас начинается самая интересная часть. Переходим к модели Claude Sonnet 4. Есть стоимость по API

7:35 сейчас такая же как 3.7. Запускаем с тем же промптом и с теми же наборами инструментов. Сходу видно новую фичу, нейронка может вызывать инструменты внутри размышлений. Такого я не помню в предыдущих версиях. Интересно, что это дает в плане эффективности. Ага, вижу, что Claude первый, кто решил написать Doom самостоятельно. Я рад. Он последовал промпту и пошел искать примеры кода через мой MCP GetStack. Заюзал Three.JS шаблон. Погуглил документацию в Context 7. В результате игра всходу запустилась и заработала без ошибок. Но в ней была проблема с освещением. Игра была слишком темной. Клод сам это заметил через просмотр скриншота браузера и подправил свет в игре. После правок игра заработала корректно. Получается, игра

8:21 реально была написана с нуля, с использованием всех предложенных нами инструментов. Шаблоны GetStack, Context7 для доки и PlayWright для теста фронта. С одного промпта, без багов. Единственный нюанс, это локация почему-то получилась перевернутой. Но в ней все нормально работает, хоть и дизайн достаточно простой. Плюсуем Sonnet. Переходим к титанам. GPT-O3. Это реально топовая модель, способная решать очень сложные задачи. Она больше чем в 3 раза дороже Claude Sonnet. Я часто использую для анализа своих идей, брейншторма на любую тему. Она доступна в подписке от ChatGPT за 20 долларов и может быть реально крутым напарником в сложных проектах. Как именно я использую ее, я рассказал вот в этом видео. В отличие от всех предыдущих моделей, GPT-O3 не входит в

9:06 стандартную подписку курсор. Она слишком дорогая для нее. Мы можем заюзать ее в курсоре, только включив Max Mode, то есть оплату за количество токенов. От токенов будет потрачено очень много. Окей, вырубаем Max Mode, выбираем O3, молимся, чтобы не потратить 1000 долларов на один промпт и стартуем. Она решает заюзать шаблон Canvas, гуглит библиотеки, ищет JS, DOS в интернете. Думает, ищет и снова думает. В результате выдаёт один файл, думая, что на 120 строк. Обрывается связь. Окей, чекнем, сколько она потратила. И в плане денег это стоило мне 62 кредита в курсор. То есть в деньгах это где-то 2,5 доллара за

9:52 эти 120 строк кода. Реально жестко. Если я продолжил работу в этом диалоге, то каждый запрос будет стоить еще дороже, так как история диалога будет увеличиваться. По мне, так это слишком дорого и нет смысла продолжать работу. Я думаю, что без фиксированной цены за запрос или подписку нет смысла пока использовать такую модель в ежедневной разработке при такой стоимости. Так что предлагаю дисквалифицировать эту модель из эксперимента из-за слишком высокой цены. И опять врываясь из будущего, потому что 10 июня OpenAI дропнули цены на модель O3 и она вошла в стандартную подписку Cursor. Ее можно использовать без Max Mode. Так что теперь можно прогнать все тесты и на модели O3. Погнали. По думе порядок действий был точно такой же как у Gemini.

10:37 Модель заюзала шаблон конваса, затем решила запускать эмуляцию DOS. И на этом застряла навсегда. Ставлю минус в этом тесте. И переходим к нашей финальной модели. Это последний босс. Claude 4 Opus. Процесс похож на Sonnet 4, но Opus решает не юзать Three.JS шаблон. Он решил запилить Doom на чистом JS и конвасе, без фреймворков и библиотек. Звучит очень смело. Он хочет воспроизвести классический движок, который не является полноценным 3D, а скорее 2.5D. 5 минут спустя мы видим довольно стильный шутер с мини-картой и врагами. Довольно прикольно. И, кстати, не было ни одного бага или проблемы. То есть не пришлось помогать

11:22 опусу вообще ни с чем. Чисто один стартовый промпт и всё. Жирный плюс в этом тесте. Переходим ко второй задачке. Тут мы попробуем забелить еще одну игру для браузера с нуля, но на этот раз дадим ультраподробную документацию, которую я собрал, записав рекламу реальной игры в инстаграме и скормив это видео Gemini. Он неплохо умеет анализировать видосы, в отличие от ChatGPT. И чуть-чуть изменил условия, добавив онлайн составляющую, чтобы соперником был второй игрок, а не искусственный интеллект. Окей, Claude 3.5 Haiku.

12:08 Разработка игры завелась не сразу, Так как первые пару попыток модель выдавала чисто примеры кода в тексте без реального редактирования файлов. Когда завелась и закончила разработку, то она как будто забыла про свой инструмент работы с терминалом и все команды просила выполнять у меня. В коде было миллион багов. Я скидывал ей их, она что-то фиксила. После множества циклов правок игра так и не завелась. Неплохая попытка, но ничего не вышло. Ставлю минус в этом тесте. Gemini 2.5 Pro. Она заюзала шаблон Canvas. Написала базовые HTML, JS код и вдруг остановилась и решила спросить нас, нужно ли продолжать дальше реализовывать

12:54 основную часть игры. Говорю я продолжай, пока не сделаешь все до конца. Модель больше не останавливается, завершает обработку, но на фронте видимо ошибки. Я закидываю ей, понимая, что она вообще не запускает сервер, который необходим для работы такой онлайн игры. Gemini понимает, что нужно написать сервер, которого нет. И тут он говорит, что не может сам менять и создавать файлы, как я и рассказывал в начале. То есть он забыл, какие инструменты у него есть. Да, такое иногда бывает с этой моделью. Просит меня сделать это, и окей, я создаю и запускаю сервак по его инструкциям. Баги пропадают, но игра все равно не работает. Правит, игра запускается, но юниты не стреляют. Далее Gemini что-то

13:41 делал, но так и не смог пофиксить стрельбу, не вспомнил, что он сам умеет редактировать файлы. Приходилось применять фиксы руками. В общем, даю полбала за такую реализацию. Что-то работает, но не совсем то, что я бы хотел видеть. Gemini новой версии 06-05. Она заюзала Canvas, два раза попыталась скачать библиотеку Playwright вместо использования просто MCP. Поправила несколько ошибок, но затем мы получили очень хороший результат. Я не ожидал такого, честно говоря, от Gemini. Механика работает без всяких лишних кнопок входа и логина. Юниты ставятся и стреляют. Плюс. Дизайн игры максимально приятный.

14:28 Жирный плюс в этой категории. Респект. GPT 4.1 Ситуация чуть более приятная, чем Gemini. Он запустил полурабочий продукт, я ему закинул ошибки, он поправил. В целом дизайн получился более приятным, но и стрельба юнитов заработала корректно. Ставлю плюс. Claude 3.7 Sonnet. В разработке не возникало никаких проблем с инструментами или прерываниями на бесполезные вопросы. Но видно, что модель игнорирует MCP для работы с документациями и шаблонами, хотя в промте явно написано использовать их. Но игра была реализована, однако она не имела рабочее поле битвы. Работает только механика коннекта к одной игровой комнате.

15:13 Поэтому, к сожалению, ставлю только я минус. Четвертая версия Sonet. Сходу видно, что модель жестко следует промпту, проверяет существующие шаблоны проектов, гугли доку через Context 7 и система игровых комнат заработала сходу. После одного бага заработало все остальное. Я ставлю очень мощный плюс. О3. Он использовал шаблон конвас проекта, не запускал сам команда в терминале и просил меня это делать. Несколько раз заканчивал работу, получая версию, которая не имела ошибок, но и не работала должным образом. Не было понятно, как коннектиться игрокам, не было никакой синхронизации игровых полей у игроков. Спустя несколько фиксов игра начала работать более-менее

16:00 нормально, но дизайн, синхронизация полей и оптимизация под браузер работали ультра ужасно. Игра просто начинала зависать через какое-то время. Я ставлю только полбалла за такое. Claude 4 опус. Почти всё то же самое, что и с Sonnet. Следует инструкции. Один блокирующий баг при выставлении первого юнита, затем много багов с направлением стрельбы юнитов. В итоге направление не удалось пофиксить, но в целом игра работает. Так что пол балла.

16:46 Окей, я думаю, что с игровыми проектами более-менее понятно, поэтому предлагаю перейти к более полезным приложениям. Для следующего теста я взял идею, которая является полезной лично для меня для создания моих YouTube видосов, как этот. Это генератор анимированных визуальных схем в стиле Miro. Для, например, вставки с обучающим видео с озвучкой на фоне. Идея следующая. Я подаю на вход некий текст, который я озвучиваю в видео. А приложение мне рисует анимацию, где появляются блоки, стрелки, надписи. которые как бы описывают идею озвученную в видео. В итоге должна быть возможность смотреть полученную анимацию, редактировать тайминг изменения состояния объектов, чтобы подстраивать

17:32 скорость анимации под реальный текст. В качестве входного текста для генерации визуала я брал отрывок из своего предыдущего видео для MCP, где я рассказываю какие параметры придаются при взаимодействии с инструментом и нейронкой. Погнали попробуем. Claude 3.5 Haiku. Опять забыл, что он может работать с терминалом сам. Просил меня выполнять команды, летела куча ошибок и он пытался их фиксить, но в итоге все равно ничего не завелось, проект не взлетел. Минус. Gemini. Google решил запилить сервер на Python и использовать Poetry для сборки и запуска проектов. Запутался в его командах и зависимостях, ничего не работало. Куча ошибок и сервер так в итоге и не залетел.

18:17 Короче, минус. Gemini 06-05. On the usual canvas template. На этот раз использовал нормальный Playwright MCP. чтобы проверять работу в браузере. Но в итоге, спустя кучу изменений, диалог курсора стал слишком большим и его просто нельзя было технически продолжить. И мы оказались в тупике, так что это конец и минус в данной категории. GPT 4.1. Он без особых проблем написал код системы, которая даже выдвала что-то типа результата. Но никакой схемы таймингов или ключевых кадров я не увидел в результате. Просто какой-то невнятный текст ответа от нейронки, выписанный в один блок HTML. В общем ставлю минус

19:03 и идем дальше. Claude 3.7 Sonnet. Отработал офигенно. Без багов сделал систему, которая работает так, как нужно, но с неточностями в расположении блоков. Тут нужно докручивать систему, чтобы сгодилась хоть для какого-то видео, но в целом норм. Так что плюс. Четвертая версия Claude Sonnet. Тут он отработал ниже моих ожиданий. Спустя 40 минут и кучу багов, я вижу примерно такую же систему, как при разработке с klot3c. Ставлю плюсик с минусиком. Небольшой. O3. Он выкачал библиотеку Excalidraw для работы с графикой. Неплохо, я такого еще никогда не видел. Потом произошел разрыв

19:49 в соединении с интернетом и диалог обнулился. Печально, но продолжим. В итоге ответ от нейронки в формате JSON структуры анимации возвращался, но графика не рисовалась, то есть по сути ничего не работает. За такое можно поставить только минус, к сожалению. Opus. Спустя 15 минут генерации Opus просто ответил нам таймаутом и весь диалог испарился. Да, во время подготовки к видосу я тестил Opus и неоднократно получал такое же поведение. То есть это похоже на просто какой-то баг к Cloud Desktop. Из-за него пришлось объяснить еще раз, что мы до этого делали, ну и сразу попросить пофиксить баг.

20:34 Затем, из-за нестабильного интернет-соединения, Claude диалог обнулился еще раз. И затем, спустя пару багов, я получил результат на уровне сонетов. Только в нем почему-то каждый кадр очищал все, что было до него. В целом, стрелки и блоки получились бессвязными. Ставлю плюс с минусиком. Ну, так как это можно в целом Двигаемся дальше. Попробуем завойкодить в один промпт еще одну полезную программу. Автогенератор субтитров к видео. На вход подаем видео с голосом. Программа анализирует текст, создает субтитры, которые следуют за произнесенными словами. Такое можно сделать через приложение

21:20 CapCut, Opus Clip. Но давайте запилим свой собственный аналог такой программы. И в этом тесте будем сосредоточены только на разработке бэкэнда, без каких-то визуальных составляющих. Будем дергать запросы из интерфейса Swagger. Для распознавания речи будем использовать модель Speech-to-Text от OpenAI. И важный момент. Задачи на обработку видео будут асинхронными, они будут находиться в какой-то табличке Task, содержать статусы там Failed, Finished, Processing, чтобы пользователь мог отслеживать результат обработки видео асинхронно, запрашивая статус задачи или создавая 10 новых сразу. И пользователя мы будем привязывать к авторизации через Google. Так как это только бэкэнд,

22:05 то будем кидать чисто токен авторизации, который нам дает Google при входе в аккаунт. Полную документацию я сгенерил с помощью модели O3 от ChatGPT. Докрутил ее, убрав лишние технологии S3 и Redis, так как проект должен быть небольшой. Это слишком для такого микропроекта. Для тестового видоса возьму свое Shorts видео, переведенное на английский. Погнали тестить. Claude 3.5 Haiku. Окей, запускаю. Из-за короткого лимита ответа 1000 раз жму continue. Получаю вообще все существующие баги. Не хватает библиотек, не подтягиваются n в переменные, не работает авторизация, не обрабатывается видео. Ставлю минус. Gemini. Начал довольно быстро кодить, но загнался с poetry конфигом, не смог сделать

22:52 так, чтобы проект собрался и запускался без ошибок. В итоге минус. Не работает. Gemini 06-05 Он взял Python template, пофиксил пару проблем на запуске, проблем с авторизацией не было, прогнал видос и в итоге получил сегодня результат. Субтитры на месте, все работает, кайф. GPT-4.1 запилил проект, поймал пару багов, но успешно исправился. Проект отработал, сгенерил видео, но в результате мы видим полный текст, написанный в одном титре, без смены по мере разговора. Ставлю за это пол балла.

23:39 Вот она 3.7. Написал код и пофиксил микробак. Получил от 3.7 то, что вообще не ожидал такой хорошей модели, что в результирующем видео были субтитры типа «реальные субтитры должны быть здесь». Хотя в моей доке четко написано, что я хочу увидеть в результате. Окей. Пишу, доработай как надо, перезапускаю, генерирую и получаю результат точно такой же как в gpt 4.1. Полбала. Слабовато. Четвертая версия klotz.net. Накидал код, поймал пару багов, пофиксил, рестартанул и вот оно. Наконец-то. Результат, который мне реально нужен. Есть небольшое отставание текста от голоса, но в

24:24 целом механизм именно такой, который я и хотел. Кайф. Плюс за это задание. O3. Сначала O3 взял хитрую тактику. Он начал смотреть соседние папки, читать уже существующий код других моделей. Я подумал, окей, пусть попробуют списать. Но все пошло не по плану, и он начал просто редактировать код к лоду. Так что пришлось отменить и запустить в отдельном контексте, где нет других папок с существующим кодом. И в итоге получился сомнительный результат. Здесь весь текст транскрипции

25:12 складывается в один титр. Полбала. и опус здесь я получаю баг с логином пользователя через google ну это базовая ошибка прошу поправить перезапускаю генерирую и ура результат еще лучше чем при работе с sonnet 4 текст идеально синхронизируется с голосом нет слишком больших блоков текста все работает в общем кайф ура И последний прогерский тест в этом видео это фикс багов.

25:57 Мы будем править ошибки на фронте. У меня есть небольшая заготовка проекта в виде mirror slash paint в браузере. Пользователь может тут рисовать, располагать фигуры, вставлять текст, в общем работать с некой графикой. Меня в целом устраивает, как это работает, но несколько моментов, которые портят впечатление. Во-первых, пластик не стирает, а рисует черным цветом. Во-вторых, выбор цвета, заливки и обводки фигур, по сути, не функционирует корректно. И в-третьих, существует система слоев, как в фотошопе, на них можно что-то рисовать, скрывать, но нельзя перемещать слои вверх и вниз, чтобы настраивать задний и передний план. Попробуем это все исправить. Как обычно, начнем с Claude 3.5 Haiku. Он довольно быстро закончил фиксинг. Тестируем. Ластик вообще не работает.

26:44 Цвет фигур как будто еще более неочевидно настраивается. И кнопок перемещения слоев вверх-вниз нет. Ставлю жирный минус. Джиминай бодро накидал фиксов. Смотрим. Ага, ластик заработал. Обводка фигуры есть, но ее цвет не выбирается. Остается черным. По слоям новой кнопки перемещения не появились. То есть в итоге задача разрешена на половину. Так как за цвет фигур могу засчитать только пол балла. Gemini 06-05. 5 минут и фиксы готовы. Окей, смотрим. Пластик работает. Контур и заливка фигур тоже. А вот со слоями проблема. Кнопки не влияют на порядок слоев. 2 из 3 баллов за это задание.

27:30 GPT 4.1. Let's go. Накидал фиксов. Запускаем. Смотрим. Эластик не работает. Цвета фигур работают в целом норм. Кнопки переключения, слоев есть, но они не влияют на отображение. И в итоге ставлю один из трех баллов за это задание. Только за цвет фигур. Claude 3.7 Sonnet. Окей, фикс готов. Сломались кисти и карандаш. Но зато заливка фигур работает хорошо. Ластик работает как выделитель. Кнопки перемещения слоев есть, но они не работают. То есть дают только треть балла. Слабовато. Четвертая версия Клод Санет. Он первый, кто решился открыть проект в браузере и что-то проверить самостоятельно.

28:16 Он одебажил ошибку сборки. Ластик все еще не работает. Заливка и контур фигур функционируют корректно. кнопки перемещения слоев не влияют на результат и получается даём тоже один из трёх баллов. О3, пофиксил аналогично опусу, результат идентичный, но перемещения слоев нет. Опус, окей, пофиксил, вижу что наконец-то ластик работает. Цвет фигур нормально функционирует, но перемещение слоев, как и везде, не влияет на то, что мы видим. Два из трех багов пофикшена. Неплохо, но я ожидал большего. Ни одна нейронка не смогла пофиксить проблему с переключением слоев. Хотя у всех был доступ к браузеру для дебага и доступ к Context 7 для изучения документации.

29:02 То есть вайб дебаггинг это все еще очень сложное занятие даже на таких мощных моделях, как Claude Opus 4. Приступим к завершающему тесту, который не совсем стандартный, но очень показательный. Мы будем моделировать блендер с помощью MCP. В качестве модели предлагаю попробовать создать советскую панельку. То есть просто параллель пипец с какими-то деталями в виде окон, балконов, дверей. Погнали. Claude 3.5 Haiku. Подрубаем MCP. Запускаем. Получаем какой-то базовый прямоугольник. Ну... Я бы сказал, что это не совсем панелька, так что минус. Двигаемся дальше.

29:48 Gemini запускаем, говорим не юзать сторонние сервисы с моделями, доступные в этом MCP. Gemini очень долго думает и потом сходу выдает дом. Неплохо. Кирпич с окнами. Я поставлю уверенный плюс, хотя многих деталей как бы нет в этой 3D модели. Gemini 06-05. Он решил сделать угловое здание, реализовал на нем балконы на одной стороне. При этом окон я не увидел. Других деталей тоже. За такое поставлю, если только четверть баллов. Не больше. GPT 4.1, он попытался создать здание с окнами, но окна не подошли по габаритам, так что минус, это никуда не годится. 3.7 Sonnet, он решил

30:34 нафигарить большую сложносоставную схему, но жестко не попал с окнами. Зато деревья, двери и ступеньки неплохие. Дам ему за это полбалла. Четвертая версия Claude Sonnet. Здесь модель наградила несколько параллелепипедов друг в друге, но в самом центре видно довольно неплохую панельку с нормальными пропорциями окнами и балконами. Даже объектами на крыше. Однозначно плюс, хоть есть пара лишних объектов, которые легко можно удалить самостоятельно. GPT-O3. Запускаем и... Пум, получаем какой-то прямоугольник с линиями. Ну, окей. Opus. Жёстко продолбался с

31:20 окнами и балконами. Я его стопанул на продолжение, чтобы не генерировать кучу других бесполезных деталей. За такие окна я ставлю минус в этой категории, сори. Вот и первый проигрыш Опусу. Итоги. Сегодня я протестил самые лучшие модели, существующие на данный момент, которые используются для разработки и работы с использованием инструментов. В результате мы видим вот такую табличку. Очевидные лидеры в ней это Claude 4, Sonnet и Opus. Sonnet был хуже в исправлении багов и в дизайне дума. но зато с моделированием Blender справился превосходно. Haiku 3.5 по сути можно назвать самой неюзабельной моделью от Claude для программирования. GPT 4.1 и Gemini 2.5

32:07 частично годятся для каких-то несложных задач на разработку и взаимодействие с инструментами. но они часто тупят и застревают. Что же по поводу Sonnet 3.7? Он просто хуже, чем Sonnet 4. При этом цена одинаковая. То есть можно смело переходить на новую модель Sonnet 4. В общем, в среднем, модели от Antropic действительно обходят топовые LLM от конкурентов. Мое почтение. В ближайшее время постараюсь поработать с ними максимально плотно, репортить вам результаты и сообщать о каких-то открытиях. Так что подписывайтесь, здесь я буду делиться опытом использования ИИ инструментов, обзорами. Также подписывайтесь на мой телеграм-канал, там я пишу свои мысли, небольшие обзоры на то, что успел пощупать, истории успеха своих микропроектов.

32:53 Ссылка в описании.