0:00 В последнее время вышло слишком много новых нейронок. Рекорды в лидербордах бились почти каждую неделю. Google наконец-то порвал все метрики со своим Gemini 3 Pro и новейшим Flash. Новый Opus вернул Anthropic лидерские позиции в кодинге, а OpenAI планомерно наращивали мощь выходом GPT 5.1 и 5.2. В этом видео сравню топовые модели из лидербордов на VIP кодинг тестах, заставляя их сделать сложные проекты в один промпт, и попробую выяснить, кто все-таки сейчас лучший в программировании. Погнали! Привет, меня зовут Олег. В обычной жизни я разработчик, а на этом канале вайб кодер. Тут я тестирую нейронки и инструменты, собираю микропроекты и автоматизации. Смотрю, что реально работает, а что только хайпуют. Какие модели сегодня будем сравнивать? От Anthropic возьму Sonnet 4.5 и Opus 4.5, также аналогичную пару моделей от Google - Gemini 3 Pro и Flash, плюс флагмана от
0:48 OpenAI GPT 5.2 с выключенным на максимум thinking режимом, включив его на extra high. Также для интереса докину скоростной Composer 1 от Cursor, две мощнейших open source модели Kimi K2 и GLM 4.7 и китайского титана Qwen 3 Max. Перекачанную GPT Pro от OpenAI не тестирую, так как ее нет ни в одной подписке на кодинг инструмент даже за двести долларов. Соответственно, ее можно подрубать только через API ключ, а по API эта модель съедает десятки и сотни долларов за считанные минуты. Я попробовал затестить, но при минимальном прогрессе по задаче она сожрала где-то пятнадцать баксов. На этом я решил скипнуть ее тестирование. К сожалению, мой бюджет пока что не вывозит вайб кодинг на этой модели, да и она реально очень медленная для кодинга. В качестве среды разработки я сегодня возьму Cursor, так как шесть из девяти моделей в нем доступны из коробки, соответственно,
1:33 их условия будут максимально одинаковыми. Для остальных буду использовать Cline с интеграцией через API ключ, так как в Cursor они совсем не заводятся. И в качестве провайдера всех текстовых моделей по API сегодня я буду использовать Polza AI. Это отличный агрегатор API, который позволяет тестировать и использовать сотни LLM, легко подключив их в любой проект. Если вы пилите свои AI сервисы, экспериментируете с LLM или строите автоматизацию в духе HeyGen, то советую присмотреться. Все работает без VPN и зарубежных карт. Интерфейс API совместим с OpenAI, соответственно, нет никаких проблем интегрировать Polza AI в любой проект. Например, в Cline просто выбираю OpenAI Compatible тип провайдера, прописываю base URL, API ключ и нужную модель. Готово! И интеграция работает.
2:19 Аналогично все делается в коде, если нужно реализовать какой-нибудь AI сервис. В общем, если вас останавливали сложные способы оплаты, VPN, боязнь банов и другие проблемы, то попробуйте Польза AI. Сервис реально упрощает жизнь. Плюс туда еще подвезли генераторы изображений. Можно использовать NanaBanana, GPT Image, Seedream. Это очень полезно для многих AI проектов. Ссылка на сервис в описании. Регистрируйтесь, тестируйте, интегрируйте в свои проекты. А теперь перейдем к первому тесту. Для разогрева начнем с простой задачки. В последнее время я начал ощущать, что многие вещи в жизни делаются слишком сложно. Нужно делать какие-то многоходовки, соблюдать тайминги, получать справки и документы. Все это достаточно трудно и неприятно держать в голове. Однако если представить, что ты не просто делаешь странную справку под визу, а выполняешь сайт квест из RPG фэнтези игры,
3:07 то тревога уходит. Ты типа просто игрок, который выполняет задание. И по эту тему мне пришла в голову идея запилить базовый to do list, но в стиле фэнтези. В нем должны быть ачивки за выполненные задания, предметы и атмосфера такого Средиземья. Думаю, этот проект прекрасно подойдет для первого разогревочного теста нейронок. Для референса вайба я подобрал вот такие вот картинки на Pinterest, чтобы все модели смогли понять сюжет, цвета и стиль картинок, я попросил GPT описать очень подробно каждый из этих изображений. Получил вот такой вот промпт, дополнил его своими хотелками по функционалу и в конец добавил угрожающий текст с условиями сегодняшних тестов. А условия вот такие: на каждую задачу я даю один стартовый промпт с описанием всего проекта. Затем проверяю результат реализации и если что-то не так, то делаю до пяти дополнительных вызовов модели с подробным
3:54 описанием найденных багов. После пятого исправления результат считаю конечным. Описание этих правил в промпте заставляет модель тестировать результат самостоятельно и останавливаться, только если она реально уверена, что все будет работать корректно. Такую фишку полезно применять, чтобы сэкономить время на ручном доталкивании задач, где вероятность ошибиться очень высока. Вот такой вот промпт для фэнтези to do листа получился. Что важно, я хочу, чтобы иконки квестов были выполнены с помощью эмодзи, которые сгенерировала LLM на основе текста задания. Плюс ачивки за выполнение квестов тоже должны даваться с текстом от нейронки. И для моделей из Cline я добавил приписку, где смотреть rules, которые в курсоре работают по умолчанию. В этих правилах описал работу с MCP Context 7, плюс как правильно менеджить Python код, если он будет. Полный текст промптов, проектов и правил будет в описании видео. Запустив промпт для каждой модели, я
4:42 получил интересный результат. Давайте будем идти и смотреть от самых дешевых к самым дорогим моделям. Composer сделал страшноватый дизайн. В программе не было ачивок и предметов. GLM 4.7 создала рабочий продукт. Квесты создаются, но не помечаются выполненными. Ачивок нет. У Kimi K2 задачи создаются, но не завершаются. И хочу отметить, что Kimi K2 почему-то постоянно зависал после каждого действия. Это дико бесило. Gemini Flash более-менее работает, хоть и нет предметов. Qwen 3 Max не смог дописать код, застряв посередине. В проекте GPT все работает, дизайн норм, механики есть. Gemini Pro - странно, но создание квестов после всех фиксов так и не заработало. У Sonnet все работает, дизайн хз, но в целом норм. И Opus сделал все как надо. Ачивки, предметы, иконки, дизайн крутой, шрифты -
5:30 кайф. Вот такие оценки даю моделям на этом этапе и погнали дальше. Во второй задаче я решил создать систему для сбора информации с Reddit. Reddit - это что-то типа форума с широкой аудиторией по всему миру. Люди там часто пишут о своих проблемах, комментируют и обсуждают боли, делятся решениями. Reddit - это хороший источник идей для стартапов. На основе желаний и проблем пользователей можно придумывать много хороших продуктов. Я решил запилить систему, которая собирает тексты постов и комментариев к ним, затем пропускать через LLM, выявляя, какие проблемы есть у автора, вычислять эмбеддинги на основе текста проблемы, выявляя вектор смысла, и по этим векторам строить карту найденных проблем, чтобы визуально находить скопления похожих болей. Сбор данных решил сделать через имитацию браузеров PlayWright на всякий случай, плюс с использованием прокси, чтобы избежать бана. Без прокси такие системы всегда
6:17 упираются в один IP, который очень легко заблокировать на стороне источника, а нам нужно этого избежать. Прокси позволит использовать множество разных IP в нужной нам локации. Однако проблема в том, что у множества провайдеров прокси грязные. Это приводит к куче ложных блоков в виде капч, редиректов. В таких кейсах кажется, что баг в коде, а на самом деле в инфраструктуре.... Поэтому для таких задач я использую NodMaven. У них заявлено девяносто пять процентов чистых IP, сессии могут держаться до двадцати четырех часов, плюс есть нормальная фильтрация по качеству прокси, локации и другим параметрам. Очень удобно, когда нужно что-то конкретное. Для своего проекта возьму США, Калифорния, город рандомный. Думаю, Reddit понравится моя локация, так как он базово ориентирован на западные страны. И еще прикольная штука: в NodMaven есть speed-фильтр, который позволяет
7:04 открывать сайты быстрее, практически со скоростью домашнего интернета. Это помогает в кейсах, где важно время. Если тоже хотите использовать качественные прокси, то переходите по ссылке в описании. По моим промокодам скидка пятьдесят процентов для первых пятидесяти пользователей и плюс сто процентов к трафику. Вот такой вот промп проекта у нас получился. Смотрим результат. Composer не справился, после пяти фиксов не работает. GLM 4.7 запускается, что-то майнит, но в итоге ничего не получает. У Kimi K2 фронтенд открывается, но ничего не стартует по кнопке "Старт". Gemini Flash через два промпта все исправил. Карта немного неудобная, но работает. Она содержит как комменты, так и посты. Qwen 3 Max после фиксов не завелся, система не находит информацию. У GPT система сходу заработала. После двух промптов были исправлены мелкие детали типа зума и
7:51 размера точек. Gemini 3 Pro запустился, но ничего не нашлось. Хм. У Sonnet все работает, но комменты не подгрузились в систему. И Opus сделал все за три доп промпта. Вот такие оценки получаются за этот тест. Идем дальше! В последнее время я часто использую Dokploy для менеджмента проектов на серверах. Он позволяет довольно удобно поднимать любые образы в пару кликов через коннект GitHub аккаунта, однако я не нашел в нем возможность поднимать паблик репозиторий без логина в аккаунт. Иногда это мне нужно при настройке чужих серверов, так как я не хочу оставлять доступ к своему аккаунту, и также в Dokploy нет алертов, если что-то отвалилось, и какого-нибудь встроенного редактора, чтобы поднимать простые кастомные образы. Да, можно попробовать перейти на Coolify, у него вроде более широкий набор фич, но давайте попробуем в этом тесте разработать свою кастомную админку под мой запрос. Вот такой вот промпт я составил. Я хочу получать алерты
8:40 в Telegram, чтобы оперативно реагировать на сбои, ну и все остальное, что я перечислил ранее: GitHub, редактор, плюс настройка доменов и HTTPS. Но проверять домены я пока не буду, так как на персональном компе это сделать достаточно сложно. Надо ставить на сервак и там уже тестить. Запускаю кодинг агентов. Composer сделал проект, в котором ничего особо не работает, ничего не диплоится. У GLM 4.7 что-то запускается, но в браузере ничего нет. Kimi K2 после всех фиксов не смог ничего завести. У Gemini Flash коннект к GitHub вроде есть, но private репозитории клонируются пустыми. Логи сборки особо не отображаются, но паблик проекты запускаются, если имя уникально. Дизайн ультрадефолтный. Qwen 3 Max - дизайн жуть, супер простая форма создания проекта, и она падает с ошибкой. Фиксил это все час,
9:28 сожрав около десяти баксов, но ничего не исправил. У GPT практически все заработало сразу. Через два промпта все стало работать идеально. Справился быстрее всех. Довольно приятный дизайн, понятный интерфейс. В целом круто. Gemini 3 Pro. После всех фиксов все более-менее завелось, только если Docker где-то не собирается, падает, ничего не видно ни в интерфейсе, ни в логах. Плюс дизайн ультраплохой, очень отталкивает. У Sonnet через пять исправлений все работает: интеграция с GitHub, редактор файлов, запуск, остановка. Только алерты не успели завестись. И Opus через пять фикс промптов работает идеально. Все виды запуска проектов функционируют: паблик, private репозиторий, редактор кода, поиск по логам с and, or и скобочками, запуск, остановка, алерты в Телеге. Вот такие
10:18 баллы за этот тест. Идем дальше. И теперь реально полезный тест. Я часто думаю о том, чтобы переводить свои ролики на другой язык, например, на английский. С современными технологиями это вполне можно делать автоматизировано, однако из доступных решений почти ничего не работает достаточно качественно. У HeyGen есть автоматический дайвинг, но кастомизация очень слабая. Остальные сервисы еще хуже. Из интересного я нашел только Dubly. Там за сто евро можно перевести тридцатиминутный видос с более-менее годным редактором, но они просят еще сто евро за липсинк, чтобы рот на видео двигался в соответствии с переведенным голосом. Для меня это немного дороговато. Плюс в последнее время я изучил достаточно моделей, попрактиковался в создании связок, поэтому, кажется, могу собрать свой pipeline для реализации дублирования видео на любой язык, плюс редактор для исправления проблем с переводом и озвучкой. Система будет работать так: из
11:06 исходного видео будет доставаться звук, затем мы будем его транскрибировать с помощью ElevenLabs, переводить с LLM и озвучивать с помощью клонирования голоса в Minimax, и делать липсинк в Pixverse. Хорошо, что с генератора коротких роликов у меня остались примеры кода, где я интегрируюсь с Minimax и Pixverse. Я докину их в начальную папку, чтобы модели сразу понимали, как работать с этими API. Вот такой вот промпт вышел. В нем я прошу сделать редактор с поэтапной генерацией. В нем можно будет править оригинальный текст, переводы, перегенеривать голос и смотреть, что получается. Запустим! Composer выдал как будто работающий проект, но по факту в нем транскрипция не возвращает никакие слова, и все остальное не имеет смысла. У GLM 4.7 система работает, результат есть, но превью на всех этапах не отображается. Vibe Coding - is a new way of creating programs, where
11:52 you forget that code even exists. You just describe what you want in plain language, and the neural network writes all the code for you. Today I am implementing a project for automatic video cutting based on a script, and I will do it with an absolute vibe coding approach, without looking at the program files at all. Kimi K2 после всех исправлений не завела даже транскрибацию. У Gemini Flash через пять фиксов транскрипция и перевод работают, дальше падает на озвучке голоса. Qwen 3 Max не смог порешать транскрибацию. У GPT через два фикса результат отличный, все понятно и предсказуемо работает. Есть прогресс в процентах у каждой задачи. Голос странноватый, но, вероятно, из-за неправильной модели Minimax можно будет -позже поправить. -Vibe Coding is a new way of creating programs, where you forget that code even exists.... You describe what you want in
12:38 plain language, and the AI writes all the code for you. Today I'm implementing a project for automatic video cutting based on a script. Gemini 3 Pro. После фиксов в целом система завелась, но без выбора существующего voice ID и нормального превью финального результата в браузере. После скачивания все ок, пользоваться можно. Vibe coding is a new way of creating programs, where you forget that code even exists. You simply describe what you want in plain language, and the neural network writes all the code for you. Today I will implement a project for automatic video -cutting based on a script text. -Sonnet через пять исправлений так и не справился с ошибкой transcription failed и Opus. Программа без исправлений сразу заработала. Была только пара мини проблем. Через два фикса все офигенно работает. Vibe coding is a new way to build software, where you forget that code even
13:23 exists. You just describe what you want in plain English, and the AI writes all the code for you. Today I'm building a project that auto cuts video to match a script. Вот баллы за текущий тест. И перейдем к традиционному завершающему тесту LLM модели. Будем проверять пространственное мышление текстовых моделей, заставив их создать 3D модели в Blender с помощью MCP. Если что, как подключать такой MCP, я показывал вот в этом ролике. В прошлых тестах Blender я всегда просил создать советскую панельку, но сегодня у нас очень умные модели. Хочется сделать что-то чуть более сложное, поэтому предлагаю создать 3D модель японского замка Мацумото. Он красивый, не супер сложный, но и не совсем квадратный. Погнали, реализуем! Вот такой вот промпт получился. Запускаем, результат можете видеть сами.
14:16 Мне больше всех нравится результат GPT и Opus. И вот такие вот финальные очки получились. GPT победил абсолютно во всех тестах. Кажется, дело именно в его extra high thinking режиме. Он думал реально очень долго. В последнее время, кажется, очевидной связь между временем размышлений, модели и качеством итогового результата. Opus в этом плане, видимо, не так сильно напрягается, хотя и выдает все еще очень отличные результаты. Разница между этими моделями в сегодняшних тестах была практически незначительная, чисто в деталях и микро моментах. Самым быстрым из всех моделей было определенно Composer, однако его результаты не супер крутые. Думаю, его прикольно использовать для мелких конкретных задач, где не нужно перерабатывать целую систему. Также удивил Gemini three Flash. Его стоимость и результаты находятся в очень хорошем балансе. Это, кажется, самый хороший
15:04 вариант для бюджетного AI кодинга. И хочется отметить, что в таких задачах сильно важна комбинация инструмента и модели. Kimi K2, Qwen и GLM, например, подключались к Cursor и даже реагировали на какие-то промпты, однако почему-то не могли брать в работу задачи сегодняшних тестов и смогли запуститься нормально только в Cline. Возможно, по аналогии модели от Anthropic будут работать более эффективно в Claude Code, а Qwen в каком-нибудь Qwen Code, возможно, но это отдельная тема уже для других тестов. И что еще сегодня я заметил, так это то, что можно реализовывать небольшие MVP стартапов для себя в один промпт, если есть нормально описанная логика работы системы и примеры использования нужных API. Теперь бутылочное горлышко разработки - это не код или промпты, а изучение документации, тестирование, продумывание алгоритмов и архитектуры. Эти этапы
15:51 занимают больше всего времени. Прикольно! Теперь хочется попробовать поделать в один промпт реальные продукты с д и монетизацией. Кажется, сейчас это уже вполне реально. В общем, такие вот выводы и результаты. Такое начало 2026 года. Интересно, что будет происходить дальше в этом году? Увидим ли мы какие-то кардинально новые модели, может быть, новые архитектуры или подходы? Посмотрим. А пока подписывайтесь на мой канал. Здесь я продолжу тестировать модели, сравнивать инструменты, показывать свои небольшие проекты. Также подписывайтесь на мой Telegram канал. Там я иногда пишу полезные штуки про AI и кодинг. И пишите в LS, если нужна помощь с автоматизацией или внедрением нейронок. Ну, все, увидимся!
