Маленькие LLM как агенты - тест локальных моделей до 8B

0:00 Всем привет. На связи специалисты из компании Seriflow. Сегодня в этом видео мы проверим, насколько маленькие локальные модели вообще годятся для агентских задач для нормальной работы через Open CД с реальным репозиторием Tools, Agent MD и понятным результатом на выходе. Все модели будем запускать локально через lama CP с контекстом 64.000 токенов. Фиксировать будем не только то, решила модель задачу или нет, но и сколько памяти она съела, сколько времени работало. В тестах участвуют модели от 3 до 9 млрд параметров. И здесь как раз интересно посмотреть, где маленькие модели смогут вытянуть задачу, а где начинают нести чушь. Приступим к первому тесту. Первый тест - это работа с готовым проектом Focusбоard. Это небольшое приложение для продуктивности небольших команд в локальной сети. Есть полноценный фронт-endнд с бэкэндом, также набор тестов и документация. В репозитории уже есть Agent MD, то есть у

0:47 модели есть правила работы с проектом. Смотрим, умеет ли она действовать внутри существующей кодовой базы, а не просто писать код с нуля. Задача у неё такая: добавить корректное автозавершение Focus Session и живой countт в интерфейсе. При этом модель должна сама найти нужные файлы, не трогать лишний код, не ломать контракты Апи и работать точно только с логикой Focus Session. Первая модель на тесте - это Nanbage 4.14B. Что хочется сказать сразу, так это то, что модель излишне рассуждает. Но с другой стороны, это её главная фишка. Для своего количества параметров за счёт глубокого рассуждения она может решать непростые задачи. Но как модель для работы с готовым проектом она слаба. Главная проблема - это некорректный вызов тулов. Я пытался менять джинджеобразец, топпи, температуру, но ничего не помогало. Модель не справилась с тестом. Вторая модель - это Minниal 33B. На первый взгляд мне показалось, что эта малютка

1:33 сможет меня удивить и решить задачу, но что-то не получилось. Модель усердно старалась помочь. После первого сообщения о завершении я запустил программу и была ошибка. Отправил ошибку модели для исправления, но со второй и даже не с третьей попытки ошибка не была исправлена. Модель провалила тест. Третья модель - это Ken 3,5 4B. Модель очень умная для своего количества параметров. Сначала посмотрела проект, проанализировала, что да как, и приступила к задаче. Явных проблем с ней замечено не было. Скажу лишь то, что модель увидела, что в проекте есть тестирование проекта и захотела добавить тесты на новую функцию. Это у неё не получилось, но это неважно. Задача модель справилась успешно. После начала сессии таймер работал, а по завершению сессии автоматически завершалась. Четвёртая модель - это Animatron 3 Nano

2:20 4B. С этой моделью, к сожалению, получилось примерно то же, что и Sun Beage. В теории она выглядит интересно, но на практике в связке с OpenC возникли проблемы с вызовом тулов. Я пробовал менять джиндже шаблон, пытался как-то подкрутить окружение, но на итог это не повлияло. В результате модель так и не смогла нормально встроиться в рабочий процесс и до решения задачи не дошла. Для такого сценария это уже достаточно, чтобы считать тест проваленным. Пятая модель - это Гема 4B. Гема показала себя уже заметно лучше. С первого раза задачу она не закрыла, и в процессе пришлось несколько раз возвращать её в нужное русло, указывая, что именно нужно поправить. Но важно то, что модель всё-таки умела держать контекст задачи и постепенно двигалась к рабочему решению. В итоге только с четвёртой попытки она смогла доделать функционал до конца. То есть результат положительный, но назвать его уверенным точно нельзя. Шестая

3:05 модель Сера 8B. От этой модели ожидания были выше, и в целом потенциал у неё чувствуется, но поведение оказалось нестабильным. Несколько первых запусков она просто зацикливалась и не смогла нормально завершить задачу. Я пытался понять, можно ли это вылечить настройками вроде температуры или топ, но внятной информации под этот кейс не нашёл. В итоге только с четвёртого запуска модель всё-таки справилась. Формально тест пройден, но по факту это был далеко не самый надёжный результат. Седьмая модель - это Ministral 3 8B. Сейчас мы заходим уже в семейство моделей 8 млрд параметров. Здесь уже пошёл совсем другой уровень. Модель с первого раза поняла задачу, аккуратно прошлась по проекту и не просто реализовала нужную логику, но ещё покрыла её тестами, а потом проверила, что всё работает корректно. И это как раз то, чего маленькие модели до этого чаще всего не смогли сделать без ошибок

3:50 или дополнительных попыток. На фоне предыдущих участников Министрал 38B выглядело очень собранно и уверенно. Восьмая модель - это Н 359B. С этой моделью ситуация получилась немного обидной. На первый взгляд всё шло отлично. Она с первого раза сделала задачу, написала тесты и в целом выглядела очень уверенно. Но при реальной проверке оказалось, что таймер завершался моментально. То есть ключевая логика работала неправильно. Я пытался несколько раз отправлять модель на доработку, но даже после трёх дополнительных попыток она так и не смогла нормально исправить поведение. Поэтому, несмотря на сильный старт, итоговый результат здесь отрицательный. Девятая модель Omnicoder 9B. Омникодер в этом тесте показал себя лучше всех. модель очень чётко разобралась в проекте, сразу пошла в нужные файлы, реализовала функционал с первого раза,

4:37 покрыла всё тестами, не допустила каких-то заметных косяков. По ощущениям это был один из самых уверенных и аккуратных прогонов во всём сравнении. Здесь как раз тот случай, когда модель не просто решила задачу, а сделала, так сказать по-настоящему по-взрослому. Вот таблица с итоговыми результатами моделей. Здесь написана модель, тип комантизации, ну и время выполнения, которое ушло у неё на задачу, и какой итог у неё в итоге получился, смогла она решить задачу или нет. Второй тест уже другой. Это webсarch задача. Здесь модель работает как агент с инструментами поиска и файловой системы. Ей нужно через webсarch найти свежие новости и посты про новую модели генерации изображений за период с января по апрель 2026 года. Отфильтровать только релевантный материал и сохранить результат Jonфайл в рабочей директории. Это хороший тест именно на агентность, потому что здесь важен весь пайплайн целиком. Поиск, отбор, верификация,

5:23 сохранение в корректном Jon формате и аккуратный финальный вывод. Первая модель NBA 413B. модель смогла найти нужную информацию по запросу, но на этапе сохранения результатов jon начала эволюционировать и нормально записать файл так и не смогла. То есть часть задачи она выполнила, но финальный результат получен не был. Вторая модель Ministral 33B. Сдача в целом модель справилась неплохо. Она нашла информацию, сформировала Jon и довела сценарий до конца. Хотя качеству источников есть вопросы, и confнс местами был расставлен странно, а, но всё завершилось. Вначале ещё была проблема с MCP, но здесь не до конца понятно, была ли это ошибка модели или окружения. Третья модель 3,54B. КН отработал здесь очень уверенно. Модель нашла хорошие, релевантные материалы, без проблем собрала всё в нужен же и в целом сделала задачу очень чисто.

6:09 Каких-то явных недостатков в этом тесте замечено не было. Четвёртая модель 3 Nano 4B. Формально модель задачу выполнила, информацию нашла и результат выдала. Но сам результат получился слабее остальных. Ссылок было мало, и часть найденного выглядела не совсем в тему. То есть тест закрыт, но качество исполнения среднее, но зато она справилась быстрее всех. Пятая модель Гемы 4 Е4B. Гема нашла нужную информацию, но сначала не справилась с сохранением результатов файл. Только с третьей попытки она поняла, что именно нужно сделать, создала новый файл и записала туда найденные данные. Итог положительный, но с заметной шероховатостью. Сера снова упёрлась не в поиск, а в поведение агента. информацию она находила, но на этапе записи ушла в цикл и так не довела задачу до конца. В процессе модель ещё и сожгла около 200 webсarch запросов, так что этот тест для

6:56 неё провальный на 100%. Седьмая модель Ministral 3,8B. А Ministral 3,8B справил задачей с первой попытки. Модель достаточно корректно нашла информацию, сохранила её в нуже GON и при этом достаточно адекватно расставила Confidence. Очень уверенный и аккуратный результат. Восьмая модель Qu9B. Эта модель тоже отработала с первой попытки и показала один из лучших результатов в тесте. Она нашла больше всего информации, причём информация была актуальной и релевантной, после чего без проблем сохранила всё в Jon. Очень сильный результат. Хвалим. Девятая модель Omnicoder 9B. Омникодер во втором тесте показал себя очень хорошо. С первой попытки нашёл много полезной информации, корректно записал всё в файл и в целом прошёл сценарий без лишних

7:42 проблем. быстро, аккуратно и по делу. Во втором тесте разброс получился очень большой. Часть моделей нормально находила информацию, но ломалась уже на самом простом этапе записи результата JSON. Кто-то делал задачу с нескольких попыток, кто-то уходил в цикл, а самые сильные модели закрывали всё с первого раза, находили релевантные источники, собирали нормальный JON и без проблем сохраняли файл. Третий тест - это бенчмарк на Tool callлинг для локальных моделей. Мы подготовили тест для оценки работы с тулами у локальных маленьких моделей. В этом тесте модель не пишет код, не делает webсarch. Она должна правильно решать, когда вызвать инструмент, какой инструмент выбрать и когда не вызывать ничего. Внутри бенчмарка 12 фиксированных промтов, из них простые вызовы, неоднозначные запросы, restrain промпты, где корректно не делать лкол, и хардпромпты с ловушками на неправильный выбор тула. Оценка считается по метрикам, которые у

8:28 вас на экране. Коротко мы будем оценивать долю корректных вызовов, долю корректных отказов. В итоге будем подсчитывать итоговый балл. Это взвешенная формула из следующих метрик. тоже у вас всё на экране. То есть здесь проверяется именно агентное поведение в инструментальном режиме, точность выбора действий, безопасность, устойчивость и практическая пригодность модели для локальных engн сценариев. Для честного сравнения все модели запускаются на одинаковом наборе промтов, и каждая модель запускается 10 раз для того, чтобы убрать погрешности в расчётах Agent score результатом прогона Бенчмарка видно, что бенчмарк отрабатывает корректно. Более стильная модель действительно поднимается выше в рейтинге. GO 431B получил Agent Score 0,92. Это не основной участник сравнения с малыми моделями, а контрольная точка, которая показывает, что шкала метрик работает как надо. Если смотреть именно на

9:14 компактное модели, лучший баланс в этом запуске показал Animatron 3 Nano 4B 0,8 score при средней задержке около 3 секунд. Это уже практический уровень для локального агентного пайплайна. Следом идёт плотная группа Serра 8B, Омникодер 9B и, как ни странно, Qu4B с одинаковым agent скором 0,7. Модели рабочие, но заметно уступают лидеру по устойчивости решений. Отдельно интересно, что Ministral 33B остаётся самой быстрой моделью в таблице, но по качеству решения она ниже. То есть компромисс, скорость против надёжности здесь очень хорошо читается. Чем агрессивнее оптимизация подлетенси, тем чаще падает итоговый агентский скор. А практический вывод простой. Для реального локального использования сейчас самым удачным вариантом из малых моделей выглядит Нематро 3 Nano 4B. А

10:01 большая гема 431B в этом тесте подтверждает верхнюю планку и валидность самого Бенчмарка. Итог здесь простой. Маленькие модели уже могут быть агентными, но далеко не все. Кто-то красиво рассуждает, но ломается на тулах. Кто-то ищет информацию, но не может нормально завершить задачу. а кто-то действительно проходит весь сценарий от начала до конца. Для меня лучшие результаты в таком видео показали те модели, которые были стабильны именно в реальных задачах, а не только в сухом бенчмарке. И это, наверное, главный вывод всего теста. С вами были специалисты из компании Serflow. Подписывайтесь на канал, ставьте лайки. Всем пока.