0:00 Всем привет, друзья. К нам в наличие приехала новая серверная платформа от ASUS, которую мы хотели вам показать. И для этого как раз подвернулся веский повод. 31 июля вышел Deeps Sequш 0731, который уже успел навести кучу шума. Мы решили показать вам, на что способна эта нейронка, и заодно показать железо, на котором мы развернём её локально для этого видео. Оно будет разбито на две части. Первое, делаем акцент на железе, а во второй мой коллега с канала Serverflow AIP покажет работу модели в реальных задачах. В общем, сегодня комплексно смотрим на интересное железо и на его возможности с самой свежей моделью. Начинаем с видеокарт. Сами веса модели займут около 16 ГБ, KV, кэш и прочие накладные расходы ещё около 30ти. Итого для комфортной работы с моделью потребуется 190 ГБ видеопамяти. Идеальный вариант для запуска связка из
0:46 двух RTX Pro 6000 Blackwell. Две карты дадут 192 ГБ GDDR7 видеопамяти и два мощнейших чипа на последней архитектуре. А ещё эта карта существует в двух исполнениях: Workstation и Server Edition. Подойдёт как для сборки рабочей станции, так и для сервера в стойку. Коротко говоря, это просто лучший выбор для нашей задачи. Но как всегда, без неприятных нюансов не обойтись. Если ещё 3-4 месяца назад эти карты были в наличии в России в большом количестве по миллиону 1. 200, то теперь найти их не под заказ будет проблематично. А цены взлетели до 1.802 млн руб. Поэтому в этом видео мы покажем, так сказать, антикризисное решение. За те же деньги мы можем купить 4 RTX Pro 5000 Blackfall. В линейке профессиональных карт она стоит на ступень ниже про 6.000 и уступает ей примерно 30% по
1:33 производительности в нейронках. При этом сборка из 4 Pro про 5.000 будет отставать от 2 Pro 6.000 примерно на 30% из-за разделения модели на четыре части и сопутствующих этому задержек. Зато в такой конфигурации мы получим целых 288 ГБ видеопамяти вместо 192. Получается идеальный баланс. Производительность ниже на треть, но памяти больше на 50%, что позволит запускать модели большего размера и даст свободу в выборе нейронок. При этом потребление системы останется на том же уровне. TDPU у Pro 5.000 ровно вдвое ниже, так что её и охладить будет проще, чем серверную версию благодаря активному охлаждению. И установить её можно будет в любой GPU-сервер, в отличие от огромной Workstation версии Pro 6.000. Поэтому карточка, которая ещё недавно была в тени флагмана, сейчас стала его компромиссной заменой, достаточно
2:19 быстрой, с большим объёмом памяти и без проблем с наличием. Дальше нам нужна платформа, которая эти четыре карты нормально разместит и охладит. Мы остановились на Asus ESC4000A E12. Это двухюнитовый GPU-сервер на сокете SP5 под AMD Epic четвёртого и пятого поколения с TDP до 400 Вт. По каналам памяти сервер не урезан. На плате разведены все 12 каналов DDR5, но максимальная частота здесь осталась от четвёртого поколения, 4.800 МГц. Для эпиков пятого поколения это небольшая ложка дёгтя. Кстати, важный момент, ревизия у нас в наличии поддерживает эпики пятого поколения, потому что сервер выпущен после мая двадцать пятого года. Если будете покупать такую платформу не у нас, обязательно проверяйте ревизию. Главная фишка этого сервера - нестандартная компоновка. ASUS перенесли блоки питания в переднюю часть
3:06 корпуса. За счёт этого задняя половина полностью отдана под GPU зону. Здесь две Razеer-карты, каждая под две полноценные двухслотовые видеокарты. При этом подключение питания здесь вынесено на заднюю панель удлинителями, чтобы сервер можно было нормально поставить в стойку без сомнительного кабельменеджмента на передней части. Получается очень продуманная схема. Спереди блоки и диски, посередине процессор, по бокам видеокарты. Воздушные потоки разделены, и основные компоненты не греют друг друга. При этом ASUS предусмотрели несколько зон продува. Основной вентиляторный блок гонит воздух через центральную часть платы, охлаждая радиатор на процессоре, память VRM и остальные компоненты на плате. Отдельно справа и слева стоят блоки по два вентилятора для обдува видеокарт. Боковые кулеры от Delta Electronics 80 мм до 16.400 оборотов в минуту.
3:53 Номинальный ток 4,3 А, пик 7 А. Центральные вентиляторы от NDК 60 мм 5,5. А, они меньше, но собраны по два в один блок и раскручиваются до 22.300 оборотов в минуту. Для процессора предусмотрен отдельный пластиковый диффузор. Он направляет поток от четырёх вентиляторов прямо на радиатор CPU. Сепитания расположены как раз перед радиатором и за ним, чтобы максимально эффективно охлаждаться. Чуть дальше расположен Aspit 2600, контроллер удалённого управления, который отрисовывает изображение и даёт нам возможность удалённо управлять сервером через оболочку ASUSA SMB11M. Можно мониторить показания датчиков, управлять питанием, подключаться через HTML5 консоль, заходить в BIOS и обновлять прошивки Беоса и BMC удалённо. А если при обновлении что-то пойдёт не
4:39 так, можно быстро вынуть микросхему, закинуть её в программатор и перешить прошивку вручную. Рядом расположен порт для модуля PFR. Он выполняет роль аппаратного корня доверия и защищает прошивки сервера от несанкционированных изменений. Дальше задняя панель. На ней стандартный набор интерфейсов. 2 USB 3.2 RJ45 для удалённого доступа, 2 гигабитных RJ45 от сетевой карты Intel i350, VJA, два индикатора работы, кнопка включения, ну и подключение для блоков питания. Из приятного ASUS радует передней панелью. На ней расположены ещё четыре USB 3.2 Gen1, индикаторы работы сервера, кнопка питания, кнопка UID и даже посткодер, который очень сильно помогает, если у сервера возникли неполадки с запуском. Также в передней части корпуса расположены два блока питания по 2.600 Вт с платиновым
5:25 сертификатом, которые работают по схеме 1+1. То есть их мощность не суммируется, а один блок просто резервирует второй. Дисковая подсистема состоит из двух корзин под три слота под 3 с по дюймовые диски. Все шесть накопителей поддерживают гибридный режим работы SAS SATA и NVME. Кстати, салазки универсальные, подходят как для 3, сдюймовых HDD, так и для 2 с5 дюймовых SSD. В нашей версии с завода четыре отсека подключены в NVME режиме, а подключение двух оставшихся перенесено в передний Ryer со слотом PCI Express X8. При желании можно переставить два кабеля MCIO X4 из Ryзера обратно в Backpin и вернуть возможность подключения 6 Nvm накопителей. А для подключения сосата дисков требуется установить Raid или HBA контроллер и подключить обе корзины через интерфейс SF8654.
6:13 Как раз для этого контроллера и предусмотрена Ryzer карточка на передней панели. Помимо этого места установить рейд-контроллер или сетевую карту можно также в слоты на задней панели. Для этого есть две Ryer-карты. Одна на 2x16х слота, вторая на 1x8. Теперь подробно про Ryer карты по GPU. Их в сервере две, и они по сути абсолютно одинаковы. На каждой карточке распаяно четыре слота PCI Express X16 Gen 5. Но так как линии не бесконечные, а в сервере установлен всего один процессор, работают они следующим образом. Если ставим две двухслотовые видеокарты на Ryer, они работают в режиме X16. Если использовать четыре однослотовые карты, линк падает до X8. По мануалу предполагается установка видеокарт с TDP до 300 Вт. Вот полный список поддерживаемых карт. Тут тебе и А1 на80 ГБ, и даже H100 в PCI
7:00 версии. Ну и куча RTX Pro 4.500, 5.000, 6.000 разных поколений. Для подключения доп питания в комплекте идут два варианта кабелей: четыре штуки с восемь пин CPU для подключения карт прошлых поколений типа А100 и восемь штук с pin GPU для подключения карт последних поколений через переходник на 12 Power. Наши Pro 5.000 с коннектором 12 Power без проблем вставляются в Ryer и запитываются через переходник. Теперь быстро пробежимся по остальной конфигурации. Процессор AMD Epic 9374F, 32 ядра, частота до 4,3 ГГц, 320 Втd. Ставить топовый Epic не имеет никакого смысла, так как модель целиком будет загружена в видеопамять, и большой нагрузки на процессор не будет. Но и брать самую бюджетную модель смысла мало. Разница в цене в рамках всей
7:46 сборки- копейки, а производительность на все ядра отличается значительно. К тому же лишние процессорные ресурсы всегда можно задействовать под другие задачи. Оперативная память четыре модуля серверной DDR5 SKХ 32 ГБ на частоте 4.800 МГц, всего 128 ГБ. По сравнению с двенадцати каналом скорость значительно ниже, но для наших задач это не играет большой роли. Осталось добавить один быстрый накопитель Intel на 960 ГБ для операционной системы, и сервер полностью укомплектован для работы. По стоимости вся конфигурация из этого ролика выходит чуть меньше 5 млн руб. на момент записи видео. Основная часть бюджета, конечно, - это видеокарты. Если что, в комментариях и в описании оставим ссылку с актуальной ценой этой сборки. А мы переходим к тестам в нагрузке. Сначала запускаем систему Windows Сервер. Здесь
8:32 будет удобно зафиксировать температуры, потребление процессора, видеокарт и уровень шума. Простоя система потребляет 380 Вт, уровень шума 75 дБ. Вентиляторы работают в режиме авто. Теперь запускаем OCCT Power и оставляем сервер на 30 минут. Обороты всех корпусных вентиляторов примерно 16.000 в минуту. Процессор потребляет 285 Вт, температура 66°. O CCT Power не смог нагрузить все четыре карты. Потребление не дошло до максимума, не из-за тротлинга, а из-за некорректно работающей программы. Так что эти показатели мы не засчитываем. Потребление всей системы составило 2.000 Вт. Уровень шума 83 дБ. Теперь поднимаем обороты вентиляторов до 100% и повторяем тест. Через полчаса фиксируем результат. Процессор 287 Вт, 64°. Видеокарты в этом
9:18 тесте вели себя более адекватно, но две из них всё равно не дошли до максимального потребления, хотя запас по температуре был огромный. Уровень шума на максимальных оборотах 85 дБ, потребление 2.240 Вт. Ну и раз-под винды не удалось посмотреть на реальную разницу температур, переходим в Убунту и запускаем GPU BРN. Эта утилита нагружает карты до 300 Вт и даёт одинаковую стабильную нагрузку. Через полчаса видим реальную картину разницы температур. GPU0 и GPU2 - это ускорители, которые установлены первыми в Ryer картах и получают больше холодного воздуха. Видеокарты 1, и3 получают меньший обдув, поэтому нагреваются на 7° больше. Самая горячая 78°, что является суперкомфортным уровнем для карт такого класса. При этом обороты турбин на всех
10:03 картах от 41 до 51%, то есть они вообще не напрягаются в плане охлаждения. С железом разобрались. У нас есть двухюнитовый сервер Asus и 4 RTX Pro 5000 Blackwell по 72 ГБ, которые суммарно дали 288 ГБ видеопамяти. Мы посмотрели, как устроена платформа питания, охлаждение, как обстоят дела с шумом и потреблением. А теперь переходим к главному. Локальный запуск Deepsic V4 Flash 0731. Дальше я передаю слово Илья. Он ведёт наш второй канал про нейросети и сейчас покажет, как эта модель ведёт себя в реальных задачах, где её преимущество, на что она способна и насколько вообще имеет смысл разворачивать такую историю локально. >> Тестировать сборку будем на Deeps Q4 Flash 0731. Это моя модель на 284 млрд
10:48 параметров, из которых около 13 млрд активны. Контекст модели до миллиона токенов. Особенно интересным релиз 0731 делает то, насколько сильно DeepsК удалось улучшить первоначальную версию модели за счёт дополнительного посттренинга. Как видите, на большинстве бенчмарков прирост измеряется десятками процентов, а в отдельных задачах результаты выросли в несколько раз. Сначала запустим её на обычном VLM, затем повторим тест уже на пропаченной версии VLM, чтобы отдельно оценить прирост от наших оптимизаций. И наконец в третьем варианте поверх этого патча включим спекулятивное декодирование. А вот так локальный дипсик выглядит уже в работе. Слева модель выполняет реальную задачу, а справа видно, как в этот момент работает сервер. Все четыре видеокарты загружены практически на 100%, но температура держится всего в районе 50-60°,
11:34 а потребление не превышает 200 Вт на карту. Видеопамять при этом занята почти полностью, примерно 71 ГБ и 72 на каждый ГПУ. Сама модель весит около 167 ГБ и спокойно помещается на двух Nvidia Pro 6.000. Но 4 Pro 5.000 дают почти 100 дополнительных гигабт памяти, который сервер использует под кэш, длинный контекст и большее количество одновременных запросов. Давайте сначала посмотрим на скорость токена в секунду на одном запросе. Сравнивать будем обычный VLM, пропаченный VLM без спекулятивного декодирования, а потом с предсказанием до пяти следующих токенов. Пропатченная версия дала прирост 23%, а включение спекулятивного декодирования дало прирост почти в 4,2 раза. Теперь посмотрим на то, как сервер справляется с параллельными запросами и как их
12:20 количество влияет на скорость токена в секунду и на медианное время до первого токена. Оранжевая линия соответствует запуску движка с максимальной обработкой восьми запросов одновременно, а синяя 128 запросов. При 96 запросах параллельно скорость токена в секунду около 3.500, то есть 35 токенов в секунду на один запрос, а медианное время ожидания ответа модели около секунды. Теперь проверим работу модели на больших ходных промтах. Верхний график показывает, сколько времени сервер обрабатывает промт до появления первого токена, а нижний с какой скоростью после этого генерируется ответ. При промте на 190.000 токенов обработка занимает 21 секунду, после чего модель выдаёт 350 токенов в секунду. И если подводить итог, то с включённым спекулятивным декодированием получаем следующие результаты. Для нескольких пользователей оптимальный
13:06 режим - это около 32 параллельных запросов: 2.741 токен суммарно и примерно 86 токенов в секунду на клиента. При 64 и более запросах общий ТПС выше, но задержка ответа уже заметно растёт. С синтетическими тестами закончили. Теперь проверим deeps в роли инженера. Попробуем восстановить функцию управления камеры из GTA San Andreas. Готового исходного кода у модели нет. Ей нужно разобрать скомпилированный экзешник GTA San Andreas через гидро и написать собственную C++ реализацию с тем же поведением, вплоть до ветвлений и порядка его вычислений. После анализа модель постепенно восстанавливает функцию, а затем переходит к сборке. Планируем подготовленный проект, ставим зависимости и компилируем получившийся код. Первого раза сборка не проходит, поэтому передаём de псик ошибке компилятора. Модель исправляет код,
13:52 снова запускает проверку и после нескольких итераций получаем готовый ACI плагин. Перед запуском проверяем версию игры, потому что хуки привязано к конкретным адресам экзэшника GTA San Andreas. Затем подключаем плагин и оставляем активной только переписанную систему камеры. И финальная проверка. Запускаем одну и ту же сцену дважды. Слева оригинальная камера GTA. Справа реализация, восстановленная Deeps, что успешная компиляция ещё не означает полного совпадения с оригиналом. Пока персонаж передвигается пешком или на велосипеде, камера выглядит относительно нормально, но при резких движениях и управлении автомобилем появляются заметные расхождения, меняется угол обзора, камера уходит в сторону, заваливает горизонт, а затем вообще переворачивается. При этом Deepsic Flash локально восстановил рабочую C++
14:37 реализацию, которую удалось собрать и запустить внутри игры. Базовая логика камеры уже работает, а найденные расхождения показывают, какие участки функции нужно дополнительно проверить и скорректировать. Для первой самостоятельной попытки реверс инжиниринга результат получился вполне серьёзным. Следующая задача Deepsi с нуля соберёт Doc Lens. Это оффлайн сканер документов для Android. Приложение должно находить лист в кадре, улучшать изображение, распознавать текст и собирать всё в PDF полностью локально, без облака. Задача модели - довести проект до рабочего APK файла, который реально запускается на смартфоне. В итоге модель не только собрала само приложение, но и самостоятельно подняла Android окружение через No VNC. Переходим к демке, запускаем Docllens, загружаем билет и сразу видим, что границы документа определились достаточно точно. Теперь проверим
15:23 обработку. Включаем чёрно-белый фильтр. Затем возвращаем оригинал и отдельно меняем яркость. Все изменения применяются сразу и работают корректно. После этого нажимаем готово и запускаем распознавание текста. Для локального теракт, работающего прямо на телефоне, результат получился вполне достойным. Подводя итог, Deepsic Flash - это крупная модель с сильными результатами в бенчмарках, но самое важное, она действительно подходит для серьёзной практической работы. Большой контекст позволяет ей удерживать структуру целого проекта, разбираться в чужом коде, работать с инструментами и выполнять длинные цепочки действий. Конечно, если отправлять несколько запросов в день, АИI обойдётся почти бесплатно, и покупать такой сервер нет никакого смысла. Но если исходный код и документы нельзя отправлять в облако, нужна полная конфиденциальность или модель должна постоянно работать внутри компании,
16:09 пожалуйста, примерно 5 млн руб. и этот псик полностью ваш. Ну что, на этом, я думаю, можно подводить итог. Сегодня мы собрали GPU-сервер с огромным потенциалом и показали, на что он способен в реальных задачах. Если вы загорелись идеей приобретения такой системы, ссылку на конфигурацию с актуальной ценой оставим в описании и в закреплённом комментарии. Также там будет ссылка на наш Telegram-канал. Скоро там выйдет анонс нового розыгрыша. И в этот раз вы подготовили приз, который вы точно не ожидаете. Можете уже сейчас написать в комментарии свои предположения. Подсказка. Это очень специфическая железка, которую Intel выпускала в начале десятых годов. Пишите, что думаете про новый псик. Подписывайтесь на каналы, ставьте лайки. Всем спасибо за просмотр. Всем пока.
