Kurze Zusammenfassung
Das Video behandelt den GMK Tech Evo X2 Mini-PC, der mit dem neuen AMD Ryzen AI Max Plus 395 Chip ausgestattet ist und sich besonders für lokale LLMs und maschinelles Lernen eignet. Es wird mit dem DJX Spark und dem M4 Mac Mini verglichen, wobei die Speicherbandbreite als entscheidender Faktor für die Leistung hervorgehoben wird. Der Evo X2 zeigt beeindruckende Ergebnisse bei der Ausführung verschiedener LLMs und profitiert von der statischen Speicherpartitionierung. Abschließend wird die kommende Rockom-Unterstützung für AMD-Chips diskutiert, die das Potenzial hat, die Leistung weiter zu steigern.
- Der GMK Tech Evo X2 Mini-PC mit AMD Ryzen AI Max Plus 395 Chip ist ideal für lokale LLMs.
- Vergleich mit DJX Spark und M4 Mac Mini, wobei die Speicherbandbreite im Fokus steht.
- Beeindruckende LLM-Leistung dank statischer Speicherpartitionierung.
- Zukünftige Rockom-Unterstützung könnte die Leistung weiter verbessern.
DJX Spark und GMK Tech Evo X2
Der DJX Spark steht kurz vor der Veröffentlichung, aber GMK Tech hat bereits den Evo X2 auf den Markt gebracht. Dieser Mini-PC verfügt über 128 GB RAM, die mit der GPU geteilt werden, und ist für lokale LLMs und maschinelles Lernen geeignet. Der Evo X2 ist im Vergleich zum DJX Spark preisgünstiger und mit zahlreichen Anschlüssen ausgestattet, darunter USB 4, USBA, SD-Kartenleser, HDMI und 5 GB Ethernet.
Technische Daten des GMK Tech Evo X2
Der GMK Tech Evo X2 ist mit dem AMD Ryzen AI Max Plus 395 ausgestattet, der 16 Kerne, 32 Threads und bis zu 5,1 GHz bietet. Die interne GPU konkurriert mit einer RTX 4060 und ist mit 64 GB oder 128 GB LPDDR5X-Speicher (8.000 MHz) erhältlich. Der Mini-PC verfügt über zwei PCIe Gen 4 SSD-Steckplätze für bis zu 16 TB Speicher und unterstützt Wi-Fi 7. Er kann die neuesten Spiele problemlos bewältigen und zeichnet sich durch seine APU (CPU und GPU auf demselben Chip) aus.
Speicherarchitektur und LLM-Tests
Der Evo X2 verwendet eine statische Speicherpartitionierung, bei der der Speicher gemeinsam genutzt wird, aber nicht einheitlich wie bei Apple Silicon ist. Dies ermöglicht die Ausführung lokaler LLMs. Ein Test mit dem Quinn 32 Milliarden Modell (Q4 Quantisierung) zeigt, dass 64 GB für das System und 64 GB für die GPU genutzt werden. Die Geschwindigkeit beträgt 10,58 Token pro Sekunde. Ein weiteres Modell, Llama 3,370 Milliarden Q4, benötigt 39 GB Speicher und erreicht 5,1 Token pro Sekunde.
Speicherbandbreite und Stream-Benchmark
Die Speicherbandbreite ist ein entscheidender Faktor für die Geschwindigkeit von LLMs. Der Stream-Benchmark wird verwendet, um die Speicherbandbreite zu messen. Ein M4 Mac Mini mit einer von Apple angegebenen Speicherbandbreite von 120 GB/s erreicht im Stream-Benchmark 96 GB/s. Mit dem DeepSeek R1 Modell (7 Milliarden Parameter, Q4 Quantisierung) erreicht der M4 Mac Mini 21 Token pro Sekunde, während der GMK Tech Evo X2 43 Token pro Sekunde erreicht.
Chat LLM Teams und Llama CPP
Chat LLM Teams ist ein Dashboard, das verschiedene LLMs integriert und die Auswahl des passenden Modells für eine bestimmte Aufgabe ermöglicht. Es bietet Funktionen wie das Chatten mit PDFs, die Erstellung von Decks und die Durchführung von Recherchen. Llama CPP bildet das Rückgrat von LM Studio und ermöglicht verschiedene Optimierungen und Bibliotheken beim Kompilieren. Vulcan ist eine plattformübergreifende Bibliothek, während Rockom für AMD-Prozessoren optimiert ist, aber noch nicht verfügbar ist.
Llama Bench und Mac Mini Vergleich
Llama Bench wird verwendet, um die Leistung verschiedener Modelle zu vergleichen. Auf dem M4 Mac Mini werden mit dem gleichen Modell niedrigere Ergebnisse erzielt (21 Token pro Sekunde) als auf dem GMK Tech Evo X2. Der M4 Pro Mac Mini bietet eine höhere Speicherbandbreite (273 GB/s) und erreicht 44 Token pro Sekunde. Der Ryzen AI Max Plus Chip hat eine Speicherbandbreite von 256 GB/s, was schneller als der M4, aber langsamer als der M4 Pro ist.
Speicherbandbreitenmessungen und LLM-Leistung
Die tatsächlichen Speicherbandbreitenmessungen mit dem Stream-Benchmark zeigen, dass der M4 96 GB/s von den angegebenen 120 GB/s erreicht, der M4 Pro 209 GB/s von 273 GB/s und der GMK Tech Evo X2 nur 120 GB/s von den erwarteten 256 GB/s. Trotzdem liefert der Evo X2 gute Ergebnisse mit Llama Bench und erreicht 935 PP512 und 46 TG128. Verschiedene LLMs wie Gemma 3 (1 Milliarde bis 12 Milliarden Parameter) werden getestet und erreichen unterschiedliche Token-Raten pro Sekunde.
Vergleich von Desktop- und Laptop-Versionen und Speicherpartitionierung
Ein Vergleich zwischen der Desktop-Version (Knuckbox Evo X2) und der Laptop-Version (FlowZ13) desselben Chips zeigt, dass die Desktop-Version in den meisten Fällen überlegen ist. Die statische Speicherpartitionierung des Evo X2 bietet Stabilität, kann aber auch Speicher verschwenden. Der Nvidia Spark hat eine etwas höhere Speicherbandbreite (278 GB/s) als der M4 Pro und der Ryzen AI Max Plus 395.
Rockom-Unterstützung und Preis
AMD arbeitet daran, Rockom-Unterstützung für weitere Chips zu ermöglichen, was die Leistung theoretisch deutlich verbessern könnte. Derzeit wird Vulcan verwendet, das einen guten Job macht. Der GMK Tech Evo X2 ist mit 1499 $ für die 64-GB-Version und 2000 $ für die 128-GB-Version nicht billig, aber er bietet ein gutes Preis-Leistungs-Verhältnis im Vergleich zum M4 Mac Mini und M4 Pro. Die Nachfrage nach diesem Chip ist derzeit sehr hoch.
