Nvidia, You’re Late. World’s First 128GB LLM Mini Is Here!

0:00 DJX Spark wird fertig sein und in Kürze verfügbar sein, wahrscheinlich in ein paar Wochen. DJX Spark kommt. Das war schon immer abzusehen. Aber während wir warten, sitzt GMK Tech nicht herum. Sie haben gerade den Evo X2 herausgebracht, einen Mini-PC mit 128 GB RAM, der mit der GPU geteilt wird, bereit für lokale LLMs und maschinelles Lernen, und er kostet weniger als die Hälfte des Preises des DJX Spark. Hey, vielleicht ist der Funke schon aus, wenn dieses Video fertig ist. Und in diesem Fall werde ich meine Worte hinterlassen. Ich habe es auch bestellt, nur um sicherzugehen, dass ich hier alles teste. Verpassen Sie das also nicht. Und warum sollte sich überhaupt noch jemand für den DJX Spark interessieren? Ich werde gleich auch darauf eingehen. Jetzt ist dieses EVO da und es ist echt. Sie sind etwas schwer zu bekommen, weil sie den neuen AMD-Chip enthalten, aber sie

0:45 versuchen, die Produktion hochzufahren, weil sie so beliebt sind. Im Vergleich zum Großteil der GMK Tech-Produktpalette ist es ein Biest. Und es ist mit zahlreichen Anschlüssen ausgestattet. zwei USB 4-Anschlüsse, fünf USBA-Anschlüsse, SD-Kartenleser, HDMI-Display- Anschluss, zwei Headset-Anschlüsse und natürlich ein 5 GB Ethernet. 5 GB. So weit sind wir jetzt. Hübsch. Aber die eigentliche Schlagzeile ist der Inhalt. Das ist AMDs neuer Ryzen AI Max Plus 395. Ja, ich habe es richtig verstanden. 16 Kerne, 32 Threads und bis zu 5,1 GHz. Und die interne GPU soll mit einer 4060 konkurrieren. Ja, die RTX 460 ist die Radeon 8060S und sie ist mit 64 GB erhältlich. Dies ist die 128 GB-Version, die ich gerade für LLMs teste. Das ist LPDDR5X, ein ziemlich schneller mobiler

1:33 Speicher, 8.000 MHz. Es verfügt außerdem über zwei PCIe Gen 4 SSD-Steckplätze. Also, ja, auch aufrüstbar, bis zu 16 TB. Und es verfügt über Wi-Fi 7, das Sie möglicherweise haben. Manche Leute haben es. Ich habe es nicht. Natürlich bewältigt dieser PC auch die neuesten Spiele ohne Probleme. Hä ? Ich sagte, es kann die neuesten Spiele problemlos bewältigen. Aber was es wirklich auszeichnet, ist diese APU. Das ist die Kombination aus CPU und GPU auf demselben Chip mit einheitlichem Speicheraufbau. Nun, es handelt sich nicht gerade um einen einheitlichen Speicher. Der Speicher kann gemeinsam genutzt werden, unterscheidet sich jedoch von der einheitlichen Speicherarchitektur von Apple Silicon . Dies wird als statische Partitionierung bezeichnet. Danke dafür, Casey. Was bedeutet das für uns? Dieses Ding ist für die Ausführung lokaler LLMs konzipiert,

2:19 genau wie ich es in meinem Mitglieder-Livestream vorgeführt habe, als ich es zum ersten Mal bekommen habe. Vielleicht haben Sie auch kürzlich mein Video gesehen, in dem ich denselben Chip mit 128 GB auf diesem Gerät teste. Dies ist das Flow Z13 von Asus, aber die Wärmeentwicklung dieser Geräte ist sehr, sehr unterschiedlich. Ich frage mich also, ob dieses Ding den Chip an seine Grenzen bringen wird, denn die Lüfter dieses Dings sind überall. Übrigens, Mac minis, wir werden es auch damit vergleichen . Warum? Denn das Preis-Leistungs-Verhältnis ist wirklich gut. Bevor wir loslegen, starten wir einen Test, um eine erste Vorstellung davon zu bekommen, wie sich das anfühlt. Ich habe hier eine Reihe von Modellen und werde die Ergebnisse gleich durchgehen. Und ein sehr beliebtes Modell ist dieses Quinn 32 Milliarden. Das ist der Q4. Die Quantisierung beträgt also vier. Und LM Studio sagt mir, dass ich 64 von 64 Ebenen auslagern kann

3:05 . Also, lasst es uns tun. Modell laden. Stellen wir sicher, dass dieses Ding tatsächlich auf die GPU geladen wird. Schauen wir uns also den Task-Manager an. Es wird zuerst in den Speicher geladen. Systemspeicher . Wir haben 64 und 64 aufgeteilt. 64 für das System, 64 für die GPU. Es wird also zuerst in den Systemspeicher und dann in den GPU-Speicher kopiert. Und genau darum geht es bei dieser statischen Speicherpartitionierung. Es handelt sich nicht um einen einheitlichen Speicher wie bei Apple. Wir werden gleich einige Unterschiede sehen. Modell ist geladen. Sie können es hier im dedizierten GPU- Speicher sehen. Und wir sagen Hallo. Ich weiß, ich weiß, Sie alle hassen es, wenn ich „ Hallo“ sage, aber es ist nur ein Zeichen und führt zu den bestmöglichen Ergebnissen. Ich habe dem Modell zuvor Tausende von Token als Eingabe gegeben und die Ergebnisse sind nur geringfügig unterschiedlich. Was die Kontextgröße betrifft, ist es also keine große Sache, aber hier erreichen wir die höchstmögliche Geschwindigkeit.

3:52 Damit wir etwas vergleichen können, oder? Weil viele Leute unterschiedliche Arten von Eingabeaufforderungen verwenden. Wie schneiden Sie im Vergleich ab? Verwenden Sie dieselbe Eingabeaufforderung. 10,58 Token pro Sekunde, was für ein 18,4 GB großes Modell mit 32 Milliarden Parametern ziemlich angemessen ist. Lass uns noch eins machen. ein Modell, das möglicherweise nicht unbedingt in eine RTX 4090 oder sogar eine RTX 5090 passt, und zwar dieses hier, Llama 3,370 Milliarden Q4. Die Festplatte ist 39 GB groß . Und LM Studio sagt mir, ich sollte nur 75 von 80 Ebenen auf die GPU auslagern. Ich werde es bis auf 80 hochtreiben und sehen, was passiert. Übrigens, wenn Sie noch relativ neu auf diesem Gebiet sind und auch nur irgendwelche Schichten auf die CPU auslagern, wird es sehr schnell bergab gehen und sehr, sehr langsam werden. Sie möchten, dass alles auf

4:37 der GPU ist. Nun, es beschwert sich noch nicht. Sehen Sie sich diesen Anstieg im dedizierten GPU- Speicher an. Wir haben dabei bis zu 43 GB verwendet . Und es sieht aus, als wäre es geladen. Also werde ich einen neuen Chat starten. Und lasst uns dort ein bisschen hoch hinaus. Es geht. Es geht. Es ist nicht so schnell, aber es geht. 5,1 Token pro Sekunde hier. Und Sie können diesen schönen Ausschlag auf der GPU sehen, was bedeutet, dass die GPU voll ausgenutzt wird. Das ist gut. Die CPU hatte Spitzen, aber das liegt nicht an der Verarbeitung. Die Verarbeitung erfolgt auf der GPU. Also das ist gut. Und wir liegen bei etwa 170 Watt oder dort bei etwa 172 174. Das ist das Maximum, bei dem es arbeitet. Es ist wieder auf die beste Leistung eingestellt. Wir wechseln kurz zum Maximum, um uns den wichtigsten Faktor zur Ermittlung der Geschwindigkeit dieser LLMs anzusehen. Speicherbandbreite. Und schauen Sie sich diese Site an. Was ist das

5:23 aus den 90ern? Ich denke, das ist tatsächlich so. Schau dir das an. Es hat Grenzen. Erinnern Sie sich an die Tabellenränder? War damals jemand da ? Wie dem auch sei, dies wird als Stream- Benchmark bezeichnet. Und dieses Verfahren zur Messung der Speicherbandbreite gibt es in der Branche schon seit langem . Sogar auf der AMD-Site wird auf diesen Benchmark verwiesen. Es kann also auf allen Systemen ausgeführt werden, da ich es auf diesem System kompiliere. Also habe ich das kompiliert und auf dem Mac ausgeführt. Das hier ist der M4 Mac Mini. Und laut Apple verfügt der M4-Chip über eine Speicherbandbreite von 120 GB pro Sekunde. Schon ziemlich gut. Und das ist nur das Basismodell. Also, ich habe gerade diesen fließenden Strom gemessen. Und wenn wir uns diese Triad-Zahl ansehen, erhalten wir ungefähr 96 GB pro Sekunde. Es sind zwar nicht 120, wie von Apple beworben, aber es kommt dem schon ziemlich nahe. Wir gehen also davon aus, dass es nur ein wenig weniger ist als die angegebene Zahl. Hier

6:09 habe ich also DeepSeek R1, das ein 7- Milliarden-Parameter-Modell mit einer Q4- Quantisierung destilliert. Die Festplatte ist etwa 4 GB groß. Lassen Sie uns das laden. Und hier geht alles an die GPU. Lädt es ziemlich schnell. Und los geht's. 21 Token pro Sekunde. Behalten wir hier den GPU- Verlauf im Auge, während ich eine weitere Eingabeaufforderung ausführe. Und ich werde es eine etwas längere Ausgabe schreiben lassen. Und wir liegen bei 31 Watt, was eigentlich ganz ordentlich ist. Was sage ich ? Anständig. Ich meine, das ist ziemlich gut, oder? 31 Watt. Wir haben 19,94 Token pro Sekunde erhalten. Und Sie können sehen, dass die GPU währenddessen praktisch voll ausgelastet war. In Ordnung. Ich weiß, was Sie sagen werden. Ich habe nicht dasselbe Modell mit der GMK- Technologie gemacht. Lass es uns tun. Aber ich sage Ihnen

6:55 gleich, es wird viel schneller gehen. Ja, das ist es sicher. Und das Ergebnis sind hier 43 Token pro Sekunde. Warum ist das so? Damit ist diese Maschine viel schneller als der M4 Mac Mini. Hm. Wir können hier aufhören. Ich meine, jetzt wissen Sie es, aber wir werden hier etwas nerdiger . Daher wechsle ich heutzutage ständig zwischen den Modellen. GPT4 für Notizen und E-Mail, Claude für Code-Refactoring, Flux für die Bildgenerierung, Cling für Videos, vier Registerkarten, vier Rechnungen und es werden immer mehr. Geben Sie Chat LLM Teams ein. Es gibt ein Dashboard, das alle Top-LLMs enthält, und Route-LLM wählt für eine bestimmte Aufgabe das Richtige für Sie aus. 04 Mini High für schnelle Antworten. Claw Sonett 3.7 zum Kodieren. Gemini 2.5 Pro für großen Kontext und fügt sogar GPT 4.1 hinzu, bevor Chad GPT

7:42 es hat. Chatten Sie mit PDFs und PowerPoints, erstellen Sie dann Decks und Dokumente und führen Sie gründliche Recherchen durch – alles im selben Chat. Benötigen Sie eine menschlich klingende Kopie? Der humanisierte Umschalter schreibt Text um, um KI- Detektoren zu überlisten. Starten Sie Agenten und führen Sie Code mit einem KI-Ingenieur aus. Ich habe meinen ersten Bot in nur wenigen Minuten erstellt. Verfolgen Sie Artefakte. Erstellen Sie GitHub-Pull-Anfragen und debuggen Sie über dieselbe Schnittstelle. Benötigen Sie Bildmaterial? Kein Problem. Verwenden Sie Flux oder Ideoggram und Recraft für Bilder. Cling, Luma und Runway für Video, alles integriert. Und der Clou: Sie zahlen nur 10 $ pro Monat, also weniger als bei einem Premiummodell. Gehen Sie zu chatlm.abacus.ai AI oder klicken Sie auf den Link in der Beschreibung und steigen Sie mit Chat LLM Teams auf. Viele von Ihnen wissen vielleicht bereits, dass es etwas

8:27 namens Llama CPP gibt, das das Rückgrat von LM Studio bildet. Und wenn Llama CPP für die Plattform kompiliert ist, können Sie es für Rockom kompilieren, Sie können es für Vulcan kompilieren, Sie können es nur für die CPU kompilieren. Es gibt einfach unterschiedliche Optimierungen und unterschiedliche Bibliotheken, die Sie beim Kompilieren von Llama CPP einbinden können. Wenn wir einen Blick auf LM Studio und die Einstellungen hier hinter den Kulissen werfen, können Sie einen Blick auf die Laufzeiten werfen. Wir haben CPU Llama CPP, das hier verfügbar ist, aber auch Vulcan Llama CPP. Und Vulcan ist eine Art plattformübergreifende Bibliothek, die es Ihnen grundsätzlich ermöglicht, dies unter Linux und Windows zu verwenden. Es funktioniert auf einem Intel-Rechner und auf einem AMD-Rechner, aber es ist mit einem kleinen Mehraufwand verbunden, es auf diese Weise zu tun. der plattformübergreifende

9:12 Ansatz. Der direktere Ansatz ist etwas namens Rockom für AMD- Prozessoren. Leider ist Rockom nicht verfügbar und ich werde darauf zurückkommen. Das können Sie hier sehen. Doch zu dieser Geschichte gibt es noch mehr zu sagen, und Rockom-Support kommt bald, aber darauf werde ich gleich eingehen. Um noch einmal darauf zurückzukommen: Llama CPP stellt Ihnen eine Reihe von Tools zur Verfügung, die Sie verwenden können, darunter etwas namens Llama. Also gehe ich zu meinem Benutzerordner, LM Studio-Modellen, und wähle hier eines aus. Also, los geht‘s mit der LM Studio Community. Dieses DeepSseek R1- Destillat ist gut. Und hier sind GGUF-Modelle . Also werde ich mir das aus Q4 schnappen und es an LMBench weitergeben. Und bumm. Und Sie können hier sehen, dass es mit Vulcan erstellt wurde. Es wird also Vulcan genutzt, was gut ist.

9:57 Dies gibt uns zwei Ergebnisse. Eines davon ist PP512. Ich weiß, es ist ein komisches, komisches Wort. Dumme Witze . Dadurch erreichen wir die zeitnahe Bearbeitung, für die PP steht. Und das ist gut. 935 Token pro Sekunde. Das ist schön. Und wir bekommen TG128. TG steht für die Token-Generierung und das sind 46 Token pro Sekunde. Wir kommen also dem, was LM Studio uns bietet, ziemlich nahe. 43 dort. 46 Lamabank. Nur um Ihnen eine Vorstellung davon zu geben, wie weit wir davon entfernt sind. Und das liegt übrigens innerhalb der Fehlertoleranz. Ich kann Llama Bench auch auf anderen Maschinen wie dem Mac Mini verwenden, da ich Llama CPP auch dort kompiliert habe. Es ist definitiv gut, jetzt im Nerd-Bereich zu sein. Ich klinge viel streberhafter, weil ich ein bisschen erkältet bin. Wenn wir Llama Bench mit demselben Modell auf dem M4 Mac Mini ausführen,

10:43 erhalten wir ein viel niedrigeres Ergebnis. 228 für PP512 und TG128 bringt uns 21 Token pro Sekunde, was irgendwie mit dem übereinstimmt, was wir auch in LM Studio auf dem Mac gesehen haben . Nun, warum passiert das? Ich dachte, die M4s wären großartig, aber ich habe Ihnen noch etwas zu zeigen, und zwar diesen Mac Mini. Dies ist der M4 Pro Mac Mini. Und manche Leute denken: „Oh, M4 Pro, richtig? Es hat doch nur mehr Kerne, oder?“ Nein, das ist nicht der einzige Unterschied. Ja, es hat mehr Kerne. Und der M4 Max, der in einem Mac Mini nicht verfügbar ist, also habe ich diesen, der auch mehr Kerne hat. Doch was bei dieser Art von Arbeit, dem maschinellen Lernen, am wichtigsten sein wird, ist die Speicherbandbreite. Und hier ist unser Ergebnis dazu. Gleiches Modell. Wir bekommen ungefähr das Doppelte. Lassen Sie uns

11:30 das in LM Studio bestätigen. Und ja, 44 Token pro Sekunde für unsere hohe Eingabeaufforderung. Was ist also los ? Geht es nur darum, mehr Kerne zu bekommen? Apple skaliert unsere Chips so, dass sie über einen einzelnen M4-Kern verfügen. Und wenn Sie Geekbench darauf ausführen , werden Sie sehen, dass das Single-Core- Ergebnis bei der gesamten M4-Familie ziemlich gleich ist . Der Multi-Core-Score wird anders sein, aber er skaliert ziemlich linear. Als Extra erhalten Sie mehr GPU- Kerne und eine schnellere Speicherbandbreite. Beim M4 sind es 120 GB pro Sekunde. Beim M4 Pro sind es 273 GB pro Sekunde. Beim M4 Max sind es 540 GB pro Sekunde oder ungefähr so ​​viel. Der M3 Ultra, 819 GB pro Sekunde. Da wir diese Zahlen kennen, verfügt der Ryzen AI Max Plus-Chip über eine veröffentlichte Speicherbandbreite von 256 GB pro

12:18 Sekunde. Wohin führt uns das? Nun, es ist viel schneller als das M4, aber etwa 20 GB langsamer als das M4 Pro. Und wo ist Nvidias DJX Spark dabei? Nun, das liegt bei 279. Also eine etwas höhere Speicherbandbreite als beim M4 Pro. Wir werden sehen, was passiert, wenn wir es tatsächlich bekommen und testen. Da ich gerade am M4 Pro arbeite, schauen wir uns nebenbei auch seinen Stromverbrauch an. Und wir sind bei 47 Watt. Also um einiges mehr als das Basismodell M4, aber bei weitem nicht so leistungsstark wie diese Maschine. Da wir gerade über die Speicherbandbreite sprechen , schauen wir uns die Messungen an, die ich mit dem Stream-Benchmark tatsächlich erhalten habe. Hier auf dem M4 habe ich 96 GB von den 120 GB bekommen, die Apple angibt. Es kommt zwar nicht ganz so weit, aber es ist gut zu wissen, dass es so gemessen wird. Was auch immer also

13:03 im Stream-Benchmark vor sich geht und wie er gemessen wird, wir erleiden dort einen kleinen Verlust. M4 Pro, nicht schlecht. 209 von 273, wie Apple angibt. Was ist mit dieser Maschine? Schauen wir uns das einmal an. Lassen Sie uns das hier ausführen. Und wir bekommen 120. 120 ist viel, viel weniger, als ich erwartet hätte, denn wir wollten 256, richtig? Und es werden eine Menge Maschinen mit diesem Chip auf den Markt kommen, die hier die gleichen Ergebnisse liefern werden. Der Framework-Desktop ist einer davon. Beink bringt ein paar Maschinen heraus. Der ASUS und schließlich der erste Desktop ist dieser, aber 120 ist viel zu wenig. Was ist los? Nun, entweder läuft der Benchmark auf dieser Maschine irgendwie nicht so, wie er soll. Und ich habe das natürlich mehrmals wiederholt. Aber das sagt mir, dass wir, wenn wir so

13:49 hohe Zahlen für Llama Bench durch Vulcan bekommen, was wirklich sehr gut ist, 935 und 46, was sogar besser ist als das M4 Pro. Und wenn der Stream-Benchmark bei 120 korrekt ist, bedeutet das, dass dieser Chip möglicherweise noch weiter leistungsfähig ist. Da bin ich mir noch nicht sicher, aber vielleicht. Und wenn es gelingt, die Entwicklung weiter voranzutreiben, kann es vielleicht sogar noch schneller gehen. Doch aus praktischen Gründen kommt es im Moment nur auf die Ergebnisse an . Und wir erhalten hier gute Zahlen von dieser Maschine. Gemma 3 1 Milliarde. Wir erhalten hier 100, fast 160 Token pro Sekunde. Lama 3,2 1 Milliarde. Anweisung 130. Gemma 3 4 Milliarden. Wir erhalten 66 Token pro Sekunde. Hier sind die Deep Seek Distills. Wir haben 44 gesehen. Gemma 312 Milliarden. Jetzt kommen wir zu wirklich nützlicheren

14:34 Modellen. 23,9, immer noch ein wirklich gutes Ergebnis. 14 Milliarden 23,7. Quen 2,5 Viertel 32 Milliarden. Modelle mit 32 Milliarden Parametern sind tatsächlich ziemlich nützlich. Wir bekommen 10,8. Nicht das Beste. Ich wäre lieber über 20, aber 10,8 ist immer noch angemessen. Und schließlich: Lama 3,370 Milliarden Q4-Fünf-Token pro Sekunde. Es läuft und es läuft gut, aber es geht in einen Bereich, in dem es ein bisschen zu langsam ist. Hier ist nur eine interessante Kleinigkeit. Äh, ein Vergleich der Desktop- mit der Laptop-Version desselben Dings. Dies ist eine thermisch sehr begrenzte Maschine. Es macht einen wirklich guten Job, ist aber dennoch ein Laptop- Tablet. Und das können Sie hier sehen. Dies sind die Ergebnisse für die Knuckbox Evo X2 im Vergleich zum FlowZ13 mit 128 GB. Und Sie können sehen, dass die kleinen grünen Punkte bei jedem dieser Punkte, außer bei diesem, nur ein kleines bisschen höher sind

15:21 als die orangefarbenen Punkte. Gemma 312 Milliarden. Aus irgendeinem Grund ist der Laptop in dieser Hinsicht dem Desktop-PC überlegen . Und übrigens, Sie werden sehen, dass ich hier nur die 64-GB-Konfiguration für die GPU ausgeführt habe, weil das eine Art gleichmäßige Aufteilung zwischen den beiden ist. Auf diese Weise kann ich wirklich große Modelle laden. Und ich habe hier eine etwas andere Ansicht, in der ich eine Reihe verschiedener Maschinen vergleiche. Das FL Z13 mit 32 GB. Wir haben hier die Nugbox Evo . Dies ist das 12-Milliarden- Parameter-Modell von Gemma 3, 23 Token pro Sekunde. Und hier ist die M4 Max-Maschine mit 49 Token pro Sekunde für dasselbe Modell. Also um einiges schneller. Aber auch hier zeigt sich die Speicherbandbreite. Um auf die Frage zurückzukommen, warum wir diese sehr unterschiedlichen Maschinen auf den Markt bringen: Wir haben diesen sehr einzigartigen Chip. Wir haben die Apple-basierte

16:07 Architektur, eine einheitliche Speicherarchitektur. Und wir haben diesen Nvidia Spark in vielen verschiedenen Maschinenvarianten. Es wird eine Maschine von Asus geben, eine von Dell und eine Reihe von Partnern werden diesen Chip , den Blackwell-Chip, in sich tragen. Dieser hat mit 278 eine etwas höhere Speicherbandbreite als der M4 Pro und der Ryzen AI Max Plus 395. Wir werden sehen, wie sich das auswirkt. Und ich bin auch nicht sicher, wie die Speicherpartitionierung auf dieser Maschine funktionieren wird. Aber hier haben wir eine statische Partitionierung, die fest ist und natürlich eine Möglichkeit ist, den Speicher vor dem Start des Computers in feste Blöcke aufzuteilen . Sie müssen es also im Voraus wissen. Das Schöne daran ist, dass es einfacher einzurichten ist, weniger Systemressourcen verbraucht und jedes Programm in seinem eigenen Bereich behält, was die Dinge etwas stabiler macht. Beispielsweise konnte ich denselben Chip hier mit Armory Crate

16:55 auf „Automatisch“ einstellen, was bei LLMs zu ziemlich schlechten Ergebnissen führte . wahrscheinlich aufgrund des zusätzlichen Aufwands, der durch das Verschieben von Dingen im Speicher entsteht, wenn Sie verschiedenen Prozessen eine bestimmte Menge Speicherplatz zuweisen müssen. Allerdings verschwendet die statische Partitionierung auch Speicher, wenn ein Programm nicht den gesamten Speicherplatz in einem Block nutzt. Große Programme, die nicht in einen Block passen, können nicht ausgeführt werden und es kann nur eine begrenzte Anzahl von Programmen gleichzeitig ausgeführt werden. Für einfache Systeme ist das okay, für moderne Computer, die mehr Flexibilität benötigen, jedoch nicht so gut. Trotzdem: Wird das eine gute kleine Begleitmaschine mit KI-Unterstützung und -Entwicklung sein? Ja, es wird großartig und es wird noch besser. Laut AMD wird sich dies theoretisch deutlich verbessern. Ich habe eine Zeit lang erfolglos versucht, Rockom mit einer speziell gepatchten Olama-Version zum Laufen zu bringen . AMD arbeitet daran, Rockom

17:40 neben einigen der besten diskreten GPUs auch bei weiteren Angeboten zu unterstützen. Während der Computex sagten sie jedoch, dass sie der LLM-Community mehr Aufmerksamkeit schenken würden . Hey, das sind wir. und erhalten Sie Rockom-Unterstützung in mehr Chips, einschließlich diesem, ohne dass Sie eine Reihe von Versionen mit zufälligen Softwareteilen in mehreren obskuren GitHub-Repositories suchen und patchen müssen. Sie werden viele Leute sehen, die es auf diesem Chip versuchen, und zwar mit begrenztem Erfolg. Michael Larabel von Feronx hat es beispielsweise zum Laufen gebracht, solange Sie Rockom 6.4.1 verwenden und Ubuntu 24.04, 04 und nicht 25 installieren, beim Linux 6.11 HWE- Kernel bleiben und vermeiden, DKMS- Module auf neueren Kerneln wie 6.14 zu erstellen. Und selbst dann war Blender mit HIP-Backend instabil und Llama CPP löste

18:27 Segmentierungsfehler aus, also ist es immer noch nicht superstabil, aber er sagt, wir sind hoffentlich später im Jahr nah dran, also wäre es fantastisch, wenn AMD das durchzieht, und ich werde diese Unterstützung auf jeden Fall testen, wenn sie herauskommt, im Moment haben wir Vulcan, das einen ziemlich guten Job macht. Und wie sieht es nun mit dem Preis aus? Dieses Ding ist nicht Ihr durchschnittliches Billigauto. Diese Dinge werden ernst. Mini-PCs bekommen langsam einen echten Mehrwert, echte Chips, denn unsere Chips werden immer kleiner und bieten uns trotzdem noch viel Leistung. Obwohl es sich um einen Mini-PC handelt, liegt er irgendwo zwischen einem Mini-PC und einem Desktop. Es ist größer und der Preis ist auch etwas höher. 14,99 $ für die 64-GB-Version und 2.000 $ für die 128-GB-Version, die ich hier habe. Die Nachfrage nach diesem speziellen Chip ist derzeit wahnsinnig groß. Wenn Sie mich fragen, ob das ein hoher Preis

19:13 für diese Maschine ist, würde ich sagen: Nein, denn diese Maschine ist ein Biest und ein Kraftpaket in einem winzigen Paket. Wenn Sie ihn jetzt mit dem M4 Mac Mini vergleichen, sehen Sie, dass die Leistung des Mac Mini gut ist, er aber aufgrund der Speicherbandbreitenbeschränkungen nicht so leistungsstark sein wird wie dieses Ding. Außerdem ist die Anzahl der Kerne viel geringer und die Leistung daher geringer. Außerdem 64 und 128 GB RAM. Das bekommen Sie mit dem M4 Mac Mini nicht. Mit dem M4 Pro sind 64 möglich. Das ist dieses hier. Aber diese Maschine kostete 23,99. Also um einiges mehr. Also gut, Leute, das war's für dieses Mal. Ich hoffe, Ihnen hat dieses Video gefallen. Wenn ja, geben Sie ihm einen Daumen hoch. Erwägen Sie, dem Kanal als Mitglied beizutreten. Als ich diese Maschine zum ersten Mal bekam, habe ich tatsächlich ein paar Tests für Mitglieder in einem Live-Stream durchgeführt . Sie können sich unten auch dafür anmelden. Ansonsten könnte Sie

19:59 dieses Video hier interessieren. Danke fürs Zuschauen und bis zum nächsten Mal. [Musik]