Kurze Zusammenfassung
Dieses Video behandelt die Auswirkungen von DeepSeeks neuem Open-Source-Sprachmodell R1 auf die KI-Landschaft. Es zeigt, dass R1 OpenAIs Modelle in vielen Metriken übertrifft, und das mit deutlich weniger Ressourcen. Das Video untersucht auch die Möglichkeiten, R1 auf verschiedenen Geräten, einschließlich Raspberry Pi und einem 192-Kern-Server, auszuführen. Es wird festgestellt, dass selbst ein Raspberry Pi mit einer dedizierten Grafikkarte R1 mit einer akzeptablen Geschwindigkeit ausführen kann. Schließlich wird die anhaltende Euphorie um KI angesprochen und die Notwendigkeit, die Ressourcen für KI-Entwicklung effizienter zu nutzen, betont.
- DeepSeeks R1 übertrifft OpenAIs Modelle mit weniger Ressourcen.
- R1 kann auf verschiedenen Geräten, einschließlich Raspberry Pi, ausgeführt werden.
- Die KI-Euphorie ist ungebrochen, aber es besteht Bedarf an effizienterer Ressourcennutzung.
Das Video beginnt mit der Vorstellung von DeepSeeks neuem Open-Source-Sprachmodell R1, das OpenAIs Modelle in vielen Metriken übertrifft. DeepSeek konnte R1 mit nur 6 Millionen Dollar und GPUs mit halber Bandbreite von OpenAIs Modellen entwickeln. Dies stellt eine große Bedrohung für OpenAI dar, da es zeigt, dass leistungsstarke KI-Modelle mit deutlich weniger Ressourcen entwickelt werden können.
Der Autor erklärt, dass ein Raspberry Pi 5 zwar technisch DeepSeeks R1 ausführen kann, dies aber nicht mit der gleichen Leistung wie auf einem leistungsstärkeren System geschieht. Er betont, dass das 671B-Modell, das ChatGPT übertrifft, immer noch eine erhebliche Rechenleistung erfordert.
Der Autor demonstriert die Ausführung von DeepSeeks 671B-Modell auf einem 192-Kern-Server. Obwohl die Geschwindigkeit mit 4 Token pro Sekunde nicht besonders hoch ist, ist der Server im Vergleich zu anderen High-End-Systemen relativ günstig und energieeffizient.
Der Autor testet die Ausführung des 14B-Modells von R1 auf einem Raspberry Pi 5. Die Geschwindigkeit ist mit 1,2 Token pro Sekunde sehr langsam, aber ausreichend für einfache Aufgaben wie Rubber-Duck-Debugging oder das Generieren von Ideen.
Der Autor zeigt, dass die Verwendung einer externen Grafikkarte die Geschwindigkeit des 14B-Modells auf einem Raspberry Pi 5 deutlich erhöht. Mit einer AMD W 7700 Grafikkarte erreicht er eine Geschwindigkeit von 20 bis 50 Token pro Sekunde.
Der Autor diskutiert die wachsende Verfügbarkeit von GPUs für ARM-basierte Geräte wie den Raspberry Pi. Er erwähnt, dass sowohl AMD als auch Intel Open-Source-Treiber für ihre GPUs auf ARM-Plattformen anbieten, und dass Nvidia möglicherweise bald folgen wird.
Der Autor spricht die anhaltende Euphorie um KI an und die Tatsache, dass Nvidia trotz des Aufkommens von DeepSeek einen erheblichen Wertverlust erlitten hat. Er argumentiert, dass die KI-Industrie möglicherweise zu viel Ressourcen für die Entwicklung von Modellen verwendet, die nicht unbedingt notwendig sind. Er betont die Notwendigkeit, die Ressourcen effizienter zu nutzen und die KI-Entwicklung auf sinnvolle Anwendungen zu konzentrieren.
Fasse jedes YouTube-Video in Sekunden zusammen
Hol dir Zusammenfassungen wie diese für jedes Video, in deiner Sprache, mit der kostenlosen Summ-App.
Transkript
Vollständiges Transkript von „OpenAI's nightmare: Deepseek R1 on a Raspberry Pi“. Klicke auf einen Zeitstempel, um das Video an dieser Stelle zu öffnen. Du brauchst ein anderes Video? Nutze den YouTube-Transkript-Generator.
0:00 open AI which is only really open about consuming all the world's energy just got rattled to its core deep seek a new AI startup run by a Chinese hedge fund created a new open weights model called R1 that allegedly beats open ai's best models in most metrics and they did it for $6 million with gpus that run at half the memory bandwidth of open AI Pony Stark was able to build this in a cave with a bunch of scraps besides the embarrassment of a Chinese start up beating open AI using 1% of the resources their model can distill other models to make them run better on slower Hardware meaning this Raspberry Pi can run one of the best local quen AI models even better now open ai's entire Moe is
0:45 predicated on people not having access to the insane energy and GPU resources to train and run massive AI models but that moat disappears if anyone can buy a GPU and run a model that's good enough for free anytime they want but sensationalist headlines aren't telling you the full story this Raspberry Pi can technically Run Deep seek R1 but it's not the same thing as deep seek R1 671b which is a 400 GB model that model the one that actually beats chat GPT still requires a massive amount of GPU compute but the big difference is assuming you have a few 309s you could run it at home you don't have to pay open AI for the privilege of running one of their fancy models you can just install a llama download deep seek and
1:31 play with it to your heart's content and even if you don't have a bunch of gpus you could technically still run deep seek on any computer with enough RAM like here it's running on my 192 core ere 1 server it's running deep seek 671b at about 4 tokens per second which isn't crazy fast but this server won't set you back like a 100,000 bucks either even though it's only using a00 Watts which is honestly pretty amazing a noisy server like this isn't going to be in everyone's living a Raspberry Pi could be though so let's look at how the smaller 14b model runs on it it's definitely not going to win any speed records testing a few different prompts I got about 1.2 tokens per second I mean it runs but if you want a chatbot for like rubber duck debugging or to give
2:17 you a few ideas for your next YouTube title this isn't fun but we can speed things up a lot all we need is an external graphics card because gpus and the vram on them are way faster than CPUs and system m I have this setup I've been testing with an AMD W 7700 Graphics card it has 16 gigs of Speedy vram and as long as it can fit the whole AI model in that it should be way faster than any CPU and it is like 10 times faster I can get between 20 to 50 tokens per second depending on the type of work I'm doing here's the raw output from an interactive session and if I look at NV toop I can see all this processing is being done on the GPU and if I run llama bench it's reporting 24 to 54 tokens per second and this GPU isn't even targeted
3:03 at llms you can go a lot faster if you're interested in running gpus on Raspberry Pi or maybe even other arm boards well you're in for a treat this year not only do we have AMD gpus working great the new Intel open source drivers are also working somewhat and Nvidia might be in the cards too on top of that I have an Orion 06 a cm5 ITX board and even a high five premier p550 all of which have full full size by6 PCI slots so even if the year of the Linux desktop will never come at least we'll get custom arm and risk 5 PCS AI is still in a massive bubble Nvidia just lost more than half a trillion dollars in value in one day after deep seek was launched but their stock price is still eight times higher today than it was in
3:49 2023 and it's not like anyone's hyping up AI any less now the one good takeaway I think is people might realize we don't need to devote more than half the world's energy resources or set up a Dyson Sphere around the Sun just to help computers solve trillions of multiplication problems to spit out another thousand mediocre web apps the other takeaway is that there's new confusion in AI models over who precisely is Winnie the Pooh until next time I'm Jeff Kling
