Jetson Nano 2GB macht KI noch zugänglicher

Das neue NVIDIA Developer Kit senkt die Hürde für den Einstieg in KI, Robotik und andere Anwendungen, die von CUDA beschleunigten Berechnungen profitieren.

Als der ursprüngliche Jetson Nano auf den Markt kam, sorgte er mit seiner Kombination aus Quad-Core-ARM-Prozessor und 128-Core-GPU sowie 4 GB RAM, Gigabit-Ethernet und USB 3.0 unter anderem für Aufsehen – und das alles zu einem unglaublichen Preis. Die jüngste Ausgabe der Familie (204-9968) senkt die Hürde für den Einstieg in die leistungsfähige Plattform sogar noch weiter, dank eines neuen kostenoptimierten Entwicklungskits, das fast die Hälfte des Preises des ursprünglichen Nano beträgt.

Wie der Name schon vermuten lässt, verfügt dieses neue Jetson Nano-Entwickler-Kit über 2 GB RAM anstelle von 4 GB und es gibt noch ein paar andere Unterschiede. Wie wir gleich sehen werden, ist der Jetson Nano 2GB jedoch immer noch für viele Anwendungen geeignet und wird zu diesem stark reduzierten Preis viele weitere Anwendungen mit KI und anderen CUDA-beschleunigten Workloads ermöglichen. Ganz zu schweigen von der Möglichkeit, die Technologie in alle möglichen kostensensiblen Projekte einzubinden.

2GB + 4GB Vergleich

Oben sehen wir den Jetson Nano 2GB zusammen mit einem 4GB Entwickler-Kit. An dieser Stelle sei darauf hingewiesen, dass es sich bei letzterem um eine A02-Variante und nicht um das aktualisierte B01-Kit handelt. Ein bemerkenswerter Unterschied besteht darin, dass die aktuellen 4-GB-Kits nun über 2x CSI-2-Kamerainterfaces verfügen. Daher hat der Jetson Nano 2GB, ähnlich wie frühere 4GB-Kits, nur einen einzigen CSI-2-Kameraanschluss. Für viele Anwendungen wird dies mehr als ausreichend sein, und natürlich ist es auch möglich, eine Kamera über USB anzuschließen.

Ein weiterer wichtiger Unterschied besteht darin, dass das 4-GB-Kit über 4 USB 3.0-Anschlüsse verfügt, während das 2-GB-Kit 2 x USB 2.0-Anschlüsse und einen einzigen USB 3.0-Anschluss hat. Auch dies ist für viele Anwendungen völlig ausreichend, und wenn das Kit in einer Lernumgebung eingesetzt wird, werden wahrscheinlich ohnehin nur ein oder zwei USB-Anschlüsse für Tastatur und Maus verwendet. Apropos Nutzung als Workstation: Während das 4-GB-Kit sowohl über HDMI- als auch DisplayPort-Schnittstellen verfügt, hat die 2-GB-Variante nur HDMI.

Es ist nicht ungewöhnlich, DC-Koaxialanschlüsse auf Entwicklungsplatinen zu sehen, und 4-GB-Kits verfügen über einen 5,5/2,1-mm-Anschluss für die Stromversorgung. Das neue 2-GB-Kit hat diesen jedoch durch einen USB-C-Anschluss ersetzt, was durch die Reduzierung der maximalen Stromaufnahme von 4 A auf 3 A möglich wurde und somit innerhalb der Spezifikationen für 5 V Strom über USB-C liegt.

Dies mag wie ein kleines Detail erscheinen, aber USB-C-Netzteile sind viel leichter verfügbar und dies deutet vielleicht auf ein Engagement hin, diese Technologie so zugänglich wie möglich zu machen.

Ein Unterschied, der nicht sofort ersichtlich ist, besteht darin, dass die 4-GB-Kits über einen M.2-Anschluss verfügen, der unter dem Jetson System-on-Module (SoM) versteckt ist und bei den 2-GB-Kits fehlt. Angesichts des sehr begrenzten Platzes ist der Steckplatz jedoch ein Key-E-Steckplatz, der z. B. für WLAN-Adapter für Laptops verwendet wird, und nicht für eine SSD. Wenn WiFi erforderlich ist, kann ein USB-Adapter verwendet werden.

Sowohl das 4-GB- als auch das 2-GB-Kit verfügen über Micro-SD-Steckplätze auf dem SoM, die in der Regel als Speichermedium verwendet werden, obwohl auch USB-Laufwerke angeschlossen werden können. Das 2-GB-Kit verfügt über denselben 40-poligen Erweiterungsstecker und einen zweiten, kleineren Stecker mit Anschlüssen für Power-Button, Reset und UART usw. Ebenso verfügen sowohl die 4-GB- als auch die 2-GB-Kits über Gigabit-Ethernet.

Um die wichtigsten Unterschiede zusammenzufassen: 2 statt 4 GB RAM, eine einzige CSI-2-Schnittstelle, weniger USB-3.0-Anschlüsse (Sie können einen externen Hub verwenden), kein DisplayPort (die meisten Monitore haben einen HDMI-Eingang) und kein M.2-Steckplatz (Sie können einen USB-WiFi-Adapter verwenden). Aber die gleiche Quad-Core-CPU und 128-Core-GPU, zusammen mit anderen großen SoC-Funktionen - und fast die Hälfte des Preises.

Vergleich mit anderen Platformen

Die Vergleichstabelle wurde von NVIDIA zur Verfügung gestellt.

In Anbetracht des Preises liegt ein Vergleich mit dem Raspberry Pi 4 nahe. Dieser verfügt zwar über einen Grafikprozessor, kann aber derzeit so gut wie nur für Grafiken verwendet werden. Das bedeutet, dass die KI-Workloads vollständig von der CPU ausgeführt werden und die Leistung daher weit hinter dem zurückbleibt, was mit dem Jetson Nano erreicht werden kann. Tatsächlich hat NVIDIA angegeben, dass das 2-GB-Entwickler-Kit eine bis zu 200-fache Leistung des Raspberry Pi 4 bieten kann. Pi 4 verfügt jedoch über eine leistungsfähigere ARM-CPU und ist in Varianten mit bis zu 8 GB RAM erhältlich, sodass er für viele Nicht-KI-/Parallelverarbeitungsaufgaben wahrscheinlich die bessere Wahl bleibt.

Ähnlich verhält es sich mit Google Coral, das eine Tensor Processing Unit (TPU) zur Beschleunigung von KI-Workloads integriert. Wir können sehen, dass die rohe GFLOPS-Leistung geringer ist als die der Jetson Nano GPU, während das Board auch die Hälfte des RAM und die Hälfte der Speicherbandbreite hat. Außerdem ist die Unterstützung für KI-Frameworks bei Coral sehr viel eingeschränkter, und es ist offensichtlich, dass es nicht in der Lage ist, die Vorteile des breiteren CUDA-Ökosystems zu nutzen, das Software für die Beschleunigung vieler anderer Nicht-KI-Workloads bietet. Allerdings haben Benchmarking-Tests gezeigt, dass bestimmte Modelle, die über Tensorflow Lite auf Coral laufen, eine bessere Leistung haben. Darüber hinaus ist die Coral-Plattform nicht nur als Dev-Board, sondern auch als USB-Beschleuniger, SoM und M.2/Mini-PCIe-Board erhältlich.

Es gibt natürlich eine wachsende Zahl von tiefer eingebetteten Lösungen, die in der Regel auf reduzierten und maßgeschneiderten KI-Frameworks basieren, die auf Mikrocontrollern laufen. Diese sind ideal, wenn Sie einen extrem niedrigen Stromverbrauch haben und für diese Hardwareklasse geeignet sind. Zum Beispiel eine einfache intelligente Sicherheitskamera mit Personenerkennung. Für viele anspruchsvollere Anwendungen dürften solche Lösungen jedoch kaum geeignet sein.

Ein weiterer wichtiger Punkt ist, dass es mit Jetson möglich ist, sowohl die Inferenz als auch das Training auf der gleichen Hardware laufen zu lassen. Da das Training sehr viel rechenaufwändiger ist als die Inferenz, ist es selten sinnvoll, dies auf einer CPU überhaupt zu versuchen. Wenn also KI-Modelle auf einem Raspberry Pi oder einer uC-basierten Plattform ausgeführt werden, muss das Training auf einem anderen Computer durchgeführt werden – und das ist in den meisten Fällen ein Desktop-, Server- oder Cloud-System, das mit einer NVIDIA GPU ausgestattet ist.

Ein Jetson Nano wird nicht die gleiche Leistung erbringen wie ein Computer mit einem aktuellen PCIe-Grafikprozessor, aber er bietet einen äußerst erschwinglichen Einstieg, bei dem KI-Neulinge mit minimalem Aufwand sowohl mit dem Training als auch mit Inferenzen beginnen können. Darüber hinaus kann es auch zu einigen interessanten Anwendungen führen, z. B. zum iterativen Training auf dem Gerät. Wenn mehr Ressourcen und/oder schnelleres Training erforderlich sind, kann dies dank der Portabilität über CUDA-Hardware leicht skaliert werden.

Zusammenfassend lässt sich also sagen, dass der Jetson Nano eine fantastische Leistung bei der Ausführung von KI-Inferenzen bietet und als Bonus auch zum Trainieren von Modellen verwendet werden kann. Wie bei so vielen Dingen ist es jedoch eine Frage des richtigen Werkzeugs für die jeweilige Aufgabe, und es wird Anwendungsfälle geben, für die andere Plattformen besser geeignet sind.

Software Support

In einem früheren Beitrag habe ich einen Blick auf den ursprünglichen Jetson Nano 4GB geworfen und als Teil davon den Software-Stack behandelt. Zusammenfassend lässt sich sagen, dass CUDA eine Plattform für parallele Berechnungen und ein API-Modell ist, das von NVIDIA entwickelt wurde, um den Zugang zur GPU zu ermöglichen. Sie unterstützt Geräte, die von eingebetteten Plattformen wie der Jetson-Familie bis hin zu extrem leistungsstarken Lösungen für Rechenzentren reichen. Es bietet eine Reihe von beschleunigten Bibliotheken, erweitert C/C++ und bietet eine FORTRAN-Implementierung (beliebt bei Hochleistungsrechnern).

Das JetPack SDK baut auf CUDA auf und bietet Betriebssystem-Images, Bibliotheken, APIs, Beispiele und Entwickler-Tools. Es enthält unter anderem ein Ubuntu-basiertes Image für den Jetson Nano sowie verschiedene beschleunigte Bibliotheken auf höherer Ebene für die Entwicklung von Deep Learning- und Computer Vision-Anwendungen.

Wie bereits erwähnt, kann CUDA auch zur Beschleunigung von Nicht-KI-Arbeitslasten, wie z. B. der digitalen Signalverarbeitung, eingesetzt werden. Zur Unterstützung dieser Aufgabe bietet NVIDIA die Software cuSignal an, die eine GPU-beschleunigte Signalverarbeitung innerhalb von Python-Anwendungen ermöglicht. Ein einfaches, wenn auch sehr effektives Beispiel dafür ist PyRadio, eine Reihe von SDR-Skripten (Software-defined Radio), die in Verbindung mit einer Desktop-GPU in der Lage sind, 35+ FM-Radiosender parallel zu demodulieren.

Obwohl die KI und damit verbundene Bereiche wie die Robotik die vielleicht größten Chancen für die GPU-, d. h. parallele, Verarbeitung bieten, ist das noch lange nicht das Ende der Fahnenstange. In dem Maße, in dem die Technologie in die Hände von immer mehr Menschen gelangt, können wir mit einer Zunahme von Software rechnen, die in der Lage ist, eine wachsende Zahl rechenintensiver, nicht KI-gestützter Arbeitslasten zu beschleunigen.

Jetson AI Zertifizierung

Zeitgleich mit der Ankündigung des Jetson Nano 2GB hat NVIDIA über sein Deep Learning Institute auch die Jetson AI Certification eingeführt. Diese bietet Zertifizierungsmöglichkeiten für KI-Spezialisten und KI-Botschafter, wobei sich letztere an Pädagogen und Ausbilder richten. In beiden Fällen werden grundlegende Kenntnisse von Linux und Python vorausgesetzt, während für die Ambassador-Zertifizierung auch Lehr- oder Schulungserfahrung empfohlen wird.

Die strukturierten Kursinhalte werden von NVIDIA zur Verfügung gestellt, und für die Zertifizierung als KI-Spezialist müssen die Teilnehmer „ein Open-Source-Projekt einreichen, das NVIDIA Jetson verwendet und Elemente der KI (maschinelles Lernen oder Deep Learning) mit GPU-Beschleunigung enthält, zusammen mit einem Video, das das Projekt in Aktion zeigt“. Die AI Ambassador-Zertifizierung umfasst einen zusätzlichen Interviewschritt.

Abschließende Worte

Der Jetson Nano 2GB hat das Potenzial, viele weitere KI- und andere CUDA-beschleunigte (Parallelverarbeitungs-)Anwendungen einzuführen. Der niedrige Preis bedeutet, dass er wahrscheinlich auch in vielen Projekten zum Einsatz kommen wird, bei denen es trotz des fantastischen Preis-Leistungs-Verhältnisses bisher schwer war, den Einsatz des 4-GB-Modells zu rechtfertigen, sei es für eine spaßige Freizeitgestaltung oder beispielsweise als Komponente in einem groß angelegten Forschungsprojekt.

— Andrew Back