Jetson AGX Orin und Orin Nano im Vergleich Teil 1: Merkmale und Spezifikationen

Ein direkter Vergleich der Flaggschiff- und Einsteigsmodelle der Entwickler-Kits in NVIDIAs neuester und bester Produktfamilie von Embedded-Plattformen für Edge-KI.

In unseren früheren Artikeln haben wir uns die ursprüngliche Plattform des Jetson Nano (basic hands-on and AI follow trolley project), und das Kraftpaket Jetson AGX Orin angesehen (first look and basic setup).

In dieser zweiteiligen Serie wollen wir nun das Entwicklerkit für das Spitzenmodell Jetson AGX Orin mit dem kleineren und viel preiswerteren Jetson Orin Nano vergleichen und gegenüberstellen. In Teil 1 lernen wir zunächst die Funktionen und Spezifikationen der beiden Plattformen kennen. In Teil 2 werden wir dann einige Beispiel-Workloads ausführen und die relative Leistung der beiden Plattformen vergleichen.

Wie wir später sehen werden, stellt der Jetson Orin Nano, obwohl er weniger leistungsstark ist als der Jetson AGX Orin, eine enorme Leistungssteigerung gegenüber dem ursprünglichen Jetson Nano dar, der 2019 auf den Markt kam. Unterdessen ist die Entscheidung, welcher Vertreter der Jetson Orin-Familie für ein Projekt eingesetzt werden soll, wie bei vielen anderen Dingen auch, eine Frage des am besten geeigneten Werkzeugs für die jeweilige Aufgabe und nicht nur eine Frage des Budgets.

Vergleich

Auch wenn viele andere Aspekte eine Rolle spielen, ist der Preis ein naheliegender Ausgangspunkt. Zum Zeitpunkt der Erstellung dieses Artikels lag der Preis für das Jetson AGX Orin 64 GB-Entwicklerkit (253-9662) knapp unter £2.200 (inkl. MwSt.), während das Jetson Orin Nano-Entwicklerkit (264-7384) etwas unter £550 lag. Wir kommen zu den Unterschieden bei den Entwicklerkits, aber es handelt sich dabei meist nur um „Breakout-Boards“ (kleine Adapterplatinen) für die Jetson System-on-Modules (SoMs).Hier sehen wir den tatsächlichen Unterschied bei den mitgelieferten Komponenten.

SoM Spezifikationen

Wichtig ist, dass es sowohl vom Jetson AGX Orin als auch vom Jetson Orin Nano SoM mehrere Varianten gibt, die sich z. B. in der Rechenleistung und dem Arbeitsspeicher unterscheiden. Im Falle des AGX Orin gibt es auch zwei Developer-Kit-Optionen, die jeweils mit 64 GB und 32 GB RAM ausgestattet sind. Weitere Unterschiede finden Sie unter „A First Look at the NVIDIA Jetson AGX Orin“ (Erster Blick auf den NVIDIA Jetson AGX Orin). Für Orin Nano gibt es nur ein Entwickler-Kit, aber zwei SoM-Optionen für Produktionsdesigns.

Die obige Tabelle stammt aus dem Abschnitt „Jetson Orin-Module und Entwicklerkits“ auf der NVIDIA-Website, die auch Einzelheiten zu Orin NX enthält. Diese wurden hier jedoch weggelassen, um die Tabelle lesbarer zu gestalten und auch, da unser Schwerpunkt auf AGX Orin und Orin Nano liegt.

Aus der Spezifikationstabelle können wir ersehen, dass die KI-Leistung von 20 TOPS für Orin Nano 4 GB bis zu 275 TOPS für AGX Orin 64 GB reicht. Obwohl das Jetson Nano-Entwicklerkit mit einem 8 GB RAM SoM ausgestattet ist und dieses mit 40 TOPS spezifiziert ist. Dafür sorgt eine GPU mit Ampere-Architektur und Tensor-Kernen, die von 512+16 beim Orin Nano 4 GB bis hin zu 2048+64 beim AGX Orin 64 GB skaliert. Auch die Taktfrequenz der GPU hat sich fast verdoppelt.

Ebenso zeigt sich, dass die Serie Orin Nano über eine 6-Core-Cortex-A-78AE-CPU verfügt, die beim AGX Orin 32 GB auf 8-Core und bei den Varianten AGX Orin Industrial und 64 GB auf 12-Core erhöht wird. AGX Orin SoMs profitieren zusätzlich von 2x Deep Learning-Beschleunigern und einem Vision-Beschleuniger.

Alle Orin SoMs unterstützen externen NVMe-Speicher, und die Entwicklerkits sehen die Möglichkeit vor, diesen anzuschließen. Zusätzlich verfügt das Orin Nano Entwicklerkit über einen Micro-SD-Kartenslot, während das AGX Orin von 64 GB fest verlötetem eMMC-Speicher profitiert.

Deutliche Unterschiede gibt es bei den Videokodier- und -dekodierfähigkeiten. Zudem bietet die Kameraschnittstelle MIPI CSI-2 bei AGX Orin SoMs 16x Datenübertragungskanäle während es bei Orin Nano nur 8x sind. Ein weiterer wesentlicher Unterschied ist, dass die AGX Orin-Module mehr PCIe-Konnektivität bieten.

Darüber hinaus verfügen die 32-GB- und 64-GB-Varianten von AGX Orin über 10G- und 1G-Ethernet-Anschlüsse, während AGX Orin Industrial und alle Orin Nano-Module nur über eine einzige 1G-Schnittstelle verfügen.

Module Jetson AGX Orin und Orin Nano

Der AGX Orin SoM ist 100 x 87 mm groß, verfügt über einen 699-poligen Mezz-Steckverbinder von Molex und wird mit einer integrierten Wärmeleitplatte (Thermal Transfer Plate, TTP) geliefert, welche die Gesamtdicke erhöht. Der Orin Nano ist mit 69,6 x 45 mm fast halb so groß, verwendet einen kleineren 260-Pin-SO-DIMM-Anschluss und wird nicht mit einer TTP geliefert. Die Leistungsaufnahme der AGX Orin SoMs liegt bei 75 W, während diese bei den leistungsstärkeren Orin Nano SoMs bei maximal 15 W liegt.

NVIDIA Jetson AGX Orin mit Wärmeleitplatte

Es dürfte nicht überraschen, dass die leistungsstärksten SoMs der Jetson Orin-Familie etwas größer sind und mehr Strom verbrauchen als die SoMs der Einstiegsklasse. Allerdings haben wir es hier mit einer enormen Rechenleistung zu tun, die in eine immer noch recht kleine Grundfläche von 100 x 87 mm eingepasst ist, mit einem Spitzenstromverbrauch von nur 75 W für das Spitzenmodell der Serie.

Auch wenn wir im Rahmen dieses Vergleichs nicht näher auf das Mittelklasse-Modell Orin NX eingehen, sei darauf hingewiesen, dass es eine bequeme Aufrüstungsmöglichkeit für Designs bietet, die mit dem Orin Nano beginnen. Denn es verwendet denselben Formfaktor und denselben Anschluss, mit einem leicht erhöhten Spitzenstromverbrauch von nur 25 W, bei mehr als doppelter KI-Leistung, sowie zahlreichen weiteren Upgrades.

Der Wechsel von Jetson Orin Nano oder Jetson Orin NX zu Jetson AGX Orin würde jedoch eine Überarbeitung des Designs erfordern, zumindest wegen des anderen Anschlusses, aber auch wegen des höheren Energiebedarfs. Daher sollte der potenzielle künftige Bedarf sorgfältig geprüft werden.

Wie wir sehen, gibt es also nicht nur bei der KI-Leistung, sondern auch bei der CPU, dem Arbeitsspeicher und den Anschlussmöglichkeiten eine ganze Reihe von Unterschieden. Daher kann es vorkommen, dass ein Modul mit einer geringeren KI-Leistung ausreicht, aber für die Gesamtanwendung mehr CPU oder RAM benötigt wird, oder vielleicht mehr Anschlussmöglichkeiten für Peripheriegeräte.

Entwicklungskits

Wie das AGX Orin ist auch das Orin Nano Entwicklerkit gut ausgestattet und enthält alles, was man braucht, um es in Betrieb zu nehmen – abgesehen von einer Micro-SD-Karte.

Das Orin-Nano-Kit bietet eine Referenz-Platine, die mit einem SoM und einem Kühlsystem ausgestattet ist, sowie ein Gleichstromnetzteil für den Schreibtisch. Wie man erwarten würde, ist die Nano-Trägerplatine plus SoM-Baugruppe kleiner – sie hat eine ähnliche Grundfläche, ist aber etwa halb so hoch – und hat ein kleineres Netzteil. Auch die Ausstattung ist wesentlich einfacher: Die Platine befindet sich auf einem einfachen Kunststoffschlitten, anstatt in einem schicken Aluminiumgehäuse mit magnetischer Abdeckung über einem PCIe-Steckplatz in voller Größe untergebracht zu sein.

Sowohl das AGX Orin- als auch das Orin Nano-Entwicklerkit verfügen über 4 USB-Anschlüsse, wobei sich beim Orin-Entwicklerkit zwei auf der einen und zwei auf der gegenüberliegenden Seite befinden, während sich bei der Nano-Trägerplatte alle Anschlüsse auf einer Seite befinden. AGX Orin unterstützt Ethernet mit bis zu 10 Gbit/s, während Nano nur bis zu 1 Gbit/s unterstützt.

Wie bei der größeren Trägerplatine AGX Orin befindet sich an einer Seite ein GPIO-Header.

Auf der gegenüberliegenden Seite befindet sich ein Paar MIPI CSI-Header für den Anschluss von Embedded-Kameras.

Unter dem Jetson SoM befindet sich auf der Seite gegenüber den Hauptanschlüssen ein „Button Header“, der Pins für eine Status-LED und Tasten sowie UART enthält. An der Seite ist ein optionaler CAN-Bus-Header angebracht, der auch montiert werden kann.

Auf der Unterseite des Orin Nano Dev-Kits befindet sich ein M.2-Slot (Key-E, Typ 2230), der bereits mit einem WiFi/Bluetooth-Adapter bestückt ist, der mit einem Paar PCB-Antennen verkabelt ist. Als Steckplätze stehen M.2 Key-M 2280 (PCIe 3.0 x4) und 2230 (PCIe 3.0 x2) zur Verfügung, wobei sich ersterer besonders für die Verwendung mit NVMe-Speicher eignet.

Abschließender Kommentar

Wie wir hier gesehen haben, gibt es in der Produktfamilie Jetson Orin eine große Bandbreite an AI/CUDA-Verarbeitungsleistung, vom Einsteigermodul Orin Nano bis hin zum Spitzenmodell AGX Orin SoM. Die Unterschiede zwischen den Plattformen Orin Nano und AGX Orin sind indes deutlicher, da letztere einen leistungsfähigeren CPU-Komplex, umfangreichere Videofunktionen und ein leistungsfähigeres Ethernet sowie verbesserte Anschlussmöglichkeiten durch MIPI CSI und PCIe bietet. Dies geht allerdings auf Kosten von Größe, Gewicht – zugegebenermaßen nicht so stark –, Leistung und Kosten.

Bei der Entscheidung zwischen Jetson Nano und Jetson AGX Orin sollten daher nicht nur die KI-Leistung, sondern auch die allgemeinen Systemanforderungen mit einbezogen werden.

Im zweiten und abschließenden Teil dieser Serie wollen wir einige typische KI-Workloads auf den Entwicklungskits AGX Orin und Orin Nano ausführen, um einen realen Vergleich zu ermöglichen.

  — Andrew Back