LiDAR-Fahrzeugerkennungssystem unter Verwendung einer FPGA-Plattform

Light Detection and Ranging (LiDAR) wird verwendet, um die Informationen auf der Straße zu erheben und sie zur Entscheidungsfindung an das System weiterzuleiten. Es findet nun in autonomen Fahrzeugen Anwendung. LiDAR kann beispielsweise Objekte rund um das Fahrzeug erkennen, damit es entweder rechtzeitig automatisch abbremsen oder beschleunigen kann, um einen Unfall zu vermeiden. Studenten der AGH University of Science and Technology erschaffen ein Fahrzeugerkennungssystem, das LiDAR-Sensoren und FPGA verwendet. Das System klassifiziert Fahrzeuge auf Grundlage der von LiDAR-Sensoren erhobenen Daten.

Das LiDAR-Funktionsprinzip ist einfach. Diese Sensoren geben durch ein spezielles optisches System das gebündelte Laserlicht mit einer spezifischen Wellenlänge und in einer bestimmten Richtung ab. Wird der Strahl von einem Hindernis zurückgeworfen, so wird er von Detektoren aufgefangen, die sich im selben Gerät befinden. Anhand der Zeitspanne zwischen Aussendung und Empfang des Lichts wird die Entfernung zum Hindernis berechnet.

Normalerweise ist die Verarbeitung von Sensordaten oftmals rechnerisch komplex und erfolgt nur auf leistungsfähigen Prozessoren, doch dieses Projekt zeigt, dass Bild- und Datenverarbeitung auf heterogenen Plattformen (FPGT und ARM) ebenso effizient wie mit den Prozessoren durchgeführt werden können. Die verwendete Hardwareplattform ist die Digilent Zybo Z7: Zynq-7000, eine funktionsreiche, einsatzbereite eingebettete Software und Entwicklungsplatine, die um die Xilinx-Zynq-7000-Reihe herum konzipiert wurde. Die Zynq-Reihe basiert auf der All-Programmable-System-on-Chip (AP SoC)-Architektur von Xilinx, die einen ARM-Cortex-A9-Zweikernprozessor mit Xilinx' 7-Series-Field-Programmable-Gate-Array (FPGA)-Logik eng integriert

Eines der wichtigsten Elemente dieses Systems ist der Datenbezug von LiDAR-Sensor und -Kamera, die mit der Zybo-Z7-FPGA-Platine  (164-3486) oder (164-3487) verbunden sind. Um dreidimensionale Objekte zu erkennen, nutzt LiDAR Wolkendatenverarbeitung. Die Punktwolken-Verarbeitung kann in mehrere Stufen unterteilt werden. Die erste Stufe ist die Vorverarbeitung, wozu Bodenbeseitigung, Filterung und Hintergrundbeseitigung gehören. Die nächste Stufe ist die Segmentierung, die zum Ziel hat, die verbleibende Punktwolke in Segmente aufzuteilen, die potentielle Objekte enthalten. Abschließend werden für jedes Segment Eigenschaften extrahiert und die Klassifizierung wird durchgeführt.

Im Sichtteil des Systems ist der erste Schritt die Projektion der durch LiDAR-Datenverarbeitung ausgewerteten Projektsegmente auf die Bildebene und das Auswählen der entsprechenden ROI. Die ROI wird extrahiert und angepasst. Der letzte Schritt ist die Eigenschaftsextraktion und -klassifizierung (z. B. mittels HOG und SVM).  Der letzte Teil des Algorithmus ist die Datenzusammenführung. Die Klassifizierungswerte beider Systeme werden vereint, um die abschließende Objekterkennungs-Wahrscheinlichkeit zu erhalten. Dieser Ansatz wurde in der MATLAB-Umgebung und in der Vivado-Simulation getestet.

Das nachfolgende Schema stellt die gesamte Projektaufbau- und Funktionsaufbau-Implementierung dar. Die Zahlen bei den Linien stehen für Signale von den LiDAR-Datenzellen. Die Signale durchlaufen jeden Schritt des Verarbeitungsflusses und werden analysiert. Dieser Vorgang gibt an, ob eine Zelle während der Punktwolken-Vorverarbeitung beseitigt wurde oder nicht und ob sie als gültig markiert ist oder nicht. Ein Signalpaket wird in ein Segment umgewandelt und dann klassifiziert. Zum Abschluss wird das Segment in einen Hüllkörper umgewandelt, vom System validiert und auf dem Bildschirm angezeigt.

Heutzutage kann ein Fahrzeugerkennungssystem auch unter Verwendung heterogener Plattformen erzielt werden, wie dieses Projekt zeigt. Mittels LiDAR-Kamera und -Sensoren, die mit der Zybo Z7: Zynq-7000 verbunden sind, kann man mit der Entwicklung von Projekten beginnen, die sich unter geringen Kosten in Fahrerassistenzsysteme FAS) integrieren lassen.