Hey! Sie scheinen aus United States zu kommen, möchten Sie auf die Englisch Webseite wechseln?
Switch to Englisch site
Skip to main content

Lidar, Radar & Digitalkameras: die Augen der autonomen Fahrzeuge

Seit Einführung der ersten Motorsteuereinheit und der elektronischen Kraftstoffeinspritzung haben Quantität und Qualität der Kfz-Elektronik stetig zugenommen. Jede neue Funktion erfordert die Verarbeitung von Daten in Echtzeit durch neue Sensoren.

Fahrerassistenzsysteme und die Sensor-Explosion

Der Katalysator zur Reduzierung von Kohlenmonoxid (CO)-Emissionen von einem Benzinmotor kann nur dann funktionieren, wenn die Aufnahme des Kraftstoff-/Luftgemisches genau gemessen wird und der Zündzeitpunkt ebenfalls exakt stimmt. Ein spezieller Sensor, der als Luftmassenmesser bezeichnet wird, misst die einströmende Luftmenge, ein weiterer Sensor misst den Kraftstoffdurchfluss. Die Abgasreinigung ist ein geschlossener Regelkreis mit Rückmeldung von einem Abgas-Überwachungsgerät, das als Sauerstoff-Sensor bezeichnet wird. Die ersten elektronischen Steuergeräte (ECU) in Kraftfahrzeugen steuerten die Kraftstoffeinspritzung und den Zündzeitpunkt, um maximale Effizienz und minimale Abgaswerte zu gewährleisten. Die Zuverlässigkeit dieser Steuergeräte wurde seinerzeit nicht als Sicherheitsfrage angesehen. Frühe Anti-Blockiersysteme (ABS), waren komplett mechanisch-hydraulisch, und wurden als „ausfallsicher“ entwickelt. Und sie waren es. Weitgehend.

Die heutigen digitalen Rotationssensoren an jedem Rad liefern Daten an ein anderes Steuergerät, das in der Lage ist, den Input der Fußbremse (ABS) und des Gaspedals (Traktionskontrolle) aufzuheben. Dies ist eine frühe Komponente dessen, was heute als Fahrerassistenzsystem (engl.: Advanced Driver-Assistance System, kurz ADAS) bezeichnet wird, und die Zuverlässigkeit ist dabei ein sicherheitsrelevantes Thema.

nvidia_driverless_car_760100dd1c840378d1afb035bb4c631cc74cf51e.jpg

Bildquelle: nvidia

Systeme für maschinelles Sehen – Sensoren

Bevor durch DARPA Grand Challenge(s) und Google die Entwicklung von autonomen Fahrzeugen sehr schnell vorangetrieben wurde, waren die Sensoren für Fahrerassistenzsysteme (FAS) relativ einfach, die Abtastraten niedrig und die Leistung der elektronischen Steuergeräte ziemlich dürftig. All das änderte sich, als erkannt wurde, dass es eine Mammutaufgabe sein würde, einen Ersatz für die menschlichen Sinneswahrnehmungen (Augen) und die Bildverarbeitung (Gehirn) zu entwickeln. Bis zu diesem Zeitpunkt war das anspruchsvollste System zur Überwachung, was außerhalb des Autos passierte, die Einparkhilfe basierend auf Ultraschallwandlern! Es geht darum, einen Bildverarbeitungssensor zu entwickeln, der so gut ist wie das menschliche Auge. So scheint es. Wenn man die Vorgaben für ein künstliches Auge auflistet, das die Qualität der Daten liefern kann, die für ein autonomes Fahrzeug benötigt werden, scheint das menschliche Auge im Vergleich eher bescheiden ausgestattet zu sein. Betrachten Sie diese Anforderungen an unser System für das maschinelle Sehen:

  • Muss eine horizontale Abdeckung von 360°rund um das Fahrzeug liefern.
  • Muss Objekte in 3D auflösen, die sich sehr nahe am Fahrzeug befinden, und auch solche, die weit entfernt sind.
  • Muss mit maximaler Reichweite gleichzeitig viele stehende und sich bewegende Objekte auflösen und identifizieren
  • Muss alle genannten Vorgaben bei allen Licht- und Wetterverhältnissen erfüllen
  • Und schließlich, muss alle Daten in Echtzeit liefern.

Sehen Sie nun, wie gut das menschliche Auge diesen Anforderungen gerecht wird:

  • Zwei Augen bieten bis zu 200° horizontales Sichtfeld (FOV) mit Augenbewegung.
  • 3D-Sicht besteht für 130° des Sichtfeldes
  • Nur die zentralen 45 bis 50° des Sichtfeldes sind hochauflösend, mit maximaler Bewegung und Farbwahrnehmung
  • Außerhalb der zentralen Zone lässt die Wahrnehmung schnell nach – periphere Sicht
  • Die automatische Iris bietet eine gute Leistung in unterschiedlichen Lichtverhältnissen
  • Die Einzelbildrate ist gut in der zentralen Zone, schlecht an den Grenzen der peripheren Sicht
  • Jedes Auge hat einen blinden Fleck, wo der Sehnerv auf die Netzhaut trifft
  • Alle oben genannten Fälle ignorieren das Alter, sowie Krankheiten und durch Verletzungen hervorgerufene Beeinträchtigungen

Das Ergebnis ist, dass die Augen eines Menschen nur eine akzeptable Sicht über eine schmale Zone bieten, beim Blick direkt nach vorne. Und dann gibt es ja noch den blinden Fleck. Warum sehen wir mit diesen Beschränkungen unsere Umgebung nicht wie durch ein schmales Bullauge, dem ein Teil des Bildes fehlt? Die Antwort liegt im Gehirn: Es interpoliert, es füllt die Lücken durch clevere Spekulation. Aber es ist leicht zu täuschen.

Künstliche Augen – Digitale Videokamera

Die digitale Videokamera ist ein offensichtlicher Kandidat als künstliches Auge, das in vielerlei Hinsicht eine herausragende Leistung gegenüber seinem natürlichen Pendant bietet:

  • Liefert hochauflösende Bilder in Pixeln und Farbe über die gesamte Breite ihres Sichtfeldes.
  • Hält eine konstante Einzelbildrate im gesamten Sichtfeld aufrecht
  • Zwei Kameras bieten stereoskopische 3D-Sicht
  • Es handelt sich um ein passives System, es gibt also keine Probleme durch die Kamera-Systeme der anderen Fahrzeuge.
  • Hält die Leistung im Laufe der Zeit aufrecht – leidet nicht unter Heuschnupfen oder Makuladegeneration

Car_Vision_blog_1_e952aef5760b2f699d3f6a6b90147a7832a24279.png

Abb.1 zeigt einen Entwurf, der für ein Fahrerassistenzsystem geeignet ist, mit Funktionen wie Kollisionsvermeidung, Spurhalteassistent, Fußgängererkennung, Parkhilfe und adaptiver Geschwindigkeitsregelung. Das Fehlen einer 360°-Abdeckung macht diese Anordnung für Stufe 4 und 5 des autonomen Fahrens allerdings ungeeignet. Eine volle Rundumsicht ist möglich, benötigt aber mindestens sechs Kameras und einen enormen Aufwand an digitaler Verarbeitung. Trotzdem ist diese Anordnung ähnlich gut oder sogar besser als die Fähigkeiten der menschlichen Augen in dieser Situation. Drei Problembereiche bleiben jedoch bestehen:

  • Die Leistung bei schlechten Lichtverhältnissen, d. h. in der Nacht
  • Die Leistung bei schlechtem Wetter. Was passiert, wenn sich Schmutz auf den Linsen sammelt oder Eis darauf bildet?
  • Teure, robuste Kameras werden benötigt, die über einen großen Temperatureinsatzbereich verfügen

Es geht nicht nur um die Fähigkeit, den voraus fahrenden Verkehr zu erkennen; Fahrbahnmarkierungen können verdeckt werden durch Wasser und Schnee, wodurch kein Spurhaltesystem mehr zuverlässig funktioniert.

Künstliche Augen – Lidar

Lidar (engl.: Light detection and ranging) basiert auf dem gleichen Prinzip wie konventionelles Mikrowellenradar. Laser-Impulse werden von einem Objekt zu einem Detektor reflektiert und die Laufzeit wird gemessen. Der Laserstrahl ist sehr schmal und die Abtastrate schnell genug, so dass genaue 3D-Darstellungen der Umgebung rund um das Auto in Echtzeit aufgebaut werden können. Lidar hat einige Vorteile im Vergleich zur Digitalkamera:

  • Volle 360°-Abdeckung in 3D ist mit einer einzigen Einheit möglich
  • Lidar wird nicht durch den Lichtpegel beeinflusst und bringt bei schlechten Wetterverhältnissen eine bessere Leistung
  • Es bietet eine bessere Einschätzung von Entfernungen
  • Es hat eine höhere Reichweite
  • Lidar-Sensordaten erfordern weitaus weniger Aufbereitung als Videobilder einer Kamera

Car_Vision_blog_22_1cea9f5fe93aaae1a0c04b9d596e35dc69076fe4.png

Ein Lidar-Scanner auf dem Dach eines Autos (siehe Abb. 2 oben) kann theoretisch nahezu alle Informationen zur Verfügung stellen, die für ein Fahrassistenzsystem oder autonomes Fahren benötigt werden. Die ersten Prototypen von Google stellten die charakteristische Kuppel zur Schau und einige Automobilhersteller glauben, dass ein sicherer Fahrbetrieb nur mit Lidar allein erreicht werden kann. Aber es gibt auch Schattenseiten:

  • Die Auflösung ist schlechter im Vergleich zur Digitalkamera
  • Lidar kann keine zweidimensionalen Fahrbahnmarkierungen erkennen und ist somit für Spurhaltesysteme unbrauchbar
  • Aus dem gleichen Grund kann es auch keine Straßenschilder lesen
  • Die auffällige elektromechanische Hardware ist bisher sehr teuer
  • Die Laserleistung ist begrenzt, da Lichtwellenlängen von 600-1000 nm bei Menschen auf der Straße Augenschäden hervorrufen können. Zukünftige Einheiten könnten möglicherweise die weniger schädliche Wellenlänge von 1550 nm verwenden

Die Kosten für Lidar-Scanner sinken, da jetzt Halbleiter verwendet werden, aber das bedeutet eine schlechtere Auflösung, weil es nun weniger Kanäle gibt (vielleicht nur noch 8 statt 64). Einige Scanner sind so konzipiert, dass sie rund um das Auto verteilt werden können, und jeder eine Teilabdeckung bietet. Die unschöne Kuppel auf dem Autodach lässt sich auf diese Weise vermeiden.

Künstliche Augen – Radar

Mikrowellenradar kann für die Objekterkennung von 10 m bis zu einer Reichweite von 100 m eingesetzt werden. Es kann für Funktionen wie adaptive Geschwindigkeitsregelung und Kollisionsvermeidung verwendet werden, ebenso für Totwinkelüberwachung, Parkhilfe und Pre-Crash-Alarme (siehe Abb. 3 unten). Zwei Frequenzbänder sind im Einsatz: 24-29 GHz für kurze Reichweite und 76-77 GHz für längere Reichweiten. Das untere Band hat Leistungsbeschränkungen und eine begrenzte Bandbreite, weil es mit anderen Nutzern geteilt wird. Das andere Band (das evtl. bald bis auf 81 GHz erweitert wird) hat eine viel größere Bandbreite und eine höhere Leistung. Die größere Bandbreite führt zu einer besseren Auflösung für kurze und lange Reichweiten und kann bald dazu führen, dass die Verwendung von 24-29 GHz für Radar allmählich abgeschafft wird. Es ist in zwei Formen verfügbar: Puls-Laufzeitmessung und frequenzmoduliertes Dauerstrichradar. Letzteres hat eine massive Redundanz im gesendeten Signal, das es dem Empfänger ermöglicht, bei störendem Hochfrequenz-Rauschen zu arbeiten. Das bedeutet, dass man entweder unter guten Bedingungen eine große Reichweite haben kann, oder massive Störungen bei kurzer Reichweite dulden muss. Nicht gut genug, um alleine beim autonomen Fahren eingesetzt zu werden, aber es hat einige Pluspunkte:

  • Es ist nicht auf ein bestimmtes Lichtniveau angewiesen und arbeitet gut unter schlechten Wetterbedingungen
  • Es existiert schon lange, daher gibt es gut entwickelte Fahrzeughardware auf dem Markt
  • Es ist billiger SiGe-Technologie ersetzt GaAs in neuen Geräten

Car_Vision_blog_3_1d1f8093cc164f82a33a45729448b0ae92071f48.png

Es gibt Anwendungen für Radar, aber wegen seiner Beschränkungen kann es nur für einfache Fahrerassistenzsysteme verwendet werden:

  • Radar hat nicht die Auflösung für die Identifizierung von Objekten, nur für ihre Erkennung
  • Das 24-29-GHz-Band beim Radar ist nicht in der Lage, zwischen mehreren Zielen zuverlässig zu unterscheiden
  • Frequenzmoduliertes Dauerstrichradar erfordert eine komplexe Signalverarbeitung im Empfänger

Das Gehirn

Sowohl Lidar als auch Digitalkameras erfordern unglaublich starke Computer, um ihre Ausgangssignale in eine 3D-Karte der Welt mit statischen und beweglichen Objekten rund um das Auto zu verwandeln, die in Echtzeit identifiziert und verfolgt werden können. Diese Rechenleistung wird in den Einplatinencomputern ermöglicht, die klein genug und billig genug sind, um Stufe 4 und 5 des autonomen Fahrens in absehbarer Zeit zu ermöglichen. Der NVIDIA DRIVE PX Pegasus beispielsweise verfügt nicht nur über 320 Billionen Deep-Learning-Operationen pro Sekunde (TOPS) mit Sensorfusion, es ist auch zertifiziert nach der Norm zur funktionalen Sicherheit von Straßenfahrzeugen ISO 26262 ASIL-D. Dann gibt es das Renesas R-Car H3 SiP-Modul mit acht ARM Cortex-A57 und A53-Kernen mit einem Cortex-R7 Dual Lock-step-Sicherheitskern als Zugabe. Nicht genug für Stufe 5, aber es kann mit acht Kameras umgehen, und das Infotainment-System des Autos steuern – alles gemäß ISO 26262 ASIL-B!

Fazit

Die offensichtliche Schlussfolgerung ist, dass alle, nämlich Digitalkameras, Lidar, Radar und sogar Ultraschall (Sonar), zum Erreichen der Stufen 4 und 5 des autonomen Fahrens benötigt werden, zumindest kurzfristig. Die Daten all dieser Sensorsysteme so zu kombinieren, dass die Fahrsoftware damit arbeiten kann, wird eine der größten Herausforderungen für die Sensorfusion sein. Zweifellos wird künstliche Intelligenz in Form von tiefen neuronalen Netzen umfassend genutzt werden, nicht nur für die Bildverarbeitung und die Objektidentifikation, sondern als Reservoir der „Fahrpraxis“ für die Entscheidungsfindung.

Wenn Sie mögen, folgen Sie mir auf Twitter. Ich verweise auf interessante Artikel über neue Elektronik und verwandte Technologien, und leite von mir entdeckte Tweets über Roboter, künstliche Intelligenz, Weltraumforschung und andere Themen weiter.

Engineer, PhD, lecturer, freelance technical writer, blogger & tweeter interested in robots, AI, planetary explorers and all things electronic. STEM ambassador. Designed, built and programmed my first microcomputer in 1976. Still learning, still building, still coding today.
DesignSpark Electrical Logolinkedin