Der IQ-Test für KI

Denn Intelligenz hat zahlreiche Facetten. Emotionale und soziale Intelligenz können subjektiv sein und hängen mit der Natur des Menschen zusammen. Doch die Fähigkeit, Informationen zu verarbeiten, ist heute nicht mehr auf das biologische Gehirn beschränkt. Die Verarbeitung von Wissen ist eine mögliche Definition allgemeiner Intelligenz, müsste inzwischen aber auch Maschinen einbeziehen.

Denn die haben mittlerweile in vielen Bereichen gleichgezogen. Man kann davon ausgehen, dass Wissen durch logisches Nachdenken und Problemlösung entsteht. Und Maschinen sind sehr gut im logischen Denken. Doch echte Intelligenz beinhaltet auch, basierend auf diesem Wissen Schlüsse zu ziehen. Hier lässt sich eine klare Grenze zwischen "normalen" Maschinen und künstlich intelligenten Maschinen ziehen. Denn Schlussfolgerungen zu ziehen, ist eine wichtige Facette von KI- und ML-Systemen. Diese Fähigkeit beherrschen inzwischen auch kleineren Geräte, damit diese nicht nur einfache Abläufe ausführen, sondern auch eigene Entscheidungen treffen und entsprechend handeln können. 

Mittlerweile steht also fest, dass Maschinen Intelligenz besitzen − aber wie viel genau, bleibt fraglich. Die Fähigkeit, eine Aufgabe richtig zu erfüllen, ist ein gutes Anzeichen dafür, dass zumindest eine gewisse Intelligenz vorhanden ist. Doch die Frage, wie gut diese Aufgabe erledigt wird, ist wiederum sehr subjektiv.

Der Intelligenzquotient (IQ) wurde ursprünglich aus der Division des geistigen Alters durch das Lebensalter ermittelt. Heute wird er objektiver gemessen, mithilfe der Wahrscheinlichkeitstheorie und der Standardabweichung, bleibt aber nach wie vor ein Schätzwert. Vielleicht sollte also nicht allzu viel Wert auf den IQ gelegt werden. Er bleibt aber eine gute Möglichkeit zur verlässlichen Messung der grundsätzlichen Fähigkeit.

Und die ist umso wichtiger, wenn es um künstlich "intelligente" Geräte geht. Denn während der IQ einer Person nicht viel mehr angibt als deren Leistung zu einem bestimmten Zeitpunkt, sollte eine KI immer gleich gut sein und − sofern sie dazulernt − im Laufe der Zeit immer besser werden. Damit wäre ein "KIQ" viel aussagekräftiger und potenziell nützlicher − insbesondere wenn es darum geht, KI als Dienstleistung zu verkaufen.

Doch die Einschätzungen zur Messbarkeit eines solchen KIQ gehen noch viel weiter auseinander als bei der Messung menschlicher Intelligenz. Eine Mindestanforderung sollte es sein, die Verbesserung der KI im Zeitverlauf messbar zu machen. Im Gegensatz zum Menschen ist zudem davon auszugehen, dass eine KI im Alter nicht abbaut. Vielmehr sollte sie mit zunehmendem Alter immer besser werden.

Kann KI altern?

Unbestritten ist, dass sich die altersbedingte Degeneration auf die Fähigkeit zur Aufgabenerfüllung auswirkt. So ist Gehirntraining in bestimmten Altersgruppen sehr beliebt, da es nachweislich die Auswirkungen des Alterns auf die Gehirnaktivität verlangsamt. Denn das menschliche Gehirn profitiert von regelmäßiger "Bewegung", genau wie jeder andere Muskel auch.

Das gilt wahrscheinlich aber nicht für die KI, obwohl es vielleicht auch einfach noch nicht genügend Daten dazu gibt. Wenn eine KI aber mit der Zeit immer besser wird − ließe sich das dann nicht auch als Alterungsprozess bezeichnen? Eine "jugendliche" KI wäre demnach neugierig und unbekümmrt, während eine reifere verantwortungsbewusst und vorsichtig wäre und sich auf ihre Erfahrungen aus früheren Fehlern stützte. Und eine KI für Edge- und Volumenanwendungen wäre irgendwo dazwischen zu verorten und profitierte einerseits von gemeinsamem Wissen, trüge andererseits aber auch neues Wissen bei.

Wenn Sie für KI bezahlen würden, würden Sie dann verlangen, dass sie eine bestimmte "geistige Reife" besitzt? In der Praxis ließe sich das Alter einer KI – oder vielleicht besser ihre Reife – somit nur beurteilen, wenn man ihre Fähigkeiten misst. Und hier kommt wieder der IQ-Test inst Spiel.

Obwohl sie meist in Serverfarmen und Rechenzentren zu finden ist, wo Rechnerressourcen fast unendlich skalierbar sind, handelt es sich bei der KI noch immer vor allem um ein Zusammenspiel zwischen Hardware und Software. Dies wird umso deutlicher, wenn die KI an den Netzwerkrand gerückt wird, wo die Rechenressourcen sehr begrenzt sind. Der Ressourcenbedarf der KI ist zweifellos höher als der von normalen Endgeräten. Wie viel genau, hängt davon ab, wie viel "Intelligenz" benötigt wird und wie gut die Hardware ist. Aus diesem Grund könnte ein einheitliches Messverfahren in naher Zukunft wichtig werden.

Referenzwerte für ML

Beim Thema Edge-KI geht es in der Regel um die Verwendung von Inferenzmodellen für ML (maschinelles Lernen). Diese werden in der Regel als KI-Systeme in größeren Frameworks wie z. B. Cloud-Computing-Rechenzentren trainiert und dann in Modelle umgewandelt, die aus Daten Schlussfolgerungen ableiten können. Diese komplexen Systeme beinhalten sowohl spezialisierte Hardware als auch Software. Und obwohl es Bemühungen gibt, ML-Modelle selbst in kleinste Architekturen einzubinden, erfordern sie in der Regel immer noch erhebliche CPU- bzw. GPU-Zyklen.

Das Embedded Microprocessor Benchmark Consortium (EEMBC) entwickelt seit über 20 Jahren unabhängige Benchmarks. Zu den jüngsten gehört der MLMark-Benchmark, der die ML-Inferenzen von Edge-Geräten einstuft. Die EEMBC-Benchmarks sollen dabei vor allem reproduzierbar, transparent und sparsam sein.

Dazu müssen Hersteller den Benchmark mithilfe der bereitgestellten Datensätze und Regeln umsetzen. Der MLMark basiert auf Bildern und zeigt deshalb, wie gut eine Plattform ML zur Erkennung von Bildmerkmalen nutzten kann. Doch dieses Beispiel deckt keineswegs alle Möglichkeiten ab, wie sich ML in Edge-Geräten einsetzen lässt. Es bietet jedoch einen guten Ausgangspunkt, um die Leistung eines bestimmten Prozessors mithilfe des herstellerseitigen Software-Frameworks zu messen.

Der MLMark-Benchmark ist allerdings nicht zur Messung der "Intelligenz" beliebiger Plattformen und Anwendungen geeignet. Dazu wäre ein anderer Ansatz erforderlich.

Erklär's dem Kleinkind

Die menschliche Intelligenz kann qualitativ und quantitativ gemessen werden. Schulnoten werden mithilfe von Tests ermittelt, wobei die Durchschnittspunktzahl die Grundlage der Einordnung bildet. Der gleiche Ansatz ließe sich auch auf KI anwenden, sofern es ein einheitliches Testverfahren gäbe.

Eine weitere Möglichkeit wäre es, genau zu definieren, welche Art von Intelligenz in welchem Umfang in das jeweilige Gerät eingebaut ist. Zum Beispiel können Edge-Geräte vor allem logisch argumentieren, sind aber kaum oder gar nicht einfühlsam. Damit eignen sie sich etwa für Sicherheitssysteme, die Tür- und Fenstersensoren überwachen, aber eher weniger für die Gesichtserkennung.

Der Bedarf an solchen Messverfahren ist nicht unbemerkt geblieben. So finden die "Performance Metrics for Intelligent Systems"-Workshops (PerMIS) bereits seit zwanzig Jahren statt. Ursprünglich teilweise von Regierungsbehörden wie dem National Institute of Standards and Technology (NIST) in den USA finanziert, setzt PerMIS seine Suche bis heute fort.

Es gibt ein wachsendes Interesse an der Messung künstlicher Intelligenz in Bezug auf Kreativität. Kreative Dienstleistungen werden allgemein als weniger durch KI bedroht angesehen als andere Tätigkeiten insbesondere mechanischer Art. In letzter Zeit häufen sich jedoch Beispiele künstlicher Kreativität. So kann man der KI mittlerweile beibringen, ein Musikinstrument zu spielen, eine Partitur zu komponieren, ein Gedicht zu schreiben oder ein Bild zu malen.

Doch damit wird die Messung dieser "Intelligenz" wieder zu einer sehr subjektiven Angelegenheit. Es ist für Menschen schwierig, sich auf die emotionale Intelligenz eines Kunstwerks zu einigen. Wie man also sollte die Fähigkeit einer KI beurteilen, etwas zu schaffen, das emotionale Intelligenz beinhaltet?

Living on the edge mit KI 

Wie viel KI „genug“ ist, hängt grundsätzlich allein davon ab, wie begrenzt die verfügbaren Ressourcen sind. Wenn sich also nicht herausfinden lässt, wie viel KI für eine bestimmte Anwendung benötigt wird, ohne es auszuprobieren, ist das vermutlich die einzige Möglichkeit.

Dazu braucht es Ressourcen an der richtigen Stelle. Bei Edge-Geräten, die oft (aber nicht unbedingt immer) klein, leistungsarm und billig sind, macht der Prozessor den Großteil der Kosten aus. Für ML gibt es also zwei Möglichkeiten: mehr Rechenleistung in das Edge-Gerät zu investieren oder die ML-Engine zu komprimieren. Beide Szenarien haben ihre Vorzüge.

Hersteller können heute viel mehr Rechenleistung pro Watt anbieten. Verfahren wie Power- und Clock-Gating halten die Systemleistung niedrig, während Hardware-Beschleuniger und Hochleistungsspeicher die Ausführungsleistung senken. Darüber hinaus wird die Funktionsgröße immer weiter verringert, was eine geringere Betriebsleistung ermöglicht.

Gleichzeitig wird viel Aufwand in die Optimierung der mittels Training erzeugten Softwaremodelle investiert. Forscher finden immer neue Wege, um neuronale Netzwerke so zuzuschneiden, dass die Inferenzmaschinen immer kleiner werden und weniger Systemressourcen benötigen. Plattformen wie uTensor und TensorFlowLite Micro spielen dabei eine wichtige Rolle.

In diesem Bereich passiert momentan am meisten; ncht bei der Frage, wie KI gemessen werden kann oder wie viel Intelligenz es für eine bestimmte Aufgabe braucht. Sondern die KI da, wo sie eingesetzt werden kann, zu vereinfachen. Vielleicht wird nie eine wirklich zufriedenstellende Möglichkeit gefunden, KI zu vermessen oder den KI-Bedarf einer Anwendung zu modellieren. Doch wenn es gelingt, Rechenressourcen in jeder Hinsicht erschwinglicher zu machen, dann spielt das vielleicht auch überhaupt keine Rolle mehr.