Die mathema­tischen Grenzen künstlicher Intelli­genz

Lassen Sie Ihre künstliche Intelligenz keine Zahlen runden – und geben Sie ihr bloß keine Sinusfunktion als Arbeitsgrundlage. Der Konstanzer Mathematiker Lothar Sebastian Krapp befasst sich mit den Grenzen des maschinellen Lernens. Im Interview schildert er, warum KI theoretisch alles errechnen könnte, in der Praxis jedoch auf Grenzen stößt – und in manchen Fällen erstaunlich scheitert.
© Alina Jankowsky

Wird künstliche Intelligenz (KI) eines Tages alles können, Herr Krapp?

Lothar Sebastian Krapp: Aus mathematischer Sicht: nein. Die Frage ist nicht neu, sie kam bereits vor Jahrzehnten, als damals gefragt wurde: Kann der Computer eines Tages alles? Der Mathematiker Kurt Gödel hat gezeigt: Es gibt Sachverhalte, die sind zwar wahr und wir Menschen wissen das, aber das kann von einem Computer nicht bewiesen werden.

In meiner Forschung geht es vor allem um die mathematischen Grenzen von künstlichen neuronalen Netzen. Meine Antwort ist eher im Sinne Gödels: Es gibt in der Mathematik Aufgaben, die kann jemand, der vier Semester Mathe studiert hat, ohne Probleme lösen, aber künstliche neuronale Netze werden sie nicht lösen können. 

https://www.youtube.com/watch?v=fz-oqvOGcvA

 

Was ist eine KI aus mathematischer Sicht?

Viele sind der Meinung, eine KI ist einfach ein sehr gutes Computerprogramm, quasi ein Algorithmus. In meinem Forschungskontext, also von einem Standpunkt der reinen Mathematik, würde ich sagen: Ein künstliches neuronales Netz ist nichts anderes als eine Funktion.

Aus der Schule kennt man eine Funktion als f(x). In einer Funktion kommt eine Eingabe herein, dann wird eine Rechenoperation durchgeführt und am Ende kommt eine Ausgabe heraus. Wir geben zum Beispiel die Zahl 3 ein, und wenn f(x) = x2 ist, dann wird aus der 3 eine 9.

Bei einem künstlichen neuronalen Netz ist es aus konzeptioneller Sicht der theoretischen Mathematik nichts Anderes: Auch bei ChatGPT gebe ich einen Text ein, den die KI in Zahlen umwandelt. Dann führt ChatGPT eine komplizierte Rechenoperation durch, wandelt das Rechenergebnis wieder in Text um und am Ende erhalten wir eine Fortsetzung des eingegebenen Textes.

Das Interessante an künstlichen neuronalen Netzen ist, dass es sich um eine Funktion handelt, die nicht von vornherein festgeschrieben ist, sondern die sich im Laufe des Trainingsprozesses selbst findet. Es sind Funktionen, die sich immer wieder anpassen. Ein Beispiel: Ich gebe der Funktion als Aufgabe vor, sie soll die 3 auf die 9 abbilden. Dann lernt die Funktion: Vielleicht bin ich ein x2 – ich könnte aber auch ein x+6 sein. Sie geht diesen Prozess immer wieder mit weiteren Aufgaben durch (z.B. „Bilde jetzt auch noch die 6 auf die 12 ab!“), verändert sich stets von Neuem, um die bestmögliche Lösung zu finden.

Zur Person:
Lothar Sebastian Krapp ist akademischer Mitarbeiter am Fachbereich Mathematik und Statistik der Universität Konstanz. Sein jüngst abgeschlossenes Forschungsprojekt „Mathematische Grenzen neuronaler Netze“ wurde durch den Wissenschaftspreis der Werner und Erika Messmer Stiftung gefördert.
 


 

Wie testen Sie die mathematischen Grenzen einer KI?

Stellen Sie es sich so vor: Ich habe einen Sack voller Funktionen, aus dem der Lernalgorithmus der KI die richtige herauspicken soll. Der Lernalgorithmus erhält Anforderungen, was die gesuchte Funktion erfüllen soll. Nach vielen Durchläufen, in denen er sich herantastet, sollte er in der Lage sein zu entscheiden: Das hier ist die Funktion, die du haben willst.

Die mathematische Grenze für KIs ist relativ leicht zu erklären: Kann jede beliebige Funktion, die eine bestimmte Aufgabe löst, von einem Lernalgorithmus gefunden werden? Und da ist die Antwort: nein. Ich habe tatsächlich Mengen von Funktionen kreiert, bei denen ein Lernalgorithmus – egal, wie er sie auswählt – es mit einer sehr hohen Wahrscheinlichkeit niemals schaffen wird, die Funktion zu finden, von der ich weiß, dass sie „im Sack“ ist.
 

Warum schafft die KI es einfach nicht?

Einer der Hauptgründe: Es gibt zu viele Entscheidungsmöglichkeiten für den Lernalgorithmus. Er muss sich im Trainingsprozess entscheiden: Wie passe ich meine Funktion an, also meinen Weg, wie ich diese Aufgabe lösen möchte? Dafür gibt es unendlich viele Möglichkeiten, so dass die Entscheidungsfindung auch ein bisschen ein stochastischer Prozess ist. Es ist immer eine Zufallskomponente drin.

Der Lernalgorithmus kann die Aufgaben prinzipiell lösen, vielleicht sogar im ersten Schritt. Nur wird er mit einer sehr kleinen Wahrscheinlichkeit dazu kommen, erfolgreich den richtigen Weg zu finden. Das geht sogar so weit, dass sich die KI manchmal im Trainingsprozess verschlechtert.
 

Also hat die KI eigentlich „rechnerisch das Zeug dazu“, das Problem zu lösen, kommt aber in der Praxis nicht auf die richtige Lösung?

Der Vergleichsmaßstab ist aber nicht, dass sie es theoretisch schaffen könnte, sondern dass ein Viertsemester-Student die gesuchte Funktion sofort findet. Der Vergleichsmaßstab ist der Mensch.

Sebastian Krapp

Ein Beispiel: Ich kann ein- und dieselbe Aufgabe ja beliebig variieren und immer ein wenig anders formulieren. Für die KI wird die Aufgabe immer schwerer. Aber für den Viertsemester-Studenten bleibt sie gleich. Für die erste Variante braucht die KI zehn Stunden, für die zweite vielleicht Tage oder Jahre. Der Student schafft es beides Mal in einer Minute und stellt sich die Frage, warum dies überhaupt eine unterschiedliche Aufgabe sein soll. Das zeigt eine kategorisch andere Grenze des Vermögens.


Welche Auswirkungen haben die mathematischen Grenzen auf den alltäglichen Einsatz von KI?

Die neuronalen Netze kommen heute überall zum Einsatz. Diese neuronalen Netze sind große Funktionen, die sich aus kleinen Funktionen zusammensetzen. In der Anwendung schaut man sich diese kleinen Funktionen an und fragt sich: Wie kommunizieren sie geschickt miteinander?

Ich habe mir diese kleinen Funktionen angeschaut, die kleinsten Recheneinheiten. Es gibt ein paar dieser kleinen Zahnräder oder „Neuronen“, die eigentlich immer funktionieren. Die Computer können gut mit ihnen umgehen. Mit ihnen kann man nichts verkehrt machen und die Neuronales-Netz-Community benutzt auch bevorzugt diese.

Die Grundfrage ist jedoch: Warum sind diese Funktionen gut? Ich versuche herauszukriegen: Welche Funktionen sind sinnvoll und welche nicht? Das heißt auch herauszufinden: Bei welchen muss ich echt aufpassen, dass mein neuronales Netz nicht mehr funktioniert, wenn ich diese Funktionen einsetze?


Geben Sie uns ein Beispiel: An welcher Art von Funktionen scheitert ein neuronales Netz?

Ein ganz einfaches Beispiel ist das Runden von Zahlen: also eine Funktion, die auf- oder abrunden kann. Die Rundungsfunktion als kleinste Recheneinheit macht neuronale Netze schnell kaputt. Da findet man schnell mathematische Aufgaben, die diese KI nicht lösen kann, obwohl wir als Menschen ganz einfach mit Rundungsfunktionen umgehen können.

Oder zum Beispiel Sinus, das ist eine ganz schlechte Art von Funktion für neuronale Netze. Weil man Sinus so anpassen kann, dass die Nullstellen auf den ganzen Zahlen liegen. Allgemein die ganzen Zahlen – das sind die größten „Übeltäter“ der Mathematik, weil es darin die Primzahlen gibt, an deren Zerlegung KIs scheitern können.
 

Sie suchen also speziell nach Funktionen, mit denen neuronale Netze nicht gut funktionieren.

Genau. Oder anders formuliert: Wir versuchen, die Grenzen von maschinellem Lernen zu konstruieren. Wir versuchen, einen sinnvollen Rahmen zu schaffen, unter dem man davon sprechen kann, dass eine KI lernt oder halt auch nicht lernt.

Auch wenn die kleinsten Funktionen, welche aktuell eingesetzt werden, alle sehr harmlos sind und gut funktionieren, möchte ich den Leuten, die mit neuronalen Netzen arbeiten, mitgeben, welche Art von Neuron sie besser nicht verwenden sollten. Wenn irgendwann in Zukunft der Quantencomputer erfunden ist und plötzlich beliebige andere Arten von Funktionen verwendet werden, die heute nicht – oder noch nicht – zum Einsatz kommen, könnte diese Frage relevanter werden.

Wie sehen Sie die augenblicklichen gesellschaftlichen Entwicklungen rund um künstliche Intelligenz?

ChatGPT hat ein großes mediales Echo ausgelöst. Die Vorboten kamen schon in den Monaten davor mit den KI-basierten Bildgeneratoren. Ich selbst finde es gut, dass jetzt alle wissen, dass es KI gibt. Ich finde es zugleich schade, dass viele Leute KI mit ChatGPT gleichsetzen und nicht wissen, wo noch überall KI drinsteckt.

Was ich kritisch sehe, ist der nicht verantwortungsbewusste Umgang mit KI. Ich weiß nicht, was dabei schlimmer ist: Der unüberlegte Einsatz von KI, wo man weiß, dass es eine KI ist – oder der Einsatz von moderner Technik, bei der man nicht einmal weiß, was da alles über einen gelernt wird. Stichwort Datenschutz bei Empfehlungsalgorithmen auf Social Media – dass da eine KI drinsteckt, die versucht, dich als Mensch zu rekonstruieren. Ein unglaublich perfides Verfahren.

Sebastian Krapp

In Ihrem Projekt „Mathematische Grenzen neuronaler Netze“, das mit dem Wissenschaftspreis der Werner und Erika Messmer Stiftung gefördert wurde, haben Sie sich dieser Aufklärungsarbeit angenommen: Ein Teil ihres Projektes war eine Zusammenarbeit mit SchülerInnen.

Ungefähr ein Drittel des Forschungsgeldes sollte in die Vermittlung von Algorithmen und KI an SchülerInnen fließen. Leider hat die Corona-Pandemie verhindert, dass wir unser geplantes Präsenzprogramm umsetzen konnten. Dank der Initiative „KI macht Schule“ konnten wir aber insbesondere online so einiges auf die Beine stellen: Das waren vor allem Schulworkshops, die von Studierenden angeleitet wurden.

Wir versuchen darin, spielerisch zu erklären: Was ist Künstliche Intelligenz? Was ist maschinelles Lernen? Wir versuchen, die komplizierten Wörter einfach zu beschreiben und „down to earth“ zu bringen. Der zweite Teil der Workshops ist ein Hands-on-Teil, also die Anwendung. Da probieren wir zusammen mit den SchülerInnen KI-Technologie aus, zum Beispiel Bildklassifikationsprogramme. Der dritte Teil ist schließlich die ethisch-gesellschaftliche Komponente: Wie sieht ein verantwortungsbewusster Umgang mit KI aus?

Auch über dieses Forschungsprojekt hinaus sollen die KI-Workshops an Schulen weitergeführt werden, und zwar im Rahmen des nun sehr erfolgreich laufenden Transferprojektes „Algorithmen und Künstliche Intelligenz“.

Über den Wissenschaftspreis der Werner und Erika Messmer Stiftung
Die Werner und Erika Messmer Stiftung wurde 2010 gegründet und hat ihren Sitz in Radolfzell am Bodensee. Sie fördert gemeinnützige Projekte in Bildung und Erziehung, Kultur und Kunst, Jugendhilfe und Altenpflege, Wissenschaft und Sport sowie den Heimatgedanken. Mit ihrem Wissenschaftspreis fördert sie zukunftsgerichtete Ideen von Nachwuchswissenschaftler*innen der Universität Konstanz. Der Preis ist mit 10.000 Euro dotiert.

Was sollte in den nächsten Jahren in der KI-Forschung passieren?

Für mich ist es am wichtigsten, dass wir einen Austausch zwischen den Disziplinen haben. Da ist Konstanz auch ganz stark. Wir haben hier die einmalige Gelegenheit, dass so viele verschiedene Bereiche in engem Austausch sind – und KI ist das Thema, das alle Bereiche verbindet.
 

Jürgen Graf

Von Jürgen Graf - 27.06.2023