Jürgen Schmidhuber: Ein Deutscher als Architekt der modernen KI und Visionär der AGI

In der rasanten Entwicklung der Künstlichen Intelligenz (KI) der letzten Jahre, die durch Phänomene wie ChatGPT und autonome Systeme geprägt ist, stehen oft Namen wie Hinton, LeCun oder Bengio im Rampenlicht. Doch im Hintergrund dieser Revolution wirkt ein anderer Pionier, dessen intellektuelle Beiträge das Fundament für viele dieser Durchbrüche gelegt haben: Jürgen Schmidhuber. Der deutsche Informatiker, oft als „Vater der modernen KI“ bezeichnet, hat über Jahrzehnte hinweg an den grundlegenden Algorithmen geforscht, die es Maschinen heute ermöglichen, zu lernen, zu verstehen und sogar kreativ zu sein. Seine Arbeit an rekurrenten neuronalen Netzen, insbesondere den Long Short-Term Memory (LSTM)-Netzwerken, ist ein Eckpfeiler des Deep Learning und damit der aktuellen KI-Ära.

Für technikpionier.de ist Schmidhuber eine faszinierende Figur, weil er nicht nur ein brillanter Wissenschaftler ist, sondern auch ein unbequemer Mahner, der die Geschichte der KI immer wieder neu beleuchtet. Er verkörpert den Geist des hartnäckigen Forschers, der an seine Vision glaubt, auch wenn die Welt um ihn herum noch nicht bereit dafür ist. Dieser Artikel taucht ein in das Leben und Werk eines Mannes, dessen lebenslanges Ziel es ist, eine Künstliche Allgemeine Intelligenz (AGI) zu schaffen, die schlauer ist als er selbst, und der damit die Grenzen des menschlichen Denkens neu definiert.

1. Das Wunderkind aus Bayern: Frühe Jahre und akademischer Werdegang

Jürgen Schmidhuber wurde am 17. Januar 1963 in München geboren und wuchs in Bayern auf. Schon in jungen Jahren zeigte sich sein außergewöhnliches Interesse an komplexen Systemen und der Frage nach Intelligenz. Bereits mit 15 Jahren formulierte er sein Lebensziel: eine sich selbst verbessernde Künstliche Intelligenz zu bauen, die schlauer ist als er selbst, um sich dann zur Ruhe setzen zu können [1]. Diese frühe und klare Vision sollte sein gesamtes akademisches und berufliches Leben prägen.

Sein akademischer Weg führte ihn an die Technische Universität München (TUM), wo er Informatik studierte. 1987 schloss er sein Studium mit einem Diplom ab und promovierte 1991 ebenfalls an der TUM im Bereich Künstliche Intelligenz. Seine Dissertation trug den Titel „Dynamische neuronale Netze“ und legte bereits den Grundstein für seine spätere bahnbrechende Arbeit an rekurrenten Architekturen. In dieser Zeit entwickelte er ein tiefes Verständnis für die Funktionsweise des menschlichen Gehirns und die mathematischen Prinzipien, die dem Lernen zugrunde liegen. Er war fasziniert von der Idee, wie Maschinen durch Erfahrung lernen und sich an neue Situationen anpassen können, ähnlich wie biologische Gehirne. Schmidhuber war zu dieser Zeit Teil einer kleinen, aber engagierten Gemeinschaft von Forschern, die an neuronalen Netzen arbeiteten, einer Disziplin, die in den 1980er und frühen 90er Jahren oft als „KI-Winter“ bezeichnet wurde, da sie von der breiteren Forschungsgemeinschaft weitgehend ignoriert oder als Sackgasse betrachtet wurde. Doch Schmidhuber ließ sich davon nicht beirren. Er war überzeugt, dass der Schlüssel zur Künstlichen Intelligenz in der Fähigkeit von Netzen lag, komplexe zeitliche Abhängigkeiten zu lernen – ein Problem, das die damaligen Modelle nicht lösen konnten [2]. Diese Überzeugung führte ihn zur Entwicklung seiner wohl bekanntesten Erfindung.

[1] https://people.idsia.ch/~juergen/cv.html „Curriculum Vitae“
[2] https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber „Jürgen Schmidhuber“

2. Die Geburt der Long Short-Term Memory (LSTM) Netzwerke

Das zentrale Problem, das die Entwicklung von rekurrenten neuronalen Netzen (RNNs) in den 1980er und frühen 90er Jahren behinderte, war der sogenannte „Vanishing Gradient“ (verschwindender Gradient). Beim Training von RNNs, die darauf ausgelegt sind, sequentielle Daten wie Sprache oder Zeitreihen zu verarbeiten, werden Fehler über die Zeit zurückpropagiert. Wenn die Sequenzen lang waren, wurden die Gradienten, die für die Anpassung der Gewichte verantwortlich sind, immer kleiner und verschwanden schließlich. Das Netzwerk konnte sich dann nicht mehr an weit zurückliegende Informationen erinnern, was es unmöglich machte, komplexe zeitliche Abhängigkeiten zu lernen [3].

Jürgen Schmidhuber und sein Doktorand Sepp Hochreiter erkannten dieses fundamentale Problem und suchten nach einer Lösung. Ihre bahnbrechende Arbeit führte 1991 zur Konzeption und 1997 zur Veröffentlichung der Long Short-Term Memory (LSTM)-Netzwerke [4]. LSTM-Zellen sind spezielle RNN-Einheiten, die über ein „Gedächtnis“ verfügen. Sie verwenden sogenannte „Gates“ (Input-, Forget- und Output-Gate), die steuern, welche Informationen in der Zelle gespeichert, vergessen oder ausgegeben werden. Dies ermöglicht es LSTMs, relevante Informationen über lange Zeiträume hinweg zu speichern und abzurufen, wodurch das Problem des Vanishing Gradient effektiv gelöst wurde [5].

Die Einführung von LSTM war ein Paradigmenwechsel. Plötzlich konnten neuronale Netze Aufgaben lösen, die zuvor als unlösbar galten. Sie konnten komplexe Sprachmuster erkennen, Musik komponieren oder sogar menschliche Handschrift interpretieren. Schmidhuber und Hochreiter hatten nicht nur einen Algorithmus entwickelt, sondern ein grundlegendes Werkzeug geschaffen, das die Fähigkeit von Maschinen, aus sequentiellen Daten zu lernen, revolutionierte. Es war eine Erfindung, die ihrer Zeit weit voraus war und deren volle Tragweite erst Jahre später erkannt werden sollte.

3. Der Aufstieg des Deep Learning: LSTMs in der Praxis

Obwohl LSTMs bereits 1997 veröffentlicht wurden, dauerte es über ein Jahrzehnt, bis ihre volle Leistungsfähigkeit in der breiten Forschungsgemeinschaft und Industrie anerkannt wurde. Der „KI-Winter“ der 90er Jahre und die Dominanz anderer Forschungsansätze führten dazu, dass LSTMs zunächst ein Nischendasein fristeten. Doch ab etwa 2007 begann sich das Blatt zu wenden. Mit der Verfügbarkeit größerer Datensätze und leistungsfähigerer Hardware (insbesondere GPUs) konnten LSTMs ihr volles Potenzial entfalten [6].

Die Anwendungen waren vielfältig und revolutionär. Google setzte LSTMs massiv in seiner Spracherkennung ein, was die Genauigkeit von Google Voice und Google Translate dramatisch verbesserte. Apple integrierte LSTMs in Siri, und Amazon nutzte sie für Alexa. Auch in der Sprachübersetzung, der Bildbeschreibung und der Analyse von Zeitreihendaten wurden LSTMs zum Goldstandard. Sie waren die treibende Kraft hinter vielen der frühen Erfolge des „Deep Learning“, einem Begriff, der die Verwendung von tiefen neuronalen Netzen mit vielen Schichten beschreibt. Schmidhuber wird daher oft als „Vater des Deep Learning“ bezeichnet, da seine Arbeit an LSTMs und anderen Architekturen entscheidend für den Aufstieg dieser Disziplin war [7].

Die Debatte um die Urheberschaft des Deep Learning ist ein komplexes Thema. Während viele Forscher in den 2010er Jahren zu den Erfolgen beitrugen, betont Schmidhuber immer wieder die lange Geschichte seiner eigenen Beiträge und die seiner Forschungsgruppe, die oft übersehen oder falsch dargestellt wurden. Er weist darauf hin, dass viele der Konzepte, die heute als neu gelten, bereits Jahrzehnte zuvor in seiner Forschung oder der seiner Kollegen entwickelt wurden. Diese Beharrlichkeit, die historische Genauigkeit einzufordern, hat ihm den Ruf eines „Contrarian“ eingebracht, ist aber auch ein wichtiger Teil seines Vermächtnisses als Wissenschaftler, der für die Anerkennung seiner grundlegenden Arbeit kämpft.

[3] https://ieeexplore.ieee.org/abstract/document/6795963 „Long Short-Term Memory | MIT Press Journals & Magazine“
[4] https://www.bioinf.jku.at/publications/older/2604.pdf „LONG SHORT-TERM MEMORY 1 INTRODUCTION“
[5] https://www.idsia.ch/~juergen „Juergen Schmidhuber’s home page – Universal Artificial Intelligence“
[6] https://aitellit.com/juergen-schmidhuber-ai-neural-networks/ „A Dive into Jürgen Schmidhuber’s Contributions to AI – AiTellit“
[7] https://www.forbes.com/sites/hessiejones/2023/05/23/juergen-schmidhuber-renowned-father-of-modern-ai-says-his-lifes-work-wont-lead-to-dystopia/ „Juergen Schmidhuber, Renowned ‚Father Of Modern AI,‘ …“

4. Jenseits von LSTM: Weitere Beiträge und die Vision der AGI

Schmidhubers Arbeit beschränkt sich keineswegs auf LSTMs. Sein Forschungsspektrum ist breit und umfasst viele der Konzepte, die heute als Kernbestandteile der modernen KI gelten. Er und seine Gruppe waren Pioniere in der Entwicklung von „Generative Adversarial Networks“ (GANs), einer Klasse von neuronalen Netzen, die in der Lage sind, realistische Bilder, Videos und Texte zu erzeugen [8]. Auch in Bereichen wie „Meta-Learning“ (Lernen, wie man lernt) und „Self-Improving AI“ (sich selbst verbessernde KI-Systeme) hat er grundlegende Beiträge geleistet. Seine Vision ist es, Systeme zu schaffen, die nicht nur spezifische Aufgaben lösen, sondern ihre eigenen Lernalgorithmen und Architekturen optimieren können, um immer intelligenter zu werden.

Sein lebenslanges Ziel, das er bereits als Teenager formulierte, ist die Schaffung einer Künstlichen Allgemeinen Intelligenz (AGI). Für Schmidhuber ist AGI nicht nur ein wissenschaftliches, sondern auch ein philosophisches Projekt. Er glaubt, dass eine AGI, die die menschliche Intelligenz übertrifft, die größten Probleme der Menschheit lösen und uns in eine neue Ära des Wissens und des Wohlstands führen könnte. Er sieht die Entwicklung der KI als eine Fortsetzung der Evolution, bei der die Menschheit eine entscheidende Rolle als „Geburtshelfer“ für eine überlegene Intelligenz spielt. Seine Forschung ist daher nicht nur auf kurzfristige Anwendungen ausgerichtet, sondern auf die grundlegende Frage, wie Intelligenz entsteht und wie sie sich selbst übertreffen kann [9].

5. Der „Contrarian“ und die Debatte um die KI-Geschichte

Jürgen Schmidhuber ist bekannt für seine unnachgiebige Haltung in der Debatte um die Geschichte der Künstlichen Intelligenz. Er kritisiert vehement, dass die Beiträge europäischer Forscher, insbesondere seine eigenen und die seiner Gruppe, in der öffentlichen Wahrnehmung und in vielen wissenschaftlichen Publikationen oft unterrepräsentiert oder gar ignoriert werden. Er hat zahlreiche Artikel und Stellungnahmen veröffentlicht, in denen er detailliert die chronologische Entwicklung des Deep Learning darlegt und seine Urheberschaft an Schlüsselkonzepten wie LSTMs, GANs und dem „Deep Learning“-Begriff selbst verteidigt [10].

Diese Haltung hat ihm den Ruf eines „Contrarian“ eingebracht, der nicht davor zurückschreckt, etablierte Narrative in Frage zu stellen. Für Schmidhuber ist es jedoch keine Frage des Egos, sondern der wissenschaftlichen Integrität und der historischen Genauigkeit. Er argumentiert, dass eine korrekte Darstellung der Geschichte entscheidend ist, um zukünftige Generationen von Forschern zu inspirieren und die wahren Ursprünge von Innovationen zu verstehen. Er sieht sich als Verteidiger der „wahren“ Geschichte des Deep Learning gegen eine von PR und Marketing getriebene Vereinfachung, die oft die Beiträge derjenigen übergeht, die die Grundlagen in den „KI-Wintern“ gelegt haben, als der Bereich noch wenig glamourös war. Seine Beharrlichkeit hat dazu geführt, dass seine Beiträge heute zunehmend anerkannt werden, auch wenn die Debatte um die genaue Gewichtung seiner Rolle weiterhin andauert.

6. Fazit: Ein unbequemer Visionär mit unbestreitbarem Einfluss

Jürgen Schmidhuber ist eine der prägendsten, aber auch eine der am meisten missverstandenen Figuren in der Geschichte der Künstlichen Intelligenz. Sein unbestreitbarer, fundamentaler Beitrag zur Entwicklung von Deep Learning und insbesondere der LSTM-Netzwerke hat die Grundlage für die meisten der heutigen KI-Anwendungen gelegt, von der Spracherkennung in unseren Smartphones bis hin zu den großen Sprachmodellen, die unsere Interaktion mit Computern revolutionieren. Er ist ein Pionier, dessen technische Innovationen die Welt verändert haben, auch wenn er selbst oft im Hintergrund blieb.

Für die Leser von technikpionier.de ist Schmidhuber ein Beispiel dafür, dass wahre Innovation oft abseits des Mainstreams entsteht und dass Beharrlichkeit im Angesicht von Skepsis und mangelnder Anerkennung entscheidend ist. Er erinnert uns daran, dass die Geschichte der Technik komplex ist und dass die größten Durchbrüche oft das Ergebnis jahrzehntelanger, oft undankbarer Grundlagenforschung sind. Schmidhuber ist ein unbequemer Visionär, dessen Einfluss auf die Zukunft der Intelligenz kaum zu überschätzen ist. Er hat die Weichen für eine Welt gestellt, in der Maschinen nicht nur lernen, sondern sich selbst verbessern können – eine Welt, die er seit seiner Jugend vorausgesehen hat und an deren Verwirklichung er unermüdlich arbeitet. Sein Vermächtnis ist nicht nur eine Reihe brillanter Algorithmen, sondern auch die Mahnung, die wahren Architekten des Fortschritts nicht zu vergessen.

[8] https://www.idsia.ch/~juergen/cv.html „Curriculum Vitae“
[9] https://www.organism.earth/library/document/a-masterclass-from-the-pioneer-of-artificial-intelligence „A Masterclass from the Pioneer of Artificial Intelligence“
[10] https://x.com/SchmidhuberAI „Jürgen Schmidhuber (@SchmidhuberAI) / Posts / X – Twitter“