KI am Wendepunkt: Von ChatGPT über neuronale Netze zu neuromorpher KI
Abstract
Das Spannungsfeld zwischen den etablierten Technologien der konnektionistischen KI und ihren neuromorphen Herausforderern rückt derzeit besonders durch den riesigen Energiebedarf ersterer und die sparsame Funktionsweise letzterer immer stärker in das Rampenlicht. Der Energieverbrauch für Entwicklung und Einsatz großer KI-Modelle z. B. für Chatbots erreicht Größenordnungen von Gigawattstunden bis Terawattstunden – vergleichbar mit dem Energiebedarf ganzer Siedlungen und Städte. Dem steht die energiesparende Funktionsweise des menschlichen Gehirns gegenüber. Diesem genügen rund 20 Watt. Praktisch nutzbare Künstliche Intelligenz entstand aus dem Bündnis kluger Köpfe mit den rechentechnischen Fähigkeiten Boolescher Automaten – natürliche Intelligenz dagegen aus Selbstorganisation und Evolution. Das Beschreiten des zweiten Weges rückt das neuromorphe Rechnen zunehmend wieder in das Blickfeld von Wissenschaft und Praxis und stellt einen Wendepunkt in der KI-Entwicklung dar: Spikende neuronale Netze (SNN) stellen dem wachsenden Energiehunger moderner KI-Systeme einen sparsamen Ansatz entgegen und bringen Elemente der Selbstorganisation in das Methodenrepertoire der KI ein. Lokales Lernen statt globaler Fehlerrückführung, ereignisgesteuertes Rechnen und die Zeit als Informationsträger lösen die heutige KI nicht ab, sondern erweitern sie. Hybride Systeme können beide Ansätze dort einsetzen, wo ihre jeweiligen Stärken liegen. Das vorliegende Werk erläutert dieses Spannungsfeld allgemeinverständlich und zugleich mathematisch nachvollziehbar. Am Beispiel des Texterzeugungsmoduls von ChatGPT werden Konzept, Eleganz und Aufwand der modernen Transformer-basierten KI Schritt für Schritt sichtbar gemacht und mit den Kodierungs-, Lern- und Netzgestaltungsmethoden spikender neuronaler Netze verglichen. Den Hintergrund bilden ausgewählte Wirkungsmechanismen des menschlichen Nervensystems – die kybernetischen Vorbilder des neuromorphen Rechnens. Behandelt werden u. a. Spike-Timing-Dependent Plasticity, Populations- und Zeitkodierung, das Neural Engineering Framework, neuromorphe Hardware von Loihi 2 bis zu kommerziellen Edge-Prozessoren sowie die Perspektiven der wechselseitigen Befruchtung klassischer und neuromorpher KI – bis hin zum optischen Rechnen. (ca. 90 Seiten, 20 Abbildungen) English abstract: The tension between the established technologies of connectionist AI and its neuromorphic challengers is moving ever further into the spotlight, above all because of the enormous energy demand of the former and the frugal operation of the latter. Developing and running large AI models, for chatbots for example, consumes energy on the order of gigawatt-hours to terawatt-hours, comparable to the demand of entire towns and cities. The human brain, by contrast, works in an energy-saving way: it needs only about 20 watts. Practically usable artificial intelligence arose from the alliance of ingenious minds with the computational power of Boolean automata – natural intelligence, by contrast, from self-organization and evolution. Taking this second path is bringing neuromorphic computing back into the focus of science and engineering and marks a turning point in the development of AI: spiking neural networks (SNN) counter the growing energy appetite of modern AI systems with a frugal approach and bring elements of self-organization into the methodological repertoire of AI. Local learning instead of global error backpropagation, event-driven computing and time as a carrier of information do not replace today’s AI but extend it. Hybrid systems can use both approaches where their respective strengths lie. This monograph (in German) explains this field of tension in a generally accessible yet mathematically traceable way. Using the text-generation module of ChatGPT as an example, the concept, elegance and computational cost of modern transformer-based AI are made visible step by step and compared with the coding, learning and network-design methods of spiking neural networks. The background is provided by selected mechanisms of the human nervous system – the cybernetic archetypes of neuromorphic computing. Topics include spike-timing-dependent plasticity, population and temporal coding, the Neural Engineering Framework, neuromorphic hardware from Loihi 2 to commercial edge processors, and the prospects of mutual enrichment of classical and neuromorphic AI – up to optical computing. (approx. 90 pages, 20 figures)