Biologisch Algorithmen für Künstliche Neuronale Netze

Die Forschung an künstlichen neuronalen Netzen (KNN) hat in den letzten Jahrzehnten bemerkenswerte Fortschritte gemacht, insbesondere durch die Entwicklung von Algorithmen wie der Backpropagation. Doch während dieser Algorithmus für maschinelles Lernen effizient ist, stellt er auch eine große Herausforderung für die biologische Plausibilität dar. Echte Gehirne arbeiten nicht auf die gleiche Weise wie maschinelle Backpropagation-Algorithmen, was Forscher dazu veranlasst hat, nach neuen, biologisch plausibleren Modellen zu suchen.

Backpropagation und Ihre Grenzen

Backpropagation wurde in den 1980er Jahren entwickelt und funktioniert, indem Fehler in den Gewichtungen der neuronalen Verbindungen rückwärts durch das Netzwerk korrigiert werden. Dieses Verfahren hat sich als sehr effektiv erwiesen, erfordert jedoch eine strenge Überwachung und detaillierte Gewichtungsanpassungen, die in biologischen Systemen schwer vorstellbar sind. Biologisch gesehen, erhalten Neuronen lediglich die Ausgaben ihrer benachbarten Zellen und nicht die vollständigen Informationen über die internen Prozesse oder Gewichtungen, die für Backpropagation entscheidend sind.

Biologisch Plausible Alternativen

Eine vielversprechende Alternative zur Backpropagation ist die sogenannte Equilibrium Propagation. Dieser Ansatz folgt der hebbschen Regel – „Neuronen, die zusammen feuern, verdrahten sich zusammen“ – und nutzt rückgekoppelte neuronale Verbindungen. Dabei versetzt eine Eingabe das neuronale Netz in eine Schwingung, bis ein Gleichgewichtszustand erreicht wird. Fehlerhafte Ergebnisse werden durch Signale korrigiert, die rückwärts durch das Netzwerk laufen, ähnlich wie bei der Backpropagation, aber mit einer Dynamik, die biologisch realistischer erscheint.

Predictive Coding als Lernmodell

Predictive Coding ist ein weiteres Modell, das versucht, das Lernen im Gehirn nachzubilden. Dabei macht das Gehirn ständig Vorhersagen über die Umwelt und passt sein Weltbild an neue Informationen an. Jeder Fehler zwischen Vorhersage und Realität wird als Korrektursignal weitergeleitet, bis die Diskrepanz minimiert ist. Forscher haben dieses Modell für künstliche neuronale Netze adaptiert, und es konnte nachgewiesen werden, dass Predictive Coding nahezu genauso effektiv sein kann wie Backpropagation, obwohl es weniger strikte Vorgaben zur Fehlerkorrektur erfordert.

Der Beitrag von Pyramidenzellen

Eine weitere Entwicklung betrifft das Studium von Pyramidenzellen, einer speziellen Art von Neuronen im Kortex. Diese Zellen haben zwei unterschiedliche Dendritenarten, die unterschiedliche Aufgaben erfüllen. Die Netzwerke, die auf Pyramidenzellen basieren, können sowohl vorwärtsgerichtete als auch rückwärtsgerichtete Berechnungen durchführen. Durch die Aufteilung der Aufgaben zwischen verschiedenen Zellstrukturen, wie den basalen und apikalen Dendriten, kann das neuronale Netz effizienter Informationen verarbeiten und Fehler korrigieren.

Fazit

Obwohl die Backpropagation weiterhin eine der effektivsten Methoden für maschinelles Lernen bleibt, schreitet die Forschung an biologisch plausiblen Alternativen voran. Modelle wie Equilibrium Propagation und Predictive Coding bieten realistische und vielversprechende Ansätze, die die Grenzen herkömmlicher Algorithmen überschreiten könnten. Zukünftige Forschungen in diesem Bereich könnten dazu beitragen, das maschinelle Lernen weiter zu verbessern und gleichzeitig unser Verständnis der Funktionsweise biologischer Gehirne zu vertiefen.

Quellen:

- Lillicrap, T. P., Santoro, A., Marris, L., Akerman, C. J., & Hinton, G. E. (2016). Random synaptic feedback weights support error backpropagation for deep learning. Nature Communications, 7, 13276. 

- Millidge, B., Tschantz, A., & Buckley, C. L. (2020). Predictive coding approximates backpropagation along arbitrary computation graphs. arXiv preprint, arXiv:2006.04182.  

- Nayebi, A., Bear, D., Kubilius, J., Kar, K., Ganguli, S., Sussillo, D., & Yamins, D. (2020). Identifying learning rules from neural network observables. arXiv preprint, arXiv:2010.11765v2.  

- Scellier, B., & Bengio, Y. (2017). Equilibrium propagation: Bridging the gap between energy-based models and backpropagation. Frontiers in Computational Neuroscience, 11, 24.