Computer können Gedanken „lesen“
Mit einem hochauflösenden Tomografen und einer speziellen Software können Forscher sichtbar machen, was beim Menschen gerade vor dem inneren Auge abläuft. Kurze Texte und bewegte Bilder lassen sich so bereits rekonstruieren.
Foto: Computational Cognitive Neuroscience Lab
Die Gedanken sind frei, wer kann sie erraten? Von wegen. Computerprogramme können heutzutage beim Blick ins Gehirn sichtbar machen, was gerade vor dem inneren Auge abläuft – und zwar buchstäblich, wie Forscher der Radboud Universität im niederländischen Nijmegen nun demonstriert haben.
Die Sehrinde ist eine der am besten untersuchten Regionen des Gehirns – und eine der größten. Sie macht 15 % der gesamten Großhirnrinde aus und liegt im hinteren Bereich jeder Hirnhälfte. Im Wesentlichen besteht eine maßstäbliche Repräsentation bei der Projektion der Bezirke aus der Netzhaut der Augen auf die Sehrinde. Zudem folgen die Felder einem einfachen An-/Aus-Mechanismus. Beides sind wichtige Voraussetzungen für das Neuroimaging.
Insgesamt sind mehr als 30 verschiedene Hirnfelder oder etwa 60 % der Großhirnrinde mit dem Sehen, genauer speziellen Aufgaben für das Wahrnehmen, Interpretieren, Zuordnen und Erinnern von Formen und Farben beschäftigt. Beispielsweise sind am Erkennen eines Gesichtes Netzwerke von nur wenigen Nervenzellen mit jedoch unterschiedlichen Antworteigenschaften beteiligt. Wie im Gehirn aus der Vielzahl bearbeiteter Teilaufgaben letztlich die von uns als unteilbar und fließend wahrgenommene Realität entsteht, ist immer noch ein Rätsel. SvdW
Für das Experiment, über das die Forscher im Fachblatt Neuroimage berichten, nutzten sie die hochauflösende Magnetresonanztomografie (fMRI). Das in der Neuroforschung häufig eingesetzte bildgebende Verfahren zeigt sehr präzise, welche Hirnregionen besonders stark mit sauerstoffreichem Blut versorgt werden, während eine Testperson eine bestimmte Aufgabe durchführt. Daraus lässt sich unmittelbar auf die neuronale Aktivität schließen. Forschungsleiter Marcel van Gerven erläutert den Ansatz: „Die Frage dahinter ist einfach: Ist eine bestimmte Hirnregion an- oder ausgeschaltet?“
Während des Tests lagen die Probanden im Tomografen und sahen einen kurzen handschriftlichen Text an: das Wort „brains“, der englische Begriff für Gehirne. Eine spezielle Software wertete die Daten aus dem Sehzentrum der Versuchspersonen direkt aus und rekonstruierte den still gelesenen Text, Buchstabe für Buchstabe, korrekt.
Für die genaue Zuordnung der Signale hatten die Forscher die Sehrinde in insgesamt 1200 Volumeneinheiten mit je 2 mm x 2 mm x 2 mm Kantenlänge unterteilt. Für jeden einzelnen dieser winzigen Würfel oder Voxel führte das Computerprogramm mathematische Operationen durch, welche die mit dem Tomografen gemessenen Aktivitätssignale in Bildinformation oder Pixel umrechnete.
Auf diese Weise entstand zunächst eine Art Punktmuster, in dem die Konturen der Buchstaben nur verschwommen zu erkennen waren. „Damit daraus ein klares Muster wurde, haben wir dem Modell beigebracht, wie Buchstaben aussehen. Das Ergebnis war tatsächlich eine echte Rekonstruktion“, berichtet van Gerven. Auf dem Bildschirm prangte in großen Lettern für jedermann sichtbar, was zuvor das geistige Auge der Versuchsperson verinnerlicht hatte: „BRAINS“.
So spektakulär das Ergebnis auf den ersten Blick erscheinen mag, mit echtem Gedankenlesen, dem Auslesen einer beliebigen geistigen Vorstellung, hat das Experiment nichts zu tun – noch nicht. Es macht aber anschaulich, wie gut Modelle bereits die Arbeitsweise einzelner Hirnfunktionen abbilden.
„Das Prinzip hinter dem Verfahren ähnelt dem, mit dem auch das Gehirn selbst neue Sinneseindrücke mit Vorwissen kombiniert. Auch die Linien und Kurven der Buchstaben in einem Artikel können Sie nur deshalb erkennen, weil das Gehirn gelernt hat, diese Formen als Buchstaben zu interpretieren“, sagt van Gerven. Genauso gehe das Programm vor bei der Analyse der Informationen aus den Sehrinden-Voxel. Weil die Software lernfähig ist, konnte sie zudem selbst dann gute Bilder erzeugen, wenn ihr die spezifische Information in Form des fraglichen Buchstabens zuvor nicht bekannt war.
Die Forscher wollen nun ein leistungsfähigeres Programm entwickeln. Es soll in der Lage sein, die Daten aus einem verfeinerten Sehrindenmodell aus 15 000 Voxel zu verarbeiten. Die Vision der Forscher: Subjektive Eindrücke wie Träume oder Erinnerungen könnten aus dem Gedächtnis ausgelesen werden.
Wie nahe Neuroforscher dem Ziel schon gekommen sind, machten Kollegen von der University of California in Berkely mit einem ähnlichen Ansatz deutlich. In dem 2011 durchgeführten Experiment gelang es ihnen mithilfe von Hirnscans zu rekonstruieren, welche Filmszene sich eine Versuchsperson gerade ansah. Mittels hochauflösender fMRI erfassten die Forscher die Aktivität des Sehzentrums von Probanden, während diese sich eine Filmsequenz anschauten.
Ein lernfähiges Computerprogramm verknüpfte das dreidimensionale Muster aus der Sehrinde mit den Bildinformationen. Im nächsten Schritt wurde das Programm allein nur mit den Daten der Gehirnaktivität gefüttert und rekonstruierte daraus die gesehene Filmszene. Dafür griff es auf einen zufällig ausgewählten Pool von Millionen Szenen aus dem Internet zurück und suchte durch Vergleich die hundert am besten passenden Bilder zu den Daten heraus. Daraus „bastelte“ das Programm dann eine verschwommene, bewegte Sequenz, die dem ursprünglich gesehenen Filmausschnitt schon recht ähnlich sah.
Steht der Durchbruch einer Technologie bevor, die eines Tages unsere geheimsten Gedanken sichtbar machen kann? Berkely-Neuroforscher Jack Gallant spricht zwar von einem „großen Schritt für die Wissenschaft“, gibt sich dann aber doch bescheiden. „Zumindest haben wir ein Fenster geöffnet, durch das sichtbar wird, wie in unserem Gehirn bewegte Bilder entstehen“, sagt Neurowissenschaftler Gallant.
