"Das Verrückte ist, wir haben es eigentlich kaum noch mit Biologie zu tun, es ist pure Informatik. Die Biologie wird in den Modellen am Ende fast völlig außer Acht gelassen, sie wird weg abstrahiert. Wir hantieren mit idealen biologischen Modellen."
Der Biologe Jack Gallant forscht an der Universität von Kalifornien in Berkeley. Sein Ziel: Er will herausfinden, wie das Gehirn visuelle Reize verarbeitet. Dafür braucht er nur noch selten direkte Messungen an Mensch oder Tier, er nutzt Rechenmodelle, die nachstellen, was im Gehirn geschieht. Er konzentriert sich dabei auf eines von vielen Hirnarealen, die für das Sehen wichtig sind: auf das primäre Sehzentrum. Dort kommen die Signale der Augen im Gehirn an.
"Man kann sich das so vorstellen: das primäre Sehzentrum übersetzt die ankommenden Informationen über die reale Welt in eine abstrakte Sprache, die wie Computer nur eins und null kennt. Entweder einer Nervenzelle sendet ein Signal, das ist die Eins, oder eben nicht, das ist die Null. Alles was im Hirn vorgeht, ist in diesem System kodiert: Informationen über die Welt, all unsere Erinnerungen, Gedanken und Vorhaben."
Würde man die Aktivität von Nervenzellen genau aufzeichnen, bekäme man also eine Abfolge aus Nullen und Einsen. Anders als beim Computer wäre das Muster allerdings dreidimensional, jede einzelne Nervenzelle mit ihrer Abfolge aus Nullen und Einsen hätte darin ihren Platz.
Das allermeiste, so Jack Gallant, was Forscher bisher über das Sehen herausgefunden haben, spreche dafür, dass das Sehzentrum die eingehenden Signale bei allen Menschen ähnlich verarbeitet. Das heißt: Wenn verschiedene Personen sehen, wie zum Beispiel ein Mensch steht und spricht, entsteht bei allen ein ähnlicher Code aus Nullen und Einsen in ihrem Sehzentrum. Es müsste also möglich sein, so Gallant, aus diesem Code auf das Gesehene zurückzuschließen. Genau das wollte er versuchen.
Dabei gab es allerdings ein entscheidendes Hindernis: das, was er gerne gemessen hätte, nämlich die Aktivität der Nervenzellen, lässt sich gar nicht direkt beobachten. Es gibt nur eine Art Notbehelf.
"Wir nutzen eine indirekte Messung, nämlich fMRI, also funktionelle Magnetresonanztomografie. Man misst dabei den Blutfluss im Gehirn und den Sauerstoffgehalt. Denn wenn Nervenzellen ein Signal senden, brauchen sie dafür Energie und Sauerstoff, also wird in dieser Region die Versorgung mit sauerstoffreichem Blut angekurbelt. Und das können wir mit fMRI messen."
Man erhält also eine Aufnahme der Blutzirkulation im Gehirn. Und diese enthält Informationen über die Aktivität der Nervenzellen. Gallant schob fünf Probanden in seinen Tomografen und zeigte ihnen kurze, zufällig ausgewählte Filmszenen, währenddessen zeichnete er die Aktivität in ihren primären Sehzentren auf. Er hatte also nun fünf konkrete Beispiele in der Hand für die Übersetzung der realen Welt in die abstrakte Sprache des Gehirns.
Doch immer noch fehlte der Schlüssel, um den Code zu deuten. Daher versuchte er, das, was beim Sehen im Gehirn geschieht, im Rechenmodell nachzuvollziehen.
"Wir entwickelten ein Modell, dass in zwei Stufen funktioniert. Zuerst wird die Information aus einem Film übersetzt in die zugehörigen Aktivitätsmuster von Nervenzellen. Dabei nutzen wir alles, was wir über das Sehzentrum bisher wissen. Die zweite Stufe rechnet aus, welches Muster sich aus der Aktivität der Nervenzellen dann für den Blutfluss ergibt."
Ihr Modell fütterten die Forscher anschließend mit insgesamt 5000 Stunden Videoclips aus dem Internet. Aufgesplittet in Sekunden errechnete das Modell für jede der 18 Millionen Filmsekunden, wie das zugehörige Durchblutungsmuster im Sehzentrum aussehen müsste. Damit war eine Art Übersetzungshandbuch für den Hirncode entstanden.
"Diese Liste von 18 Millionen Mustern können wir jetzt hernehmen und mit dem vergleichen, was wir im Labor an den fünf Probanden gemessen haben."
Das Modell ermittelt die 100 ähnlichsten Muster; aus den zugehörigen Filmsekunden errechnet es dann einen hypothetischen Film. Das ergibt am Ende zwar nur ziemlich verschwommene Filmszenen, doch das Prinzip scheint zu stimmen: Hat der Proband einen Menschen stehen und sprechen sehen, ergibt die Rekonstruktion eine schemenhafte Gestalt, die offenbar gestikuliert und spricht. War im Film ein wandernder Elefant in der Wüste zu sehen, bewegt sich in der Rekonstruktion immerhin ein dunkler Fleck einmal quer über den Bildschirm.
Der Forscher Samuel Schwarzkopf vom University College London lobt die Studie. Er beschäftigt sich wie Gallant damit, wie das Hirn die reale Welt in Nervenzellaktivität übersetzt. Er sagt:
"Wir wissen, dass alles, was wir in der Welt sehen, irgendwie im Sehzentrum kodiert werden muss, das ist also nicht überraschend. Aber diese Studie zeigt sehr schön, wie das geschieht."
Wie das Gehirn Gesehenes verarbeitet, gehört seiner Einschätzung nach eher zu den simplen Abläufen. Wirklich kompliziert werde es, wenn man ähnliche Dekodierungsmodelle für Gefühle, Gedanken oder Träume entwickeln wolle.
Link
Internetseite zur Studie (englischsprachig)
Der Biologe Jack Gallant forscht an der Universität von Kalifornien in Berkeley. Sein Ziel: Er will herausfinden, wie das Gehirn visuelle Reize verarbeitet. Dafür braucht er nur noch selten direkte Messungen an Mensch oder Tier, er nutzt Rechenmodelle, die nachstellen, was im Gehirn geschieht. Er konzentriert sich dabei auf eines von vielen Hirnarealen, die für das Sehen wichtig sind: auf das primäre Sehzentrum. Dort kommen die Signale der Augen im Gehirn an.
"Man kann sich das so vorstellen: das primäre Sehzentrum übersetzt die ankommenden Informationen über die reale Welt in eine abstrakte Sprache, die wie Computer nur eins und null kennt. Entweder einer Nervenzelle sendet ein Signal, das ist die Eins, oder eben nicht, das ist die Null. Alles was im Hirn vorgeht, ist in diesem System kodiert: Informationen über die Welt, all unsere Erinnerungen, Gedanken und Vorhaben."
Würde man die Aktivität von Nervenzellen genau aufzeichnen, bekäme man also eine Abfolge aus Nullen und Einsen. Anders als beim Computer wäre das Muster allerdings dreidimensional, jede einzelne Nervenzelle mit ihrer Abfolge aus Nullen und Einsen hätte darin ihren Platz.
Das allermeiste, so Jack Gallant, was Forscher bisher über das Sehen herausgefunden haben, spreche dafür, dass das Sehzentrum die eingehenden Signale bei allen Menschen ähnlich verarbeitet. Das heißt: Wenn verschiedene Personen sehen, wie zum Beispiel ein Mensch steht und spricht, entsteht bei allen ein ähnlicher Code aus Nullen und Einsen in ihrem Sehzentrum. Es müsste also möglich sein, so Gallant, aus diesem Code auf das Gesehene zurückzuschließen. Genau das wollte er versuchen.
Dabei gab es allerdings ein entscheidendes Hindernis: das, was er gerne gemessen hätte, nämlich die Aktivität der Nervenzellen, lässt sich gar nicht direkt beobachten. Es gibt nur eine Art Notbehelf.
"Wir nutzen eine indirekte Messung, nämlich fMRI, also funktionelle Magnetresonanztomografie. Man misst dabei den Blutfluss im Gehirn und den Sauerstoffgehalt. Denn wenn Nervenzellen ein Signal senden, brauchen sie dafür Energie und Sauerstoff, also wird in dieser Region die Versorgung mit sauerstoffreichem Blut angekurbelt. Und das können wir mit fMRI messen."
Man erhält also eine Aufnahme der Blutzirkulation im Gehirn. Und diese enthält Informationen über die Aktivität der Nervenzellen. Gallant schob fünf Probanden in seinen Tomografen und zeigte ihnen kurze, zufällig ausgewählte Filmszenen, währenddessen zeichnete er die Aktivität in ihren primären Sehzentren auf. Er hatte also nun fünf konkrete Beispiele in der Hand für die Übersetzung der realen Welt in die abstrakte Sprache des Gehirns.
Doch immer noch fehlte der Schlüssel, um den Code zu deuten. Daher versuchte er, das, was beim Sehen im Gehirn geschieht, im Rechenmodell nachzuvollziehen.
"Wir entwickelten ein Modell, dass in zwei Stufen funktioniert. Zuerst wird die Information aus einem Film übersetzt in die zugehörigen Aktivitätsmuster von Nervenzellen. Dabei nutzen wir alles, was wir über das Sehzentrum bisher wissen. Die zweite Stufe rechnet aus, welches Muster sich aus der Aktivität der Nervenzellen dann für den Blutfluss ergibt."
Ihr Modell fütterten die Forscher anschließend mit insgesamt 5000 Stunden Videoclips aus dem Internet. Aufgesplittet in Sekunden errechnete das Modell für jede der 18 Millionen Filmsekunden, wie das zugehörige Durchblutungsmuster im Sehzentrum aussehen müsste. Damit war eine Art Übersetzungshandbuch für den Hirncode entstanden.
"Diese Liste von 18 Millionen Mustern können wir jetzt hernehmen und mit dem vergleichen, was wir im Labor an den fünf Probanden gemessen haben."
Das Modell ermittelt die 100 ähnlichsten Muster; aus den zugehörigen Filmsekunden errechnet es dann einen hypothetischen Film. Das ergibt am Ende zwar nur ziemlich verschwommene Filmszenen, doch das Prinzip scheint zu stimmen: Hat der Proband einen Menschen stehen und sprechen sehen, ergibt die Rekonstruktion eine schemenhafte Gestalt, die offenbar gestikuliert und spricht. War im Film ein wandernder Elefant in der Wüste zu sehen, bewegt sich in der Rekonstruktion immerhin ein dunkler Fleck einmal quer über den Bildschirm.
Der Forscher Samuel Schwarzkopf vom University College London lobt die Studie. Er beschäftigt sich wie Gallant damit, wie das Hirn die reale Welt in Nervenzellaktivität übersetzt. Er sagt:
"Wir wissen, dass alles, was wir in der Welt sehen, irgendwie im Sehzentrum kodiert werden muss, das ist also nicht überraschend. Aber diese Studie zeigt sehr schön, wie das geschieht."
Wie das Gehirn Gesehenes verarbeitet, gehört seiner Einschätzung nach eher zu den simplen Abläufen. Wirklich kompliziert werde es, wenn man ähnliche Dekodierungsmodelle für Gefühle, Gedanken oder Träume entwickeln wolle.
Link
Internetseite zur Studie (englischsprachig)