Unterrichtsbeginn in einer sechsten Klasse. Der Lehrer betritt Raum.
"So, dann nehmt mal die Hefte raus, wir schreiben eine Klassenarbeit."
30 Schüler kramen seufzend nach Füllern und Heften. Und dann versuchen sie, einen Text zusammenzufassen, den alle zu Hause lesen sollten. Wie gut jeder einzelne den Inhalt wiedergeben kann, erfährt er allerdings erst nach ein paar Tagen, wenn der Lehrer die Arbeiten korrigiert zurückgibt. Viel zu spät, findet Dr. Wolfgang Lenhard vom Lehrstuhl "Pädagogische Psychologie" der Universität Würzburg:
"Wir wissen aus der Psychologie, eine unmittelbare Rückmeldung ist eine wichtige Voraussetzung, um einen möglichst guten Lerneffekt zu erzielen."
Wolfgang Lenhard arbeitet deshalb an einem Computerprogramm, das die Inhalte von Texten vergleichen und bewerten kann. Und zwar bereits, während die Schüler schreiben - ähnlich, wie bei einer automatischen Rechtschreibprüfung.
Der Prototyp, den die Würzburger Forscher entwickelt haben, gibt zuerst einmal einen Text vor, den man lesen soll. Ist man damit fertig, öffnet sich ein Fenster, in das man seine Zusammenfassung eingibt. Anschließend überprüft das Programm den Text. Unter anderem auf überflüssige Sätze.
"Hier wird analysiert, ob in dieser Zusammenfassung Sätze sind, die sehr, sehr ähnlich sind, die also Informationen doppelt enthalten. Diese Sätze, die einander überlappen, werden rot markiert, so dass man hier einfach Text einsparen kann, indem man Sätze raus streicht oder indem man sie zusammenlegt.
Als nächstes wird die Relevanz der Sätze überprüft. Es wird hier also geschaut, gibt es Sätze, die inhaltlich so weit vom Originaltext entfernt sind, dass sie vermutlich einfach irrelevant sind, dass man diese Inhalte streichen kann."
Hat der Schüler den Text auf Grund dieser Rückmeldungen noch einmal überarbeitet, ruft er die Gesamtbewertung auf: Unterschiedlich hohe, farbige Säulen zeigen ihm an, wie vollständig er in seinem Aufsatz die einzelnen Abschnitte des Originaltextes zusammengefasst hat.
Das Programm arbeitet dabei mit der so genannten "latenten semantischen Analyse", einem statistischen Verfahren, das Anfang der 90er Jahre in den USA entwickelt wurde. Es verlangt einiges an Vorarbeit, so Lenhard:
"Man benötigt einen Trainings-Korpus, also eine Textsammlung mit möglichst vielen, inhaltlich repräsentativen Texten für ein bestimmtes Gebiet, für das man es später anwenden möchte. Also beispielsweise benötigt man eine Sammlung von vielleicht 50.000 Textabschnitten zum Thema Biologie, wenn es um Biologie-Texte später geht."
Jeder dieser Textabschnitte, die zum Beispiel aus Lehrbüchern und Lexika stammen, hat einen Umfang von einigen dutzend bis zu ein paar hundert Wörtern. Das Programm zählt nun, wie oft ein bestimmtes Wort in einem solchen Textabschnitt vorkommt und legt eine entsprechende Tabelle für alle Textabschnitte und alle Wörter an.
"Und jetzt kann man das Ganze auswerten und kann dann sagen, Wörter, die immer wieder in gleichen Abschnitten auftreten, haben was miteinander zu tun. Die haben einen gemeinsamen semantischen Sinn, einen latenten semantischen Gehalt, den wir analysieren möchten."
Abhängig davon, ob Wörter häufig gemeinsam vorkommen oder nicht, ordnet der Computer diese Wörter dann in einem mathematischen Raum an. In diesem so genannten "semantischen Raum" liegen inhaltlich ähnliche Wörter nahe beieinander. Wie ähnlich sie sind, lässt sich mathematisch zum Beispiel über die Entfernung im Raum ausdrücken.
Damit ist das Würzburger Programm in der Lage, zu berechnen, wie gut ein Schüler einen vorgegebenen Text zusammengefasst hat. Wenn es zum Beispiel im Originaltext heißt: "Pinguine sind am Boden lebende Vögel, die sich von Fisch und Krill ernähren", und der Schüler geschrieben hat: "Ein Pinguin ist ein flugunfähiger Vogel, der Fische und Krebse frisst."
"Diese beiden Sätze, die bekommen sehr, sehr hohe Ähnlichkeitswerte, weil das System den Sinn dieser Wörter repräsentieren kann und 'Fisch' und 'Fische' als sehr ähnlich einstuft, 'Krill' und 'Krebse', 'Pinguin' und 'Pinguine'. Und wenn man jetzt einen ganz anderen Satz nimmt, wie zum Beispiel 'Elefanten leben im Dschungel', dann bekommt das einen Wert, der anzeigt, dass diese Sätze einfach nicht miteinander verwandt sind."
Ab dem Frühsommer soll das Programm in Schulen getestet werden. Voraussetzung ist ein Computerraum, in dem jeder Schüler einen eigenen Rechner hat. Außerdem ist eine Internetverbindung zum Server an der Uni notwendig. Denn auf dem laufen die eigentlichen Berechnungen. Die Würzburger Forscher haben aber noch weitere Anwendungen für ihr System im Auge. Es ist zum Beispiel in der Lage, innerhalb weniger Sekunden hunderte von Vordiplomsklausuren zu bewerten und schon einmal vorzusortieren. Gleichzeitig kann es dabei überprüfen, ob Studenten zusammengearbeitet oder sogar voneinander abgeschrieben haben.
Auf eines legt Wolfgang Lenhard aber großen Wert: Die endgültige Note für eine Arbeit, die sollte immer ein Mensch vergeben.
"So, dann nehmt mal die Hefte raus, wir schreiben eine Klassenarbeit."
30 Schüler kramen seufzend nach Füllern und Heften. Und dann versuchen sie, einen Text zusammenzufassen, den alle zu Hause lesen sollten. Wie gut jeder einzelne den Inhalt wiedergeben kann, erfährt er allerdings erst nach ein paar Tagen, wenn der Lehrer die Arbeiten korrigiert zurückgibt. Viel zu spät, findet Dr. Wolfgang Lenhard vom Lehrstuhl "Pädagogische Psychologie" der Universität Würzburg:
"Wir wissen aus der Psychologie, eine unmittelbare Rückmeldung ist eine wichtige Voraussetzung, um einen möglichst guten Lerneffekt zu erzielen."
Wolfgang Lenhard arbeitet deshalb an einem Computerprogramm, das die Inhalte von Texten vergleichen und bewerten kann. Und zwar bereits, während die Schüler schreiben - ähnlich, wie bei einer automatischen Rechtschreibprüfung.
Der Prototyp, den die Würzburger Forscher entwickelt haben, gibt zuerst einmal einen Text vor, den man lesen soll. Ist man damit fertig, öffnet sich ein Fenster, in das man seine Zusammenfassung eingibt. Anschließend überprüft das Programm den Text. Unter anderem auf überflüssige Sätze.
"Hier wird analysiert, ob in dieser Zusammenfassung Sätze sind, die sehr, sehr ähnlich sind, die also Informationen doppelt enthalten. Diese Sätze, die einander überlappen, werden rot markiert, so dass man hier einfach Text einsparen kann, indem man Sätze raus streicht oder indem man sie zusammenlegt.
Als nächstes wird die Relevanz der Sätze überprüft. Es wird hier also geschaut, gibt es Sätze, die inhaltlich so weit vom Originaltext entfernt sind, dass sie vermutlich einfach irrelevant sind, dass man diese Inhalte streichen kann."
Hat der Schüler den Text auf Grund dieser Rückmeldungen noch einmal überarbeitet, ruft er die Gesamtbewertung auf: Unterschiedlich hohe, farbige Säulen zeigen ihm an, wie vollständig er in seinem Aufsatz die einzelnen Abschnitte des Originaltextes zusammengefasst hat.
Das Programm arbeitet dabei mit der so genannten "latenten semantischen Analyse", einem statistischen Verfahren, das Anfang der 90er Jahre in den USA entwickelt wurde. Es verlangt einiges an Vorarbeit, so Lenhard:
"Man benötigt einen Trainings-Korpus, also eine Textsammlung mit möglichst vielen, inhaltlich repräsentativen Texten für ein bestimmtes Gebiet, für das man es später anwenden möchte. Also beispielsweise benötigt man eine Sammlung von vielleicht 50.000 Textabschnitten zum Thema Biologie, wenn es um Biologie-Texte später geht."
Jeder dieser Textabschnitte, die zum Beispiel aus Lehrbüchern und Lexika stammen, hat einen Umfang von einigen dutzend bis zu ein paar hundert Wörtern. Das Programm zählt nun, wie oft ein bestimmtes Wort in einem solchen Textabschnitt vorkommt und legt eine entsprechende Tabelle für alle Textabschnitte und alle Wörter an.
"Und jetzt kann man das Ganze auswerten und kann dann sagen, Wörter, die immer wieder in gleichen Abschnitten auftreten, haben was miteinander zu tun. Die haben einen gemeinsamen semantischen Sinn, einen latenten semantischen Gehalt, den wir analysieren möchten."
Abhängig davon, ob Wörter häufig gemeinsam vorkommen oder nicht, ordnet der Computer diese Wörter dann in einem mathematischen Raum an. In diesem so genannten "semantischen Raum" liegen inhaltlich ähnliche Wörter nahe beieinander. Wie ähnlich sie sind, lässt sich mathematisch zum Beispiel über die Entfernung im Raum ausdrücken.
Damit ist das Würzburger Programm in der Lage, zu berechnen, wie gut ein Schüler einen vorgegebenen Text zusammengefasst hat. Wenn es zum Beispiel im Originaltext heißt: "Pinguine sind am Boden lebende Vögel, die sich von Fisch und Krill ernähren", und der Schüler geschrieben hat: "Ein Pinguin ist ein flugunfähiger Vogel, der Fische und Krebse frisst."
"Diese beiden Sätze, die bekommen sehr, sehr hohe Ähnlichkeitswerte, weil das System den Sinn dieser Wörter repräsentieren kann und 'Fisch' und 'Fische' als sehr ähnlich einstuft, 'Krill' und 'Krebse', 'Pinguin' und 'Pinguine'. Und wenn man jetzt einen ganz anderen Satz nimmt, wie zum Beispiel 'Elefanten leben im Dschungel', dann bekommt das einen Wert, der anzeigt, dass diese Sätze einfach nicht miteinander verwandt sind."
Ab dem Frühsommer soll das Programm in Schulen getestet werden. Voraussetzung ist ein Computerraum, in dem jeder Schüler einen eigenen Rechner hat. Außerdem ist eine Internetverbindung zum Server an der Uni notwendig. Denn auf dem laufen die eigentlichen Berechnungen. Die Würzburger Forscher haben aber noch weitere Anwendungen für ihr System im Auge. Es ist zum Beispiel in der Lage, innerhalb weniger Sekunden hunderte von Vordiplomsklausuren zu bewerten und schon einmal vorzusortieren. Gleichzeitig kann es dabei überprüfen, ob Studenten zusammengearbeitet oder sogar voneinander abgeschrieben haben.
Auf eines legt Wolfgang Lenhard aber großen Wert: Die endgültige Note für eine Arbeit, die sollte immer ein Mensch vergeben.