Hugh Loebner erklärt der Jury, was sie zu tun hat: Per Tastatur und Bildschirm chatten und dann entscheiden: Welcher Chatpartner war ein Mensch, welcher war ein Computer?
Im Raum gegenüber sitzen vier menschliche Chatpartner, daneben stehen vier weitere Rechner, auf denen die Chatbots laufen. Und um die geht es hier. Die vier Programme versuchen der Jury vorzugaukeln, sie seien Menschen. Gelingt die Täuschung, gilt der Turing-Test als bestanden – und die Maschine als intelligent. 1950 hatte Turing postuliert, dass das im Jahr 2000 eine Maschine schaffen würde. Doch im Jahr 2012 sind Chatbots weit davon entfernt:
Mensch: "Ich unterhalte mich gerne. Du auch?"
Maschine: "Mir gefällt unser Gespräch auch."
Mensch: "Was gefällt dir an unserem Gespräch?"
Maschine: "Da bin ich neutral. Was denkst du?"
Wie bei diesem Chat des späteren Gewinnerprogramms sitzen die Juroren oft kichernd vor dem Bildschirm. Doch einiges haben die Bots inzwischen gelernt. Sie vermeiden es, ein und denselben Satz zwei Mal zu schreiben. Sie haben außerdem eine Persönlichkeit. Dazu gehört mitunter ein kompletter Lebenslauf, der ständig fortgeschrieben wird. Trotzdem scheitern sie schnell. Kurz nach dem Wettbewerb sagt Jury-Mitglied Phil Perkins:
"Die meisten Programme haben noch nicht mal richtig auf meine erste Frage geantwortet, die immer lautete: Hi, wie geht’s? Was keine besonders schwere Frage ist."
Dennoch verstehen die Programme immer besser, was die Menschen schreiben. Nicht nur Wörter, sondern Wortzusammenhänge und Themengebiete können sie erkennen. Das gilt auch für Adam, den der Brite Daniel Burke programmiert hat.
"Zu Adams Technik gehört ein Musterabgleich. Wenn jemand etwas eingibt, versucht er das mit den vorprogrammierten Antworten abzugleichen. Aber wenn er keine genauen Treffer findet, nutzt er Fuzzy Logic, sodass er auch eine Antwort liefert, wenn er einen Großteil der Wörter verstanden hat. Er bemüht sich auch, beim Thema zu bleiben. Wenn es um Haustiere geht, erzählt er, dass er auch Haustiere hatte, als er jung war. Und er nutzt ein paar Tricks, um menschlicher zu wirken."
Verbreitet ist beispielsweise der Trick, künstliche Tippfehler einzubauen und die Benutzung der Backspace-Taste zu simulieren, um sie zu korrigieren. Was Adam zur Perfektion fehlt, weiß aber auch sein Entwickler nicht so recht.
"Es ist ein gewisses menschliches Element. Die Art, wie sie Dinge ausdrücken, ist nicht warm genug, es ist immer noch zu mechanisch. Das gewisse etwas eines Gesprächs zwischen Menschen fehlt. Es ist schwer zu benennen, weshalb es auch schwer umzusetzen ist."
Inzwischen läuft die Auswertung. Ergebnis: Nicht in einem Fall konnten die Programme vortäuschen, menschlich zu sein. Auch in diesem Jahr wird daher nur eine bronzene Loebner-Medaille vergeben – für den Chatbot, der die Jury am meisten überzeugt hat: Chip Vivant, vom freien US-amerikanischen Entwickler Mohan Embar.
Der Gewinner selbst ist nicht vor Ort, nur sein Programm. Das hat Embar von Grund auf selbst entwickelt. Es soll aus den Eingaben der Chatpartner lernen und mit seinem Allgemeinwissen beantworten können, ob eine Orange größer ist als der Mond. Bei komplizierteren Fragen haben aber alle Chatbots Probleme, erklärt via Skype Bruce Wilcox, der den Loebner-Preis in den vergangenen beiden Jahren gewonnen hat und in diesem Jahr auf Platz Zwei landete.
"Alles, was ein Verständnis für physikalische Zusammenhänge erfordert, ist schwierig. Zum Beispiel: Was wird passieren, wenn ich einen Eiswürfel in eine Tasse Kaffee gebe?"
Besonders schwierig wird der Test dadurch, dass die Programme nicht auf das im Internet gespeicherte Wissen zurückgreifen dürfen. Und so schrieb auch das Gewinner-Programm Sätze wie:
"Ich habe nicht verstanden, was Sie gerade gesagt haben. Ich kann mit dieser syntaktischen Variante noch nicht umgehen."
Turing wäre wohl enttäuscht. Nur wenn die Systeme das Gespräch bestimmen können, überzeugen sie ansatzweise. Produktiv lassen sie sich daher nur in Expertensystemen mit eng umgrenztem Themenbereich einsetzen.
Im Raum gegenüber sitzen vier menschliche Chatpartner, daneben stehen vier weitere Rechner, auf denen die Chatbots laufen. Und um die geht es hier. Die vier Programme versuchen der Jury vorzugaukeln, sie seien Menschen. Gelingt die Täuschung, gilt der Turing-Test als bestanden – und die Maschine als intelligent. 1950 hatte Turing postuliert, dass das im Jahr 2000 eine Maschine schaffen würde. Doch im Jahr 2012 sind Chatbots weit davon entfernt:
Mensch: "Ich unterhalte mich gerne. Du auch?"
Maschine: "Mir gefällt unser Gespräch auch."
Mensch: "Was gefällt dir an unserem Gespräch?"
Maschine: "Da bin ich neutral. Was denkst du?"
Wie bei diesem Chat des späteren Gewinnerprogramms sitzen die Juroren oft kichernd vor dem Bildschirm. Doch einiges haben die Bots inzwischen gelernt. Sie vermeiden es, ein und denselben Satz zwei Mal zu schreiben. Sie haben außerdem eine Persönlichkeit. Dazu gehört mitunter ein kompletter Lebenslauf, der ständig fortgeschrieben wird. Trotzdem scheitern sie schnell. Kurz nach dem Wettbewerb sagt Jury-Mitglied Phil Perkins:
"Die meisten Programme haben noch nicht mal richtig auf meine erste Frage geantwortet, die immer lautete: Hi, wie geht’s? Was keine besonders schwere Frage ist."
Dennoch verstehen die Programme immer besser, was die Menschen schreiben. Nicht nur Wörter, sondern Wortzusammenhänge und Themengebiete können sie erkennen. Das gilt auch für Adam, den der Brite Daniel Burke programmiert hat.
"Zu Adams Technik gehört ein Musterabgleich. Wenn jemand etwas eingibt, versucht er das mit den vorprogrammierten Antworten abzugleichen. Aber wenn er keine genauen Treffer findet, nutzt er Fuzzy Logic, sodass er auch eine Antwort liefert, wenn er einen Großteil der Wörter verstanden hat. Er bemüht sich auch, beim Thema zu bleiben. Wenn es um Haustiere geht, erzählt er, dass er auch Haustiere hatte, als er jung war. Und er nutzt ein paar Tricks, um menschlicher zu wirken."
Verbreitet ist beispielsweise der Trick, künstliche Tippfehler einzubauen und die Benutzung der Backspace-Taste zu simulieren, um sie zu korrigieren. Was Adam zur Perfektion fehlt, weiß aber auch sein Entwickler nicht so recht.
"Es ist ein gewisses menschliches Element. Die Art, wie sie Dinge ausdrücken, ist nicht warm genug, es ist immer noch zu mechanisch. Das gewisse etwas eines Gesprächs zwischen Menschen fehlt. Es ist schwer zu benennen, weshalb es auch schwer umzusetzen ist."
Inzwischen läuft die Auswertung. Ergebnis: Nicht in einem Fall konnten die Programme vortäuschen, menschlich zu sein. Auch in diesem Jahr wird daher nur eine bronzene Loebner-Medaille vergeben – für den Chatbot, der die Jury am meisten überzeugt hat: Chip Vivant, vom freien US-amerikanischen Entwickler Mohan Embar.
Der Gewinner selbst ist nicht vor Ort, nur sein Programm. Das hat Embar von Grund auf selbst entwickelt. Es soll aus den Eingaben der Chatpartner lernen und mit seinem Allgemeinwissen beantworten können, ob eine Orange größer ist als der Mond. Bei komplizierteren Fragen haben aber alle Chatbots Probleme, erklärt via Skype Bruce Wilcox, der den Loebner-Preis in den vergangenen beiden Jahren gewonnen hat und in diesem Jahr auf Platz Zwei landete.
"Alles, was ein Verständnis für physikalische Zusammenhänge erfordert, ist schwierig. Zum Beispiel: Was wird passieren, wenn ich einen Eiswürfel in eine Tasse Kaffee gebe?"
Besonders schwierig wird der Test dadurch, dass die Programme nicht auf das im Internet gespeicherte Wissen zurückgreifen dürfen. Und so schrieb auch das Gewinner-Programm Sätze wie:
"Ich habe nicht verstanden, was Sie gerade gesagt haben. Ich kann mit dieser syntaktischen Variante noch nicht umgehen."
Turing wäre wohl enttäuscht. Nur wenn die Systeme das Gespräch bestimmen können, überzeugen sie ansatzweise. Produktiv lassen sie sich daher nur in Expertensystemen mit eng umgrenztem Themenbereich einsetzen.