Ein Bildschirm mit zwei Diashows. Beide zeigen die gleichen Bilder. Doch sobald man den Ton andreht wird der Unterschied zwischen den beiden Videos klar. Während bei der ersten Bildershow unpassende Musik den Zuschauer irritiert, untermalt die Musik der zweiten Show den Inhalt der Bilder. Bei der ersten Show hat der Video-Hoster die Musik automatisch hinzugefügt. Bei der zweiten hat diese Aufgabe die Software Picasso übernommen. Wie sie funktioniert, erklärt der Forschungsgruppenleiter Sebastian Michel von der Uni Saarbrücken.
"Das Verfahren besteht aus zwei Teilen. Zum einen können wir vorberechnen, welche Inhalte die Filme haben und welche Musik zu der Zeit der Filmszenen spielt. Das ist relativ einfach. Wir nehmen dann einen beliebigen Film her oder mehrere Filme und wir schauen uns an, welcher Soundtrack hat zu einer bestimmten Zeit gespielt. Dann speichern wir ab den Soundtrack und ein Bildschirmfoto von der Szene des Films und diese Paare von Musik und Bild, die nehmen wir als sogenannte Trainingsdaten, um eben den Verweis zwischen Musik und Bildern herzustellen."
50 Filme haben sich Sebastian Michel und sein Doktorand Aleksandar Stupar angesehen und dann Szene für Szene auseinandergenommen und katalogisiert. Mit den Daten fütterten sie das Programm. Das benutzt nun die Informationen, um zu einem Foto, einem Video oder zu einem gesprochenen Text die passende Musik zu finden. Picasso vergleicht das gegebene Bild oder Video beziehungsweise die Begriffe in den Texten mit den gespeicherten Bildern aus den Filmen. Gibt es einen Treffer, dann schaut der Rechner, welche Musik spielte im Film während der entsprechenden Szene aus der das Bild stammt. Aber: Es muss natürlich ein passendes Filmbild zum Foto geben.
"Die Filme, mit denen wir trainiert haben, sind ganz normale Filme. Also was man so normalerweise auch im Fernsehen sehen könnte. Da sind keine ausgefallenen Filme dabei. Wir hatten darauf Wert gelegt, ein ganzes Spektrum abzudecken von verschiedenen Filmen, allerdings wenn die Szene noch überhaupt nicht vorkommt in keinem der Filme, die wir indexiert haben, dann ist es auch sehr schwierig, ordentliche Musik zu finden, das ist ganz klar."
Wie gut Picasso arbeitet zeigt Aleksandar Stupar. Er sitzt vor seinem Notebook. Auf dem Bildschirm sieht man eine Webseite mit einem großen Eingabefeld.
"Jetzt zeige ich das eigentliche System. Der Benutzer kann einfach ein paar Bilder hochladen. Erst mal ein paar Bilder finden … okay, hier sind zum Beispiel schöne Bilder mit Bergen."
Aleksandar Stupar öffnet ein Verzeichnis auf seinem Rechner, wählt ein paar Bilder mit Bergen und Landschaft aus und zieht sie auf das Eingabefeld. Darüber lädt er sie auf den Server.
"Die Bilder kann der Benutzer einfach per Drag-and-Drop in die Box ziehen. Der Server nimmt die dann und empfiehlt dann seine Top-Ten-Songs zu den Bildern. Insgesamt kann er aus 300 Songs wählen. Und für unser Motiv mit dem See und den Bergen hat er jetzt dieses Lied ausgewählt."
Die Nummer e der Liste ist ein ruhiger Song von Elliott Smith. Der zweitplatzierte Track stammt von Liquid Stranger und ist deutlich schneller und dynamischer.
Damit ist das System schon gut einsetzbar, aber noch nicht perfekt, sagt Sebastian Michel. Derzeit könne der Benutzer die Musik aus der eigenen Bibliothek noch nicht verwenden. Diese und eine weitere Funktion sollen aber bald fertig sein.
"Was man auch noch gerne hätte, wär dann so etwas, dass der Benutzer vielleicht spezifizieren kann, in welcher Gefühlslage er sich befindet. Also einen kleinen Hinweis geben könnte, möchte er eher etwas haben, was etwas ruhiger ist oder etwas haben, was etwas schneller ist? Das würde uns noch weiterhelfen mit der Empfehlung."
Parallel dazu arbeiten die beiden Forscher an der Verbesserung der Algorithmen und an einer App für Smartphones. Darüber soll der Anwender einfach Bilder hochladen. Anschließend bekommt er eine Empfehlung über passende Musik zurück. Wann die Applikation fertig sein wird, das steht allerdings noch nicht fest.
"Das Verfahren besteht aus zwei Teilen. Zum einen können wir vorberechnen, welche Inhalte die Filme haben und welche Musik zu der Zeit der Filmszenen spielt. Das ist relativ einfach. Wir nehmen dann einen beliebigen Film her oder mehrere Filme und wir schauen uns an, welcher Soundtrack hat zu einer bestimmten Zeit gespielt. Dann speichern wir ab den Soundtrack und ein Bildschirmfoto von der Szene des Films und diese Paare von Musik und Bild, die nehmen wir als sogenannte Trainingsdaten, um eben den Verweis zwischen Musik und Bildern herzustellen."
50 Filme haben sich Sebastian Michel und sein Doktorand Aleksandar Stupar angesehen und dann Szene für Szene auseinandergenommen und katalogisiert. Mit den Daten fütterten sie das Programm. Das benutzt nun die Informationen, um zu einem Foto, einem Video oder zu einem gesprochenen Text die passende Musik zu finden. Picasso vergleicht das gegebene Bild oder Video beziehungsweise die Begriffe in den Texten mit den gespeicherten Bildern aus den Filmen. Gibt es einen Treffer, dann schaut der Rechner, welche Musik spielte im Film während der entsprechenden Szene aus der das Bild stammt. Aber: Es muss natürlich ein passendes Filmbild zum Foto geben.
"Die Filme, mit denen wir trainiert haben, sind ganz normale Filme. Also was man so normalerweise auch im Fernsehen sehen könnte. Da sind keine ausgefallenen Filme dabei. Wir hatten darauf Wert gelegt, ein ganzes Spektrum abzudecken von verschiedenen Filmen, allerdings wenn die Szene noch überhaupt nicht vorkommt in keinem der Filme, die wir indexiert haben, dann ist es auch sehr schwierig, ordentliche Musik zu finden, das ist ganz klar."
Wie gut Picasso arbeitet zeigt Aleksandar Stupar. Er sitzt vor seinem Notebook. Auf dem Bildschirm sieht man eine Webseite mit einem großen Eingabefeld.
"Jetzt zeige ich das eigentliche System. Der Benutzer kann einfach ein paar Bilder hochladen. Erst mal ein paar Bilder finden … okay, hier sind zum Beispiel schöne Bilder mit Bergen."
Aleksandar Stupar öffnet ein Verzeichnis auf seinem Rechner, wählt ein paar Bilder mit Bergen und Landschaft aus und zieht sie auf das Eingabefeld. Darüber lädt er sie auf den Server.
"Die Bilder kann der Benutzer einfach per Drag-and-Drop in die Box ziehen. Der Server nimmt die dann und empfiehlt dann seine Top-Ten-Songs zu den Bildern. Insgesamt kann er aus 300 Songs wählen. Und für unser Motiv mit dem See und den Bergen hat er jetzt dieses Lied ausgewählt."
Die Nummer e der Liste ist ein ruhiger Song von Elliott Smith. Der zweitplatzierte Track stammt von Liquid Stranger und ist deutlich schneller und dynamischer.
Damit ist das System schon gut einsetzbar, aber noch nicht perfekt, sagt Sebastian Michel. Derzeit könne der Benutzer die Musik aus der eigenen Bibliothek noch nicht verwenden. Diese und eine weitere Funktion sollen aber bald fertig sein.
"Was man auch noch gerne hätte, wär dann so etwas, dass der Benutzer vielleicht spezifizieren kann, in welcher Gefühlslage er sich befindet. Also einen kleinen Hinweis geben könnte, möchte er eher etwas haben, was etwas ruhiger ist oder etwas haben, was etwas schneller ist? Das würde uns noch weiterhelfen mit der Empfehlung."
Parallel dazu arbeiten die beiden Forscher an der Verbesserung der Algorithmen und an einer App für Smartphones. Darüber soll der Anwender einfach Bilder hochladen. Anschließend bekommt er eine Empfehlung über passende Musik zurück. Wann die Applikation fertig sein wird, das steht allerdings noch nicht fest.