Dienstag, 21.08.2018
 
Seit 10:10 Uhr Sprechstunde
StartseiteForschung aktuellEin Bild sucht mehr als tausend Worte20.06.2016

Videos automatisch durchforstenEin Bild sucht mehr als tausend Worte

Smartphone-Kameras sind immer dabei und es wird ständig geknipst und gefilmt. Doch wie findet man später ein Video wieder, wenn man sich nur noch an das Motiv erinnert, nicht aber daran, wann und wo es aufgenommen wurde? Forscher der Uni Basel haben eine Bild- und Videosuche entwickelt, die dieses Problem lösen soll – mithilfe von Skizzen.

Von Jennifer Rieger

Viele Menschen nutzen das Smartphone, um sich Videos anzuschauen (dpa/picture alliance/Kyodo)
Viele Menschen nutzen das Smartphone, um sich Videos anzuschauen (dpa/picture alliance/Kyodo)
  • E-Mail
  • Teilen
  • Tweet
  • Drucken
  • Podcast

"Ich fang an, einfach einen grünen Hintergrund zu zeichnen ... "

Heiko Schuldt steht an einem großen Touch-Bildschirm und malt ein Kästchen mit einem elektronischen Stift grün aus. Darauf zeichnet er einen blauen und einen violetten Kreis. Er ist auf der Suche nach einer bestimmten Videosequenz.

"Ein kleiner Cartoon mit zwei grellbunten Monstern vor grünem Hintergrund. Die Details kenne ich nicht mehr so genau, ich versuche trotzdem, annähernd zu skizzieren. Starte jetzt die Suche und bekomme die Ergebnisse der ähnlichsten Treffer. Wenn es jetzt gleich angezeigt wird, ist es tatsächlich die Sequenz, die wir wollten."

Schuldt ist Professor für Computerwissenschaften an der Fakultät für Mathematik und Informatik der Universität Basel. Gemeinsam mit seinen Doktoranden Luca Rossetto und Ivan Giangreco hat er eine Bild- und Videosuche namens vitrivr entwickelt.

"Die meisten Videoportale, die man kennt, die haben hauptsächlich eine Schlagwortsuche, wo man nur mit textuellen Begriffen suchen kann."

Der Nachteil: Solche Videoportale sind nur durchsuchbar, wenn den Filmsequenzen vorher von Hand Schlagworte zugeordnet wurden. Das Open Source-System vitrivr soll Abhilfe schaffen. Statt Suchbegriffe einzugeben, skizziert der Nutzer die gewünschte Szene auf einem Grafik-Tablet.

"Die skizzenbasierte Suche ist nicht neu, das haben wir nicht neu erfunden."

Die Segmentierung macht quasi den Schneideprozess des Videos rückgängig

Doch die Basler Informatiker versuchen, die Suche vor allem für Videosequenzen zu optimieren, indem sie den Nutzern möglichst viele Werkzeuge zur Verfügung stellen. Man kann anhand von Farb- oder Linieninformationen suchen, aber auch Bewegung über mehrere Frames lässt sich mithilfe von Pfeilen skizzieren. Bevor eine Videosammlung durchsuchbar ist, bedarf es allerdings einer gewissen Vorarbeit.

"Es gibt spezielle Algorithmen, die Bild für Bild analysieren und letzten Endes wird jedes Bild in einem Vektor dargestellt."

Diese Vektoren enthalten alle relevanten grafischen Informationen und werden automatisch als Metadaten in einer Datenbank gespeichert. Zusätzlich zerteilt der Algorithmus die Videos, so dass sich alle Frames innerhalb einer Sequenz ähneln, erklärt Doktorand Luca Rossetto:

"Was die Segmentierung macht, ist im Grunde, den Schneideprozess des Videos rückgängig zu machen. Es versucht zu erkennen, wo gab es einen Schnitt oder wo wurde die Kamera so stark bewegt, dass es sich lohnt, das als separate Sequenz zu betrachten, und die werden dann komplett unabhängig voneinander vom System verarbeitet. Und je mehr Videos im System sind und je öfter pro Video geschnitten wurde und je stärker man mit der Kamera wedelt, desto mehr Sequenzen sind in der Datenbank."

Prinzipiell sei vitrivr für alle größeren Sammlungen von Multimediaobjekten geeignet, sagt Heiko Schuldt.

"Das kann die private Bild- und Videokollektion zu Hause sein, die man damit durchsuchbar macht, das können professionelle Bild-Videokollektionen in Archiven sein und es können eben auch ganz spezielle Anwendungen sein. Die Palette ist ziemlich reichhaltig."

Die Videosuche hat ihre Grenzen, zum Beispiel, wenn die Skizze nicht ganz so gelungen ist. Beim ersten Versuch zeigt vitrivr zunächst andere Videos mit grünem Hintergrund, den gewünschten Cartoon findet es erst beim zweiten Anlauf. In solchen Fällen lässt sich die Suche in mehreren Schritten verfeinern. Doch auch die Größe des Datensatzes spielt eine wichtige Rolle:

"Die größte Problematik ist natürlich immer, dass mit zunehmender Größe des Datensatzes eigentlich alle Probleme, die man versucht zu lösen, schwieriger werden. Zum einen die Präzision der Ergebnisse nimmt natürlich ab, wenn die Kollektion groß genug ist, weil ein ungenauer Sketch von etwas, an das man sich erinnert, kann dann plötzlich viel besser passen auf ein Resultat, das man gar nicht haben wollte."

Zum anderen wird die skizzenbasierte Datenbanksuche immer langsamer, je mehr Daten durchkämmt werden müssen. Die gigantischen Datenbanken des World Wide Web wird vitrivr also vorerst nicht durchforsten können. Doch die Basler Informatiker arbeiten daran, die Suche noch weiter zu verbessern – zum Beispiel sollen Nutzer künftig auch anhand von Audioinformation suchen können.

Das könnte sie auch interessieren

Entdecken Sie den Deutschlandfunk