Touchscreens sind praktisch. So richtig hygienisch dürfte vielen so ein Bildschirm allerdings nicht vorkommen, wenn sie im Gegenlicht die oft massenhaften Fingerabdrücke ihrer Vorgänger erkennen. Zwar dürfte dies am Fahrkartenautomaten keine wirkliche Gesundheitsgefahr mit sich bringen, doch am Universitätsklinikum Lübeck sieht man das etwas anders, denn hier kamen Mediziner auf die Idee, solche Monitore zu nutzen, um sich während einer Operation diagnostische Bilder ansehen zu können. Allerdings: Anfassen ist in diesem Bereich tabu und ein PC kann nicht sterilisiert werden.
"Die ursprüngliche Idee war, diese Technik einzusetzen in Bereichen, wo es extrem hygienisch zugehen muss, das war hier die Neurochirurgie an der Uni. Die hatten die Idee: Wir betrachten so viele Bilddaten aus CT und MRT in drei Dimensionen und wir müssen immer jemand extra da haben, der die Bilder auswählt und so hindreht, dass man sie angucken kann – warum kann der Operateur das nicht selbst machen? Allerdings kann er dabei weder eine Maus anfassen, noch irgendwie auf dem Bildschirm rumtatschen, weil die Sterilität verloren geht und so kann er das eben selbst machen ohne es berühren zu müssen und ohne es aufwendig reinigen zu müssen."
Sagt Till Kipshagen, Student im Fach Computational Life Science an der Universität Lübeck. Gemeinsam mit seinem Kommilitonen Mathis Graw entwickelte er in den vergangenen beiden Jahren die passende Lösung mit dem Namen no!touch. No!touch ermöglicht die berührungslose Maschinen- und Computersteuerung durch Gesten der Hand. Zwei Kameras erfassen die Gesten, setzen sie in Steuerungsbefehle für das Betriebssystem um – ganz so wie bei Tastatur und Maus. Preiswert ist die Lösung: Zwei gewöhnliche Webcams sind unterhalb des Bildschirmrandes angebracht und per USB mit dem PC verbunden. Das Funktionsprinzip ist einfach:
"Wir finden in beiden Kamerabildern die Fingerspitze. Und das wird dann über Verknüpfungen umgerechnet in die Entfernung von der Kamera und in eine horizontale Komponente. Und das kann man dann wiederum in Bildschirmkoordinaten umsetzen und diese an das Betriebssystem schicken."
Mathematisch bewertet wird dabei der Rand der Hand. Derzeit nutzen die beiden Studenten für ihren Prototypen im Lübecker Labor simple Kameras mit einer Bildfolge von nur 15 Bildern in der Minute. Ist der Algorithmus erst verfeinert, sind noch schnellere Kameras möglich. Bevor man mit no!touch loslegen kann, muss zunächst einmal die Hand des Benutzers erfasst werden, wie Till Kipshagen erläutert:
"Wir müssen ja die Hand später im Bild finden, damit wir sie auswerten können in beiden Bildern. Da haben wir jetzt ein Verfahren angewendet, wo wir einmal die Handfarbe kalibrieren müssen, das heißt wir halten diese jetzt da in dieses kleine Fenster und dann kann man hier erkennen, da findet er die Hand relativ gut, man erkennt: Schwarz ist Hintergrund, weiß ist Hand. Und das müssen wir dann für die andere Kamera genauso machen, und jetzt können wir den Mauszeiger steuern."
Der Algorithmus, den die beiden Studenten entwickelt haben, unterscheidet zwischen der Farbe der Hand und dem Hintergrund. Da sich Hautfarben unterscheiden und – vor allem im Bereich der ursprünglichen Idee, nämlich dem Operationssaal, Handschuhe getragen werden, muss das System vor dem Start die Handfarbe lernen – noch. Denn mit der Serienreife, die für 2010 geplant ist, soll diese kurze Kalibrierung entfallen. Derzeit arbeiten die beiden Studenten vor allem an der Verfeinerung der Bilderkennung, also an der Fähigkeit der Software, Hand und Hintergrund noch rascher voneinander zu unterscheiden. Mathis Graw:
"Das Wichtigste, mit dem wir uns am meisten befasst haben, ist eben die Segmentierung. Das heißt, wirklich die Erkennung der Hand im Kamerabild, und das auch bei schwierigeren Hintergründen, bei dynamischen Hintergründen, wenn sich die Beleuchtung ändert, wenn eventuell etwas durchs Bild fliegt, das eben umzusetzen war bisher das Schwierigste, da haben wir jetzt eine ganz gute Lösung, die muss aber trotzdem auch noch weiterhin verbessert werden."
Sämtliche Gesten sind als Bewegungsmuster in einer Datenbank hinterlegt. Erkennt no!touch die Geste richtig, setzt es den Steuerungsbefehl um und öffnet oder schließt Fenster, ganz wie mit einer Maus. Die Idee von no!touch richtet sich aber nicht nur an Hersteller von Medizintechnik. Auch ein großes Unternehmen der Außenwerbung ist schon an die beiden Studenten herangetreten, die im Jahr 2010 ihre Idee selbst vermarkten wollen. Der Anwendungsbereich ist groß, sagt Mathis Graw:
"Die Touchscreens werden immer größer heutzutage. Und es gibt auch Technologien, die diese Größe bedienen können. Aber umso größer die Touchscreens werden, umso teurer wird diese ganze Technologie. Und unser Vorteil ist, dass wir auch sehr große Touchscreens mit unserer Technologie steuern und bedienen können und das auch zu einem geringeren Preis, weil der gleich bleibt: Wir brauchen zwei Kameras und einen PC und den Screen und das war’s!"
Info-Terminals mit no!touch brauchen auch keine berührungsempfindliche Folie wie heutige Touchscreens. Die gleiche Leuchtleistung wird also mit weniger Energie erreicht. Mit no!touch können zudem auch körperlich eingeschränkte Personen Infoterminals leichter nutzen.
"Die ursprüngliche Idee war, diese Technik einzusetzen in Bereichen, wo es extrem hygienisch zugehen muss, das war hier die Neurochirurgie an der Uni. Die hatten die Idee: Wir betrachten so viele Bilddaten aus CT und MRT in drei Dimensionen und wir müssen immer jemand extra da haben, der die Bilder auswählt und so hindreht, dass man sie angucken kann – warum kann der Operateur das nicht selbst machen? Allerdings kann er dabei weder eine Maus anfassen, noch irgendwie auf dem Bildschirm rumtatschen, weil die Sterilität verloren geht und so kann er das eben selbst machen ohne es berühren zu müssen und ohne es aufwendig reinigen zu müssen."
Sagt Till Kipshagen, Student im Fach Computational Life Science an der Universität Lübeck. Gemeinsam mit seinem Kommilitonen Mathis Graw entwickelte er in den vergangenen beiden Jahren die passende Lösung mit dem Namen no!touch. No!touch ermöglicht die berührungslose Maschinen- und Computersteuerung durch Gesten der Hand. Zwei Kameras erfassen die Gesten, setzen sie in Steuerungsbefehle für das Betriebssystem um – ganz so wie bei Tastatur und Maus. Preiswert ist die Lösung: Zwei gewöhnliche Webcams sind unterhalb des Bildschirmrandes angebracht und per USB mit dem PC verbunden. Das Funktionsprinzip ist einfach:
"Wir finden in beiden Kamerabildern die Fingerspitze. Und das wird dann über Verknüpfungen umgerechnet in die Entfernung von der Kamera und in eine horizontale Komponente. Und das kann man dann wiederum in Bildschirmkoordinaten umsetzen und diese an das Betriebssystem schicken."
Mathematisch bewertet wird dabei der Rand der Hand. Derzeit nutzen die beiden Studenten für ihren Prototypen im Lübecker Labor simple Kameras mit einer Bildfolge von nur 15 Bildern in der Minute. Ist der Algorithmus erst verfeinert, sind noch schnellere Kameras möglich. Bevor man mit no!touch loslegen kann, muss zunächst einmal die Hand des Benutzers erfasst werden, wie Till Kipshagen erläutert:
"Wir müssen ja die Hand später im Bild finden, damit wir sie auswerten können in beiden Bildern. Da haben wir jetzt ein Verfahren angewendet, wo wir einmal die Handfarbe kalibrieren müssen, das heißt wir halten diese jetzt da in dieses kleine Fenster und dann kann man hier erkennen, da findet er die Hand relativ gut, man erkennt: Schwarz ist Hintergrund, weiß ist Hand. Und das müssen wir dann für die andere Kamera genauso machen, und jetzt können wir den Mauszeiger steuern."
Der Algorithmus, den die beiden Studenten entwickelt haben, unterscheidet zwischen der Farbe der Hand und dem Hintergrund. Da sich Hautfarben unterscheiden und – vor allem im Bereich der ursprünglichen Idee, nämlich dem Operationssaal, Handschuhe getragen werden, muss das System vor dem Start die Handfarbe lernen – noch. Denn mit der Serienreife, die für 2010 geplant ist, soll diese kurze Kalibrierung entfallen. Derzeit arbeiten die beiden Studenten vor allem an der Verfeinerung der Bilderkennung, also an der Fähigkeit der Software, Hand und Hintergrund noch rascher voneinander zu unterscheiden. Mathis Graw:
"Das Wichtigste, mit dem wir uns am meisten befasst haben, ist eben die Segmentierung. Das heißt, wirklich die Erkennung der Hand im Kamerabild, und das auch bei schwierigeren Hintergründen, bei dynamischen Hintergründen, wenn sich die Beleuchtung ändert, wenn eventuell etwas durchs Bild fliegt, das eben umzusetzen war bisher das Schwierigste, da haben wir jetzt eine ganz gute Lösung, die muss aber trotzdem auch noch weiterhin verbessert werden."
Sämtliche Gesten sind als Bewegungsmuster in einer Datenbank hinterlegt. Erkennt no!touch die Geste richtig, setzt es den Steuerungsbefehl um und öffnet oder schließt Fenster, ganz wie mit einer Maus. Die Idee von no!touch richtet sich aber nicht nur an Hersteller von Medizintechnik. Auch ein großes Unternehmen der Außenwerbung ist schon an die beiden Studenten herangetreten, die im Jahr 2010 ihre Idee selbst vermarkten wollen. Der Anwendungsbereich ist groß, sagt Mathis Graw:
"Die Touchscreens werden immer größer heutzutage. Und es gibt auch Technologien, die diese Größe bedienen können. Aber umso größer die Touchscreens werden, umso teurer wird diese ganze Technologie. Und unser Vorteil ist, dass wir auch sehr große Touchscreens mit unserer Technologie steuern und bedienen können und das auch zu einem geringeren Preis, weil der gleich bleibt: Wir brauchen zwei Kameras und einen PC und den Screen und das war’s!"
Info-Terminals mit no!touch brauchen auch keine berührungsempfindliche Folie wie heutige Touchscreens. Die gleiche Leuchtleistung wird also mit weniger Energie erreicht. Mit no!touch können zudem auch körperlich eingeschränkte Personen Infoterminals leichter nutzen.