Dienstag, 23. April 2024

Archiv

KI feat. Björk
Wie klingt die Sonne?

Die Wetterlage hören, bevor man vor die Tür tritt – das kann man in der Lobby eines Hotels in New York City. Eine Künstliche Intelligenz setzt Aufnahmen vom Geschehen am Himmel in Sounds um und nutzt dazu Musik der isländischen Künstlerin Björk. Die Klangcollage kann sich nur zum Teil hören lassen.

Von Dennis Kastrup | 20.04.2020
Der Himmel über New York leuchtet farbig, gesehen vom Stadtteil Manhattan aus.
Wie klingt dieser Himmel? Eine KI versucht sich in der musikalischen Umsetzung (Jay Reeves/AP/dpa )
"Nach den Auftritten im The Shed hatte der Chor beschlossen, auf dem Dach für Björk eine Party zu schmeißen. In der Bar haben wir dann versucht, Björk davon zu überzeugen, für uns mit Künstlicher Intelligenz zu komponieren."
Anna Caradeuc ist Sprecherin des Sister City Hotels in der Bowery, im Süden von Manhattan. Bereits im vergangenen Jahr hat das Hotel zusammen mit Microsoft und der Musikerin Julianna Barwick an einer Klang-Installation gearbeitet. Jetzt wurde Björk überredet, ein ähnliches Projekt zu starten. Seit Januar hört man nun 24 Stunden lang in der Lobby das Resultat. Es sind einzelne kurze Chor-Arrangements aus ihrer 40-jährigen Karriere, die zu einer Collage zusammengesetzt werden – je nachdem, wie gerade die Wetterlage am Himmel ist. Gesteuert wird der Prozess von einem Computerprogramm, einer Künstlichen Intelligenz.
Der Klang von Wolken, Vögeln oder Regen
"Auf dem Dach des Hotels steht eine Kamera, die alles aufnimmt, was man am Himmel sehen kann. Das können Wolken, Vögel, Regen oder auch Flugzeuge sein. Diese Daten werden an die Künstliche Intelligenz von Microsoft gesendet. Das beeinflusst dann, wie die Musik in der Lobby klingt."
Doch wie klingen Sonne, Wolken oder Flugzeuge als Chorgesang? Entschieden hat das "listen", eine Firma für Sensortechnik. Die Mitarbeiter haben der Künstlichen Intelligenz gesagt, was sie mit den einzelnen Chorschnipseln tun soll. Michael Romeo ist Kreativmanager im New Yorker Büro von "listen". Er und sein Team haben täglich Nachrichten von der KI bekommen, wenn sie etwas Neues am Himmel entdeckt hat – so wie zum Beispiel Schäfchenwolken.
"Ein Mensch entscheidet am Ende, ob es sich wirklich um eine Schäfchenwolke handelt. Bei dem Machine Learning können wir die Bilder klassifizieren und etikettieren. Wenn die Künstliche Intelligenz es richtig erkannt hat, bringe ich einem neuen KI-Modell bei, wie eine Schäfchenwolke mit unserer Kamera über Manhattan aussieht."
Die Künstliche Intelligenz kann im Laufe der Zeit so immer schneller autonom das Geschehen über den Dächern New Yorks kategorisieren. Nicht nur die Form der Wolken, sondern auch ob es schneit oder wie stark der Niederschlag ist. Jedem Wetterzustand wurde zusätzlich ein kurzes Chor-Arrangement aus Björks Repertoire zugeordnet. Bei Regen erklingen die eher dissonanten Gesänge. Bei gutem Wetter hört man mehr harmonische Stimmen.
Tagsüber sehr melodische Chöre
"Die Arrangements waren sehr verschieden. Es gab Dutzende von Aufnahmen, die sehr melodisch waren und staccato arrangiert wurden. Die haben wir dann herausgenommen, gruppiert und der Sonne zugeordnet. Also hört man morgens und tagsüber in der Lobby des Sister City Hotels sehr melodische Chöre."
Ein sonniger, fast wolkenloser Himmel in New York City erklingt. Das Hotel streamt die Musik auf seiner Homepage. Wer dort reinhört, wird sich aber ein wenig wundern: Zwischen den einzelnen Gesängen gibt es Pausen mit mehreren Sekunden Stille. Das ist aber weder ein Fehler des Verbindungsaufbaus, noch ein Aussetzen der Software, sondern genau so gewollt, erklärt Michael Romeo:
"Björk hat uns gebeten, auch den Druck der Atmosphäre zu messen. Wir haben darum ein Programm zwischengeschaltet, das uns den Luftdruck übermittelt. Der Wert bestimmt dann die Dauer der Stille zwischen den Chor-Arrangements. Wir benutzen Stille also auch als ein Teil der Komposition."
Die Lobby des Sister City Hotels ist eher klein gehalten. Die Musik erklingt aus zigarettenschachtelgroßen Lautsprechern in den Ecken und vermischt sich mit den Geräuschen des Alltags. Man sieht nur die Boxen, der Rest der KI-Technik bleibt den Gästen verborgen.
Ein Soundtrack von New York City
In der Lobby gehen die Klänge der Installation wohl auch wegen der Stille leider ein bisschen unter. Umgeben von der Betriebsamkeit des Hotels nimmt man sie fast gar nicht wahr. Die Künstliche Intelligenz wird erst einmal auf unbestimmte Zeit den Himmel über dem Sister City Hotel beobachten, ihn vertonen und so am Ende ein Soundtrack von New York City sein.
"Wir haben ein paar Flugzeuge vorbeifliegen sehen und bemerkt, dass die Künstliche Intelligenz das mit einbezieht. Es ist aber nicht so, dass wir Angst davor haben, dass die KI etwas tut, was sie nicht tun soll. Die Chöre für Flugzeuge bestimmen jetzt den gesamten Klang. Es ist toll zu sehen, dass das System fast schon ein eigenes Gehirn hat und mit eigenen Kompositionen um die Ecke kommt."
Diese gewonnen Daten sollen dann helfen, mögliche neue Installationen zu verbessern. Am Ende ist also nicht unbedingt die Nutzung der Künstlichen Intelligenz als Hintergrundbeschallung interessant, sondern ihr Lernprozess selbst.