Keine Zukunftsmusik

Das Elektroinstrument Reactable, von Forschern der Universität Pompeu Fabra (Barcelona) entwickelt, verwandelt Bilder in Töne.

Die Pompeu Fabra Universität wurde 1990 von der katalanischen Provinzregierung gegründet mit dem Ziel, das Hochschulsystem Kataloniens zu modernisieren und eine neue Eliteuniversität im Herzen der katalonischen Hauptstadt zu etablieren. Die Universität konzentriert sich auf die Fachrichtungen Sozialwissenschaft, Biomedizin, Media und Kommunikation. Heute studieren knapp 10.000 Studenten an der Pompeu Fabra Universität.
Die Music Technology Group (MTG) entstand im Audiovisuellen Institut der Abteilung Informations- und Kommunikationstechnologie der Universität und hat sich auf Computergenerierte Audiosignale und Musik spezialisiert. Mit mehr als 40 Forschern aus unterschiedlichen und komplementären Fachrichtungen erforscht die MTG Themen wie Tonverarbeitung und –Synthese, Analyse, Beschreibung und Verarbeitung von Musik, interaktive Musiksysteme oder Computer-basierte Modellierung der Musikwahrnehmung.

Ziel der MTG ist es, einen Beitrag zum technischen Fortschritt im Bereich Audio- und Musik-Kommunikation zu leisten, indem Forschungsprojekte auf internationaler Ebene durchgeführt werden und deren Ergebnisse in die Öffentlichkeit übermittelt werden. Hierzu bemüht sich die MTG, eine Balance zwischen grundsätzlicher und praxisorientierter Forschung zu wahren und fördert interdisziplinäre Projekte, die wissenschaftliches und technisches Know-how mit geisteswissenschaftlicher und künstlerischer Expertise zusammenführen.

Der Reactable: ein Tisch als Musikinstrument

Selbst im künstlerischen Bereich eröffnet digitale Bildverarbeitung unbegrenzte Möglichkeiten. Dies beweist das experimentelle Musikinstrument Reactable, von Forschern der MTG mit Kameras von Allied Vision Technologies entwickelt.

Der Reactable sieht aus wie ein leuchtender, runder Stehtisch mit ca. 1 m Durchmesser und einer Glasplatte. Zur Steuerung des Reactables werden verschiedene Plexiglas-Objekte auf den Tisch platziert, zueinander geordnet und bewegt. Je nach geometrischer Form erfüllen diese Objekte unterschiedliche Funktionen. So generieren zum Beispiel quadratische Elemente Grundtöne, während Rundecken Tonfilter darstellen, die diese Grundtöne modulieren. Das Symbol auf dem gewählten Element legt dann die Art des Grundtons bzw. des Filters fest, während die Position der Objekte zueinander den Einfluss eines Elements auf das andere bestimmt. Für den Reactable wurde eine spezielle Symbolsammlung konzipiert, die die Systemanforderungen für eine leichte Erkennbarkeit und schnelle Bearbeitung erfüllen. Aufgrund ihrer biologischen Form, die an die einzelligen Wesen erinnert, erhielten sie von den Forschern den Spitznamen „Amöbe“.

Um die Bedienbarkeit des Instruments zu erleichtern, projiziert der Reactable auf der Tischoberfläche Markierungen. Diese liefern dem Musiker nicht nur eine Rückmeldung, dass das Objekt tatsächlich von dem System erfasst wurde, sondern geben weitere Informationen zum Status des generierten Tons und seiner Interaktion mit den Nachbarobjekten. So kann der Künstler die Verbindungen und die erstellten Tonwellen in graphischer Darstellung dynamisch auf dem Tisch sehen. Der Clou: er kann einzelne Tonparameter verändern, indem er die projizierten Informationen mit dem Finger berührt.

Digitale Bildverarbeitung verwandelt Bilder in Töne

Dass der Reactable so leicht und spielerisch zu bedienen ist, verdankt er einer anspruchsvollen Bildverarbeitung: Eine Guppy F-046B Digitalkamera von Allied Vision Technologies überwacht das Geschehen auf dem Tisch von unten durch die Glasplatte. Das speziell entwickelte Bildverarbeitungssystem ReacTIVision analysiert die Bilder und leitet aus der Position der Objekte die entsprechenden Toninformationen ab. Diese werden anschließend als Audiosignal zu Lautsprechern übermittelt und in graphischer Darstellung auf die Tischplatte rückprojiziert.

Die Anforderungen

Um die Position der Steuerungsobjekte auf der Tischplatte zu ermitteln, standen für dieses Projekt alternative Technologien zur Auswahl – etwa Ultraschall oder RFID. Digitale Bildverarbeitung setzte sich aber durch, weil diese Technologie erhebliche Vorteile bietet, erklärt Sergi Jordà, Leiter des Projekts an der Pompeu Fabra Universität Barcelona: „Mit einer Kamera können wir bei gleichbleibender Bandbreite die ganze Spieloberfläche erfassen und verarbeiten – egal, wie viele Objekte sich auf dem Tisch befinden. Außerdem kann eine Bildverarbeitung nicht nur die Position der Objekte sondern auch ihre Orientierung (Drehung) ermitteln und die Bewegung des Fingers des Menschen auf der Tischplatte erkennen. Somit bietet die optische Lösung viel mehr Einstellungs- und Nuancierungsmöglichkeiten als Alternativtechnologien und setzt der musikalischen Kreativität nahezu keine Grenzen“.

Schnell und zuverlässig: FireWire Digitalkameras von Allied Vision Technologies
Kritisch bei der Umsetzung waren die Bildübertragungs- und Verarbeitungsgeschwindigkeit sowie die Empfindlichkeit der Kamera für die Umgebungslichtverhältnisse. Das Instrument muss ja blitzschnell auf Befehle des Musikers reagieren, vor allem wenn es mit einer Band synchron spielen soll. „Mit den digitalen FireWire-Kameras von Allied Vision Technologies steht uns mit über 60 Frames pro Sekunde eine hohe Datenrate zur Verfügung, die die kurze Reaktionszeit eines Musikinstruments möglich macht“, so Jordà. Extrem wichtig ist ebenfalls die Stabilität und Zuverlässigkeit des Systems: ein Ausfall ist bei einem Konzert eines Weltstars wie Björk ausgeschlossen. „Auch in Punkto Ausdauer und Stabilität überzeugen die AVT-Kameras“, freut sich der Forscher. Um die Empfindlichkeit vom Umgebungslicht zu dämpfen arbeitet die AVT-Kamera im Near-Infrared-Bereich (NIR). Hierzu wird eine spezielle LED-Beleuchtung im Zusammenspiel mit einem Filter an der Kamera eingesetzt.

Einsatz in der Praxis
Der Reactable wird zwar noch nicht in Serie produziert, die aktuellen Prototypen haben aber bewiesen, dass das System auch in einem Live-Konzert zuverlässig funktioniert. Als erste namhafte Kundin erwarb Weltstar Björk ein Exemplar für die Welttournee ihres Albums „Volta“. Somit kann nicht nur ein breites Publikum die Musik des Reactables kennenlernen; die technische Zuverlässigkeit des Systems wird auch auf eine harte Probe gestellt. Die Volta Tour 2007 mit dem Reactable sieht Konzerte u. a. in Amsterdam, Barcelona, Baton Rouge, Brüssel, Bukarest, Lissabon, Madrid, Mailand, New-York und Rom vor. Ziel der Erfinder ist es, die öffentliche Aufmerksamkeit zu nutzen, um das innovative Instrument zu vermarkten und in Serie zu produzieren.