Musizierende Amöben

Die digitale Bildverarbeitung erobert auch außerhalb der klassischen industriellen Applikation zunehmend neue Anwendungsgebiete – selbst im künstlerischen Bereich, wie ein experimentelles Musikinstrument beweist.

Die digitale Bildverarbeitung erobert auch außerhalb der klassischen industriellen Applikation zunehmend neue Anwendungsgebiete – selbst im künstlerischen Bereich, wie ein experimentelles Musikinstrument beweist.

Der Rezepte-Tisch

Der Reactable ist eine der möglichen Applikationen der Software Reactivision: Mit unterschiedlichen Client-Anwendungen ließen sich auch andere Applikationen als Musik-Erzeugung über eine ähnliche Tischoberfläche steuern. Ein Beispiel dafür liefern Design-Studenten der Kunstuniversität Linz (Österreich) mit dem Recipe-Table. Der Prototyp für einen Küchentisch der Zukunft erkennt mit Hilfe des Bildverarbeitungssystems die auf dem Tisch befindlichen Lebensmittel und schlägt je nach Zutatenkombination ein passendes Rezept vor.

Nähere Informationen:
www.recipetable.net.

Das elektronische Musikinstrument – der „Reactable“ – ist ein Synthesizer, der von einer Forschergruppe der Pompeu-Fabra-Universität in Barcelona konzipiert wurde und für die Bedienung auf digitale Bildverarbeitung setzt. Der Reactable sieht aus wie ein leuchtender, runder Stehtisch mit einem Durchmesser von etwa 1 m und einer Glasplatte. Die Interaktion zwischen Musiker und Instrument erfolgt intuitiv über die glatte Oberfläche des Tisches. Auf ihr positioniert der Künstler verschiedene Plexiglas-Objekte in Relation zueinander und bewegt sie – ohne Knopf, Schalter oder Tasten.

Je nach geometrischer Form erfüllen diese Objekte unterschiedliche Funktionen: So generieren zum Beispiel quadratische Elemente Grundtöne, während abgerundete Rechtecke Tonfilter darstellen, die die Grundtöne modulieren. Während das Symbol auf dem gewählten Element die Art des Grundtons beziehungsweise des Filters bestimmt, definiert die Position der Objekte zueinander, inwiefern ein Element das andere beeinflusst. Aufgrund ihrer Form, die an einzellige Lebewesen erinnert, erhielten die Symbole von den Forschern den Spitznamen „Amöbe“.

Um die Bedienbarkeit des Instruments zu erleichtern, projiziert der Reactable Markierungen auf der Tischoberfläche. Diese liefern dem Musiker nicht nur eine Rückmeldung, dass das Objekt tatsächlich vom System erfasst wurde, sondern geben weitere Informationen zum Status des generierten Tons und seiner Interaktion mit den Nachbar-Objekten. So kann der Künstler sowohl die Verbindungen als auch die erstellten Tonwellen in grafischer Darstellung dynamisch auf dem Tisch sehen. Der Clou dabei: Er kann einzelne Tonparameter verändern, indem er die projizierten Informationen mit dem Finger berührt.

Aus Bildern werden Töne

Seine einfache Bedienbarkeit verdankt der Reactable der zugrundeliegenden Bildverarbeitungslösung: Eine Digitalkamera von Allied Vision Technologies überwacht das Geschehen auf dem Tisch von unten durch die Glasplatte. Das speziell entwickelte Bildverarbeitungssystem „Reactivision“ analysiert die aufgenommenen Bilder und leitet aus der Position der Objekte die entsprechenden Ton-Informationen ab. Diese werden anschließend als Audiosignal zu Lautsprechern übermittelt und in grafischer Darstellung auf die Tischplatte rückprojiziert.

Reactivision ist eine Open-Source-Anwendung. Die Bildverarbeitungssoftware wurde in Portable C++ programmiert und kann unter den drei Betriebssystemen Windows, Mac OS X und Linux eingesetzt werden. Das Programm erfasst die Bilder über eine Digitalkamera, durchsucht den Video-Stream Bild für Bild nach bekannten Symbolen und überträgt die Informationen zu allen ermittelten Symbolen an eine Client-Anwendung, die diese in musikalische Informationen umwandelt. Das hierzu speziell entwickelte Kommunikationsprotokoll namens TUIO codiert und überträgt für jedes Symbol die Anwesenheit im Bild (ja/nein), die Position im zweidimensionalen Raster sowie den Rotationswinkel.

Zu Beginn des Projektes standen neben der Bildverarbeitung alternative Technologien wie Ultraschall und RFID zur Diskussion, um die Position der Steuerungsobjekte auf der Tischplatte zu ermitteln. Allerdings war schnell klar, dass die Lösung auf die digitale Bildverarbeitung setzen würde, denn: Die alternativen Technologien können zwar die Position von Elementen in einem zweidimensionalen Raster ermitteln, müssen aber bei deren Orientierung passen. Gerade dies sieht aber das Reactable-Konzept vor: Das System ermittelt nicht nur die relative Position der Objekte auf der Tischoberfläche, sondern erfasst und interpretiert auch die Rotation eines jeden Objekts um die eigene Achse. Wird ein Element nicht bewegt, sondern auf der Stelle gedreht, verändert sich der generierte Ton in Relation zum Rotationswinkel. Dies eröffnet ein unendliches Spektrum musikalischer Modulationen und Nuancen.