vi·son – Mixing Senses: Das Auge hört mit

Digitale Technik, Musik und die Kunst

Digitale Technik schafft neue Verhältnisse zwischen Musik und Kunst: Daten werden komprimiert und berechenbar, Qualitäten und Merkmale von Musik und Gemälden lassen sich nicht mehr nur interpretieren, sondern auch präzise analysieren. Warum nun ein Kunstprojekt, das sich diesem Verhältnis annimmt? Drei Inspirationen.

Musik und Kunst befruchten sich seit Jahrhunderten in Stil und Ästhetik, sie teilen sich sogar ähnliche Begriffe. Diese Ähnlichkeiten und gemeinsamen Grundprinzipien werden durch die digitale Technik ganz schön durcheinandergewirbelt: Bilder und Songs werden zu Dateien, Farben zu HEX-Werten, Musik wird berechenbar, künstliche Intelligenz komponiert und malt Bilder, mit Generative Art wird aus Eingangsdaten eine neue Kunst entwickelt. Soweit, so bekannt. Warum nun ein Kunstprojekt, welches sich diesem Verhältnis annimmt? Drei Gedankenanstöße und Inspirationen, die für das Projekt vi·son maßgeblich waren.

Erste Inspiration: Fallende Raketen

Dass Musik körperlich spürbare Qualitäten hat, obwohl man sie nur hören kann, wissen wir alle: Man denke nur ans Fußwippen, wenn die Lieblingsplaylist läuft. Mitunter lässt sich Musik auch visuell erfahren – zum Standardrepertoire moderner Showlichtanlagen gehört zum Beispiel der automatische “Sound-to-Light”-Modus. Eine andere visuelle Codierung von Musik nennen wir Noten und bei der Musikproduktion spielen durchaus auch Begriffe eine Rolle, die eigentlich sichtbare Dinge beschreiben, beispielsweise Schleifen (Loops) und Muster (Patterns).

Wie sieht es jedoch umgekehrt aus – wo spielt in der visuellen Kunst die Musik eine Rolle? Hier zeichnet sich zum Beispiel die Stilrichtung des Tonalismus dadurch aus, musikalische Grundbegriffe als Leitmotive für das eigene Schaffen zu nutzen. Die Künstler des Tonalismus begannen damit, Landschaften und Szenen in übergreifenden Tönen und hinter einem gleichfarbigen Schleier darzustellen. Einer der bekannteren Vertreter ist der amerikanische Künstler James Abbott McNeill Whistler. Whistler nannte viele seiner Werke “Harmonien”, “Arrangements” oder “Nokturnen”, weil er die Parallele zwischen Musik und Malerei verdeutlichen wollte. Ein Beispiel ist das Öl-Gemälde Nocturne in Black and Gold – The Falling Rocket (ca. 1875). Nokturnen wiederum bezeichnen eine bestimmte Musikform –  langsame, ruhige Stücke, wie etwa die Reverien von Liszt und Chopin, aber beispielsweise auch solche, wie Billy Joel sie in die Popmusik getragen hat. Die Nokturne als Entdeckung und Faszination der Schönheit des Nächtlichen wird so zum melancholischen Grundthema, das sich in Musik und Kunst gleichermaßen wiederfindet.

Whistler hat diese für ihn wichtigen Zusammenhänge damals zwar nur angedeutet und damit spätere Gedanken und Diskurse angeregt. Die Beziehung zwischen Musik und Kunst wurde sozial verhandelt und nicht materiell manifestiert. Doch die Idee, dass Musik und Kunst nicht zwei getrennte Welten darstellen, sondern ästhetische Berührungspunkte haben, war in der Welt. Heute wissen wir: Musik und Kunst können sich nicht nur Bezeichnungen und Themen teilen, sondern auch denselben medialen Ausspielweg. Man muss beides nur möglichst formal und standardisiert ausdrücken, zum Beispiel in binär codierten Datensätzen. Doch auch hierfür mussten zunächst Hürden genommen werden.

Zweite Inspiration: Die Mutter von MP3

Was für ein Gamechanger digitale Technik für unser Kunsterleben ist, zeigt sich an der alltäglichen Art und Weise, wie wir heute Musik hören. In unserer digitalen Gesellschaft ist Musik allgegenwärtig, der nächste Lieblingssong nur ein Fingertippen entfernt. Und doch setzt Digitalisierung der Musik ziemlich zu; damit es soweit kommen konnte, musste sie zurechtgestutzt, umgerechnet, recodiert und ins richtige Format gebracht werden. Die Musik, die heute aus unseren Kopfhörern und Lautsprechern kommt, ist meistens komprimiert, also in einem digitalen Schraubstock “zusammengepresst”. So lässt sich zumindest sehr verkürzt die Funktionsweise des MP3-Formats beschreiben, welches am Anfang der Entwicklung der heutigen Musikkultur steht. Die Technik ist natürlich viel komplizierter und funktioniert eleganter, als es in der martialischen Schilderung den Anschein hat: MP3 macht es möglich, dass man im Vergleich zum Original nur zehn Prozent des Speichers benötigt, ohne allzu große Qualitätsverluste hinnehmen zu müssen. MP3 löste so das knifflige Problem mit der Speicherkapazität und steht damit am Anfang des Siegeszugs digitaler Musikangebote in der iPod- und Streaming-Ära.

MP3 ist zu großen Teilen eine Erfindung des deutschen Fraunhofer-Instituts in Erlangen. Das Team um den Elektrotechniker Karlheinz Brandenburg biss sich jedoch zeitweise die Zähne aus an der Aufgabe, Methoden zu finden, Musik zusammenzudampfen, ohne dass wesentliche hörbare Teile verloren gehen. Ein Hauptproblem stellten dabei Gesangspassagen dar, die viel schwieriger mit einem standardisierten Regelwerk zu komprimieren waren als Instrumente. Um hier eine adäquate Lösung zu entwickeln, wurden in langwierigen Testreihen immer neue Verfahren erprobt. Testkaninchen war die damalige Popmusik, unter anderem der Song Tom’s Diner von Suzanne Vega. Und Tom’s Diner stellte sich als härteste Nuss von allen heraus: Nachdem es den Technikern gelungen war, das MP3-Format für dieses Lied zu optimieren, konnten sie auch jede andere Musikdatei in der gewünschten Qualität in MP3 konvertieren – der Durchbruch war geschafft! Dieser Meilenstein brachte Suzanne Vega den Spitznamen “Mutter des MP3” ein.¹ (Zu dieser Story und dem Thema digitaler Musikkomprimierung sei die Episode “Klangverluste” des phantastischen Podcasts “Systemfehler” von Christian Conradi ans Herz gelegt.)

Dritte Inspiration: Bach by Design

Die Geschichte von MP3 zeigt: Mit der Unterstützung digitaler Technik lässt sich mit Musik so ziemlich alles anstellen, was man möchte. So intuitiv und ungreifbar uns Musik und Kunst im Alltag auch vorkommen mögen: Bei Musikproduktion und Malerei geht es auch um das richtige Handwerkszeug und darum, ob man auf dem wortwörtlichen “state of the art” arbeitet. Hier gibt es Regeln und Prinzipien, die unter digitalen Bedingungen berechenbar werden. Meldungen über künstliche Intelligenzen, die Kunst macht, gab es in den letzten Jahren viele, zum Beispiel die Initiative Magenta des Google AI-Teams. Eine Pionierleistung solcher “Musikberechnung” ist das Projekt Bach by Design, das schon vor 40 Jahren seinen Anfang nahm. 

Mit seiner Software Experiments in Musical Intelligence (EMI) begann der Musikprofessor David Cope in den Achtzigerjahren datenbasiert Musik zu komponieren.²) Das Prinzip ist einfach: Die Software analysiert Musikdaten in der Datenbank auf wiederkehrende Muster und hervorstechende Merkmale und speichert diese als “Stil” ab. Auf Basis dieser Stil-Informationen können dann neue Stücke komponiert werden, die dem Original zum Verwechseln ähnlich klingen. EMI ist sozusagen eine Stilverarbeitungsmaschine. Mithilfe des datenbasierten Prozesses reproduzierte der professionelle Komponist Cope zunächst seinen eigenen Stil und fütterte das Programm später mit Stücken klassischer Komponisten. 1993 konnte er das vollständig mit dem Computer komponierte Album “Bach by Design” veröffentlichen. Diese Produktionsweise eröffnet schier unendliche Möglichkeiten: auf seiner Website stellt Cope 5000 EMI-Stücke im Bach-Stil zum freien Download bereit.

Denkanstöße für ein Kunstprojekt

Dies sind natürlich nicht alle Anekdoten und Phänomene, die das Team von vi·son veranlasst haben, im Rahmen des Projekts über die visuellen und sinnlichen Qualitäten von Musik und über die Wege, wie man sie sichtbar machen kann, nachzudenken. Insbesondere wäre zusätzlich das Phänomen der Synästhesie zu nennen – also das gekoppelte Erleben verschiedener Sinneseindrücke (beispielsiweise Farbe und Temperatur). Hierzu sei die Youtube-Reportage des Kanals TRU DOKU vom öffentlich rechtlichen Jugendangebot FUNK empfohlen.

Es sind diese drei Grundgedanken, die das Projekt vi·son leiten. Das ist erstens die Familienähnlichkeit und die gelegentlich aufblitzende innerliche Beziehung zwischen Musik und visuellen Kunstformen (wie Malerei), die sich – natürlich geprägt durch eine gemeinsame Geschichte – Ästhetik, Stile und Begrifflichkeiten teilen. Zweitens ist es die Faszination für digitale Technik, die solche Ähnlichkeiten in berechenbare Muster, Regeln und Prinzipien überführt. Macht das etwas mit uns, wenn Kunsterfahrung, also Hören, Sehen und Fühlen von Kunst, hauptsächlich durch digitale Technik vermittelt wird? Das muss natürlich nichts Negatives sein, im Gegenteil: Der dritte Grundgedanke ist die Frage danach, wie wir die digitalen Möglichkeiten, die das Zusammenwirken visueller und auditiver Kunst verstärken, nutzen können. Reizvoll ist die Idee, sich vom Phänomen der Synästhesie leiten zu lassen und mit interaktiven Exponaten zu versuchen, Sinneseindrücke neu abzumischen. So verdichten sich verschiedene Inspirationen über Grundgedanken zu einer Idee, die im Rahmen einer digitalen Ausstellung ab November 2020 weitergedacht werden soll.

_____________________________________________________________________________________________________________________________

vi·son wird eine audioreaktive Digitalkunst-Performance. Im Projekt werden verschiedene Phänomene rund um die multisensorische Wahrnehmung thematisiert. Dabei liegt das Hauptaugenmerk auf der Visualisierung von Musik. Im November 2020 soll eine Online-Ausstellung gestaltet werden, aus der dann im Frühjahr 2021 eine Umsetzung in der Region Rhein-Neckar und Frankfurt entsteht. Zur Projekt-Homepage geht es hier. Bis zur digitalen Ausstellungs-Eröffnung im November erscheinen in regelmäßigen Abständen kunst- und sozial-theoretische Annäherungen an das Projekt auf the ARTicle.

vi·son ist eine Kooperation zwischen den Initiativen KALANGU und Pendeloque. KALANGU ist ein Künstler-Pseudonym unter dem überwiegend musikalische Projekte entstehen. Dahinter stecken wechselnde Studio- oder Livebesetzungen. Die Lichtkunstgruppe Pendeloque setzt sich mit der Kombination von Lichtkunst mit anderen Ausdrucksformen (wie Theater, Musik oder interaktiven Medieninstallationen) auseinander. Daraus entstanden bereits verschiedene Projekte, beispielsweise die Installation Anima\S in Mannheim. vi·son soll die Kompetenzen und Leidenschaften der beiden Initiativen zusammenbringen: daher vi für den visuellen Aspekt, der hauptsächlich von Pendeloque getragen wird. Und son, das französische Wort für Klang und Ton – hier wird es exklusive Musik von KALANGU geben.

_________________________________________________________________________________________________________________________

Mehr über die inhaltliche Ausrichtung des Digitalkunst-Projekts vi·son erfährst du hier:

vi·son – Mixing Senses: Wie sieht eigentlich Musik aus?

1. Sehr schön beschrieben in diesem Artikel: https://www.zeit.de/online/2009/29/suzanne-vega-50 [↩]
2. Garcia, Chris (2015): Algorithmic Music – David Cope And Emi. https://computerhistory.org/blog/algorithmic-music-david-cope-and-emi/ (zuletzt geprüft am 10.09.2020 [↩]

---

---