vi·son – Mixing Senses: Wie sieht eigentlich Musik aus?

Multisensorisches Musikerleben in der digitalen Gesellschaft

Nehmen wir Musik nur mit unseren Ohren wahr oder können wir sie auch sehen und fühlen? Das Digitalkunst-Projekt “vi·son” macht mit Hilfe von Creative Coding Musik sichtbar und stellt sich dabei die Frage, was geschieht, wenn Wahrnehmungsweisen vermischt werden.

Wie sieht Musik aus? Im ersten Augenblick mag diese Frage verwirren, denn Musik ist erst einmal nicht dafür gemacht, irgendwie auszusehen. Sie soll sich vor allem nach etwas anhören. Man könnte diese Frage also einfach als Verfehlung abtun – oder aber ernsthaft darüber nachdenken und mit Ideen aufwarten, wie etwa Notenblätter, Musikvideos und Albencover. Das wären schon einmal gute Antworten, denn diese repräsentieren Musik in einer visuellen Form. Oder aber man könnte weitergehen und fragen: Wie sieht Musik wirklich aus? Welche Farbe hat sie, welche Form, ist sie groß oder klein? Natürlich ist das schwer zu fassen, denn Ohren können nicht sehen und Augen nicht hören. Und trotzdem können wir mit Musik ausgeklügelte visuelle Symbolsysteme (Noten) und ästhetische Bilder (Albencover) verbinden. Ein erstes Indiz: Musik kann anscheinend doch irgendwie aussehen.

Sieht so Musik aus? Eines der berühmtesten Albencover der Musikgeschichte: Nirvana – Nevermind (1991).

Bleibt man an der Frage dran, stößt man auf ein lästiges Problem: unsere Sinne. Einerseits sind Sinne hochpräzise Instrumente, wortwörtlich Sensoren, die jeweils eine Sache besonders gut können. Aber eben nur diese eine. Sinneswahrnehmung wird dann besonders intensiv, wenn mehrere Sinne zusammenkommen; beispielsweise beim Restaurantbesuch. Das Auge isst eben mit, hier riecht, schmeckt, hört und fühlt man in vollen Zügen. Andererseits kennen wir Situationen, in denen wir uns nicht auf diese Instrumente verlassen möchten. Sinne können uns täuschen und überraschen, sie können versagen, uns im Stich lassen. Sie ermüden schnell, können aber dennoch keine Pause machen. Sinne strukturieren ununterbrochen unseren Zugang zur Umwelt, unsere Wahrnehmung. Sinne arbeiten zusammen, zumindest häufig. Aber jeder Sinn für sich allein lässt nur eine Wahrnehmungsdimension zu. Oder?

Eine Verdichtung von Emotionen

Eine Frage, die mit “Wie sieht Musik aus?” verwandt ist, lautet: Wie fühlt sich Musik an? Das lässt sich leichter beantworten. Sogar, wenn man fühlen streng als Ertasten versteht und weniger als emotionales Empfinden. Man könnte sagen, dass es Weisen gibt, Musik zu hören, die stets alle (oder zumindest mehrere) Sinne ansprechen: das Open-Air-Konzert etwa reißt uns körperlich mit, es ist heiß und auf der Bühne passiert etwas; die Schallplatte ist ein schönes Objekt mit besonderer Haptik, mit dem man behutsam umgehen muss. Bei anderen Weisen ist das nicht so eindeutig. Digitales Musikhören begnügt sich zum Beispiel oftmals mit dem schnöden Doppelklick auf ein Item in einer Tabelle. Mit intelligenten Lautsprechern, etwa KI-Assistenten wie Amazon Echo mit Alexa, ist sogar nicht einmal mehr ein Display als visuelles Interface nötig. Musikhören wird zum reinen Audio-Erlebnis, der Austausch von Schallwellen („Alexa, spiel Jazz!“). Musik wird auf sich selbst reduziert.

Eine visuelle Repräsentation von Musik: Franz Liszts Klaviersolo-Partitur für Beethovens 7 Symphonie in A-Dur, Opus 92.

Das ist erstmal nicht weiter schlimm, denn auch Musik selbst lässt sich schon als das Ergebnis einer Reduktion verstehen. Musik nämlich ist eine Methode Emotionen oder Stimmungen zu codieren und zu kommunizieren. Bei dieser Codierung gehen jedoch Teile verloren, Aspekte werden akzentuiert, andere vernachlässigt. Musik fühlt sich nicht exakt so an wie Gefühle. Die mehrdimensionale Emotion wird durch Musik auf eine Ebene (Audio) verdichtet. Doch trotz der digital-kodierenden Verdichtung (oder gerade deswegen?) ist Musikhören weiterhin ein sehr intensives Erlebnis. Woran könnte das liegen?

Phänomenologische Melodien

Der Philosoph Edmund Husserl beschreibt in seiner Schrift Zur Phänomenologie des inneren Zeitbewusstseins das Hören einer Melodie als Abfolge von Einzeleindrücken: Wenn der zweite Ton der Melodie erklingt, dann hören wir den ersten schon nicht mehr. Wir nehmen nur den gegenwärtigen Ton wahr, das jeweilige Tonjetzt; der Klang der vorangegangenen Töne ist eigentlich nur Erinnerung. 1

Diese Beschreibung veranlasst den Soziologen Armin Nassehi zu der Feststellung:

Was Husserl hier beschreibt, ist die Tatsache, dass […] das jeweilige Tonjetzt in seiner konkreten […] physikalischen Gestalt, weder Ton noch Melodie ist und letztlich keine Bedeutung hat. Diese wird ihm erst durch das wahrnehmende […] Bewusstsein gegeben.2

Die Melodie, oder genauer die Musik selbst, ist so etwas wie eine Aneinanderreihung von Daten, die darauf angewiesen ist, verarbeitet zu werden. Wir, als Hörende, prozessieren die Musik. Wir machen aus ihr ein Erleben. Wir hören die Musik, aber fühlen sie auch, können Situationen, Eindrücke und Bilder mit ihr assoziieren. Unter Umständen fühlen wir Musik und können das Gefühl auch beschreiben. Das ist dann aber nicht mehr das, was zuvor im Ohr angekommen ist. So lässt sich nicht nur Musikhören verstehen, sondern die gesamte Sinneswahrnehmung. Nochmal Nassehi: „Das Gehirn verarbeitet letztlich keine analogen Informationen, keine Abbildungen eines Außen, sondern selbst erzeugte innere Erregungszustände”.3

Sichtbarer Klang: Guido Schmidt (vi·son): Sound Data Sculpture v1-2020.05.23.14.35. (2020)

Re-Mix der Wahrnehmung

Die bisherigen Überlegungen zur Frage „Wie sieht Musik aus?” zeigen zwei Dinge: Unsere sinnliche Wahrnehmung, wie das Musikhören, ist vielleicht gar nicht so verschieden von der Datenverarbeitung digitaler Technik. Und: Möglicherweise sind unsere Sinne gar nicht so sehr voneinander getrennt, wie es manchmal den Anschein hat. Dieses vermischende Nebeneinander der Verarbeitung visueller, auditiver und emotionaler Reize durch Mensch und Maschine will das Projekt vi·son aufgreifen, thematisieren und erkunden.

Dabei sollen digitale und physische Exponate entstehen, die einerseits rein datenbasierte, aber auch offene, assoziativ geprägte Zugänge ermöglichen. Was passiert beispielsweise, wenn wir unsere multisensorische Wahrnehmung nicht mehr nur als alltägliches Wahrnehmungsmuster betrachten – wir sehen, hören und riechen Dinge eben gleichzeitig – sondern die Vielfalt der Wahrnehmung als aktive Verarbeitung, als Mix unserer Sinne verstehen? Digitale Datenverarbeitung macht es möglich, sinnliche Erlebnisse wie Musikhören in seine Einzelbestandteile aufzuspalten – und dann wieder neu abzumischen. Die Idee des Mix entlehnt das Projekt hierbei der professionellen Musikproduktion. Wikipedia schreibt dazu:

(Audio) mixing is the process by which multiple sounds are combined into one or more channels. In the process, a source’s volume level, frequency content, dynamics, and panoramic position are manipulated or enhanced. This practical, aesthetic, or otherwise creative treatment is done in order to produce a finished version that is appealing to listeners.4

Stellen wir uns unsere verarbeitende Wahrnehmung mit Blick auf Husserls Phänomenologie als Abmischung unterschiedlicher Spuren vor. Sie erzeugen eine gemeinsame Wirkung, gehen ineinander über und setzen sich voneinander ab. Ein seltsames aber durch und durch ästhetisches Verhältnis, welches unsere Wahrnehmung der Welt erzeugt und spannende Phänomene mit sich bringt. Ein inspirierendes Beispiel heißt Synästhesie: Eine Synästhesie ist die gleichzeitige Wahrnehmung mehrerer Sinnesmodalitäten. Bei Menschen, die diese Eigenschaft besitzen, haben Töne beispielsweise bestimmte Farben, Geschmack eine Form und Buchstaben können eine Position im umgebenden Raum einnehmen. Synästhesien sind der Re-Mix unter den Sinneswahrnehmungen.

Zwischen Creative Coding, Popmusik und Sozialwissenschaft

In diesem Themenfeld konzentriert sich das Projekt vi·son auf die kreative Visualisierung von Musik. Visualisierung bedeutet hier: der Einsatz digitaler Mittel, die Musik sichtbar machen. vi·son verfolgt das Ziel, den „eindimensionalen” Code der Musik wieder aufzufächern – und uns der Frage nach dem Aussehen der Musik kreativ zu nähern. Weniger abstrakt ausgedrückt: Das Projekt fragt danach, was Menschen tun, sehen und fühlen, wenn sie etwas Bestimmtes hören – und umgekehrt. An der Schnittstelle zwischen Creative Coding, elektronischer Musik sowie Kultur- und Sozialwissenschaft sollen auf dieser Basis ästhetische und inspirierende multisensorische Darstellungsweisen von Klang und Emotion entwickelt und ausprobiert werden.

Sichtbarer Klang: Guido Schmidt (vi·son): Sound Data Sculpture v2-2020.05.23.13.20. (2020)

Methoden zur Musikvisualisierung gibt es einige – entsprechend beeindruckend sind Beispiele, die sich im Netz finden lassen (eine entsprechende Youtube-Playlist findet ihr hier). Neben dem ästhetischen Erlebnis, welches gängige Visualisierungen mit Licht-, Video- und Tricktechnik ohnehin bieten, wollen soll der Ansatz von vi·son tiefer gehen, herausfordern, überraschen und verblüffen. Ziel ist es, nicht nur implizit, sondern aktiv Wahrnehmung abzumischen (daher: mixing senses!) und damit das Verhältnis von Sehen, Hören und Erleben zuzuspitzen.

Nicht nur inhaltlich ist das Projekt „digital“. Aufgrund der physischen Distanz von Wohn- und Arbeitsorten der Projektbeteiligten und natürlich wegen den seit Frühjahr geltenden Kontakbeschränkungen laufen Planung, Koordination und Kreativarbeit hauptsächlich über Online-Tools. Social Distancing, Gesellschaft auf Distanz, ist eine Herausforderung, der das Projekt sich ebenfalls stellen muss. Daher soll mit den Ergebnissen eine ansprechende, interaktive Online-Ausstellung gestaltet werden. Außerdem ist vi·son von den Methoden moderner Softwareentwicklung geleitet: neben dem frei zugänglichem Code werden auch Zwischenergebnisse – sozusagen Beta-Versionen der Exponate – präsentiert. Die Online-Ausstellung soll Anfang November eröffnet werden. Davon abgesehen ist geplant, das Projekt im kommenden Frühjahr auch in die physische Welt zu bringen.

_____________________________________________________________________________________________________________________________

vi·son wird eine audioreaktive Digitalkunst-Performance. Im Projekt werden verschiedene Phänomene rund um die multisensorische Wahrnehmung thematisiert. Dabei liegt das Hauptaugenmerk auf der Visualisierung von Musik. Im November 2020 soll eine Online-Ausstellung gestaltet werden, aus der dann im Frühjahr 2021 eine Umsetzung in der Region Rhein-Neckar und Frankfurt entsteht. Zur Projekt-Homepage geht es hier. Bis zur digitalen Ausstellungs-Eröffnung im November erscheinen in regelmäßigen Abständen kunst- und sozial-theoretische Annäherungen an das Projekt auf the ARTicle.

vi·son ist eine Kooperation zwischen den Initiativen KALANGU und Pendeloque. KALANGU ist ein Künstler-Pseudonym unter dem überwiegend musikalische Projekte entstehen. Dahinter stecken wechselnde Studio- oder Livebesetzungen. Die Lichtkunstgruppe Pendeloque setzt sich mit der Kombination von Lichtkunst mit anderen Ausdrucksformen (wie Theater, Musik oder interaktiven Medieninstallationen) auseinander. Daraus entstanden bereits verschiedene Projekte, beispielsweise die Installation Anima\S in Mannheim. vi·son soll die Kompetenzen und Leidenschaften der beiden Initiativen zusammenbringen: daher vi für den visuellen Aspekt, der hauptsächlich von Pendeloque getragen wird. Und son, das französische Wort für Klang und Ton – hier wird es exklusive Musik von KALANGU geben.

_____________________________________________________________________________________________________________________________



Diesen Blogbeitrag zitieren
Benjamin Doubali (2020, 14. Juni). vi·son – Mixing Senses: Wie sieht eigentlich Musik aus? the ARTicle. Abgerufen am 29. März 2024, von https://doi.org/10.58079/uqtd

  1. Husserl, Edmund: Zur Phänomenologie des inneren Zeitbewusstseins (1893-1917):. Husserliana, Band X, Den Haag: Martinus Nijhoff, 1966, S. 23. Zitiert nach: Nassehi (2019), S. 110. []
  2. Nassehi, Armin: Muster. Theorie der digitalen Gesellschaft. München: C.H. Beck, 2019. S. 110. []
  3. Ebd. []
  4. Wikipedia (en), Audio mixing, URL: https://en.wikipedia.org/wiki/Audio_mixing (05.06.20, 12:30 Uhr) []

Benjamin Doubali

studiert Soziologie im Master an der Johannes Gutenberg-Universität Mainz. Dort beschäftigt er sich insbesondere mit Interaktion, Zusammenarbeit und Kommunikation mit (digitaler) Technik und anderen gesellschaftlichen Phänomenen rund um Digitalisierung. Neben dem Studium beteiligt er sich als Teammitglied bei "Pendeloque" an Gebäudeilluminations- und Theaterbeleuchtungsprojekten.

Das könnte dich auch interessieren …

2 Antworten

  1. 28/07/2020

    […] Im Digitalkunstprojekt vi·son sollen Darstellungsweisen gefunden werden, um Musik visuell erlebbar …. Das Ziel: Klang soll in einer fast synästhetischen Weise erlebbar werden. Diese Erkundung wird insbesondere durch die New Media Art beziehungsweise Generative Art beeinflusst. Vorderes Prinzip bei der Erstellung einer digitalen Skulptur ist das kreative Zusammenspiel von Unabgeschlossenheit, Iterationen und Parametersuche – in Jason Baileys Worten das gesteuerte Zufallsverhalten. Natürlich kennt der Programmierer sein selbstkreiertes System; der visuelle Output wird aber im sozio-technischen Arrangement zwischen Augen – Händen – Tastatur – Monitor ständig neu bewertet. Auf Basis dieser Neubewertung wird das System unablässig angepasst. Es eröffnen sich stets neue Möglichkeiten, die erprobt, überarbeitet, verworfen oder weiterentwickelt werden. Dieser “Feedbackloop” ist Teil der kreativen Dynamik. […]

  2. 01/10/2020

    […] vi·son – Mixing Senses: Wie sieht eigentlich Musik aus? […]

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search