vi·son – Mixing Senses: Wie aus Assoziationen, Samples und einem Totem eine Ausstellung wurde

Ausblick auf die digitale Ausstellung von vi·son

Wie lässt sich eine Online-Ausstellung konzipieren, die multisensorisches Wahrnehmen und das Verhältnis von Kunst, Musik und Digitalisierung thematisiert? Eine Vorschau auf die Gestaltung und das erste Exponat von „vi·son“.

Es ist ein heißer Spätsommertag und in einem von Pappeln und Eichen gesäumten Hof irgendwo in Frankfurt entstehen Ideen. Auch die Köpfe hinter dem im Entstehen begriffenen Digitalprojekt vi·son müssen beim Workshop schwitzen. Es werden Einfälle und Fragen ausgetauscht, offene Gesprächsfäden abgelegt und aufgegriffen, bis mit Whiteboard und Marker bewaffnet die ersten Ansätze für die Gestaltung einer digitalen Ausstellung zu einer formgebenden Idee verdichtet werden.

Zwei junge Männer beugen sich über Laptops und sehen konzentriert drein. Im Hintergrund ist ein beschriebenes Whiteboard zu erkennen.

Konzentration beim vi·son Ausstellungs-Workshop.

Die seltsam anmutende Frage, wie denn eigentlich Musik aussieht, erstaunt und fasziniert das Projekt vi·son von Anfang an. Doch in der kindlich neugierigen Problemstellung stecken bereits alle Aspekte, die das Kunstprojekt anleiten. Auch die geplante Online-Ausstellung wird sich dieser Frage widmen.

Ein roter Faden für die  Besucher*innen

Ausgehend von einem stimmungsvollen Intro und der Leitfrage „Wie sieht Musik aus?“ versucht die Ausstellung in drei Kapiteln, hypothetische Antworten zu geben. Jedes Kapitel besteht einerseits aus Content und einem kreativen Beitrag. Der Content kann sowohl Texte, Bilder, Videos als auch Netzfundstücke umfassen, die in strukturierter Form Denkanstöße geben und den Besucher*innen damit helfen, sich einen Pfad durch das digitale Dickicht zu ebnen.

Der Content begleitet jeweils ein künstlerisches Exponat, das sich kreativ dem Thema nähert und abstrahiert eine Hypothese repräsentiert. Die Erarbeitung des Konzepts und die kreative Entwicklung der digitalen Kunstwerke waren wechselseitige Prozesse: Ziel war es, interaktive Exponate zu erschaffen, die einerseits die Möglichkeiten des digitalen Mediums nutzen und andererseits den Besucher*innen die Chance gehen, die Ausstellung suchend, fragend, staunend und nicht zuletzt hörend, sehend und fühlend zu erleben. Mit Blick auf den Untertitel des Projekts Mixing Senses geht es immerhin darum, Sinneseindrücke zu vermischen, herauszufordern und zu irritieren. 

The Association Game

Das erste Kapitel ist um eine einfach Idee herum gestrickt: Musik erzeugt Stimmungen, versetzt uns in Bewegung und malt Bilder in unseren Köpfen. Sieht Musik dann nicht so aus, wie die Dinge, die wir mit ihr assoziieren?

Eine Person sitzt vor einem Computer. Auf dem Bildschirm sind Samples zu sehen.

In der modernen Musikproduktion ist der Einsatz von Sampling ein typisches Arbeitsmittel. Foto: Bruno Araujo/Unsplash

Ein Gedankenspiel: Wir können mit Blick auf die Phänomenologie eine Ähnlichkeit zwischen unserer Wahrnehmung und der digitalen Verarbeitung von Musik feststellen. Beide zerlegen Musik in einzelne Einheiten und Eindrücke und erzeugen erst in der Verarbeitung einen Output, beispielsweise den Drang zu tanzen. Dem aufgenommenen Code der Musik sind emotionale Anreize eingeschrieben, die wir erst in unserer Wahrnehmung entfalten. Die Musik wird von einem Äußeren zu einem Inneren, ein Hör- und Fühlbares, das uns in Aufregung und Bewegung versetzt. Um zu erkunden, welche Sinneseindrücke Menschen mit den auditiven Codes der Musik verknüpfen, will vi·son diesen Vorgang künstlich simulieren.

Um dieses Gedankenspiel in die Realität zu übertragen, haben die Köpfe hinter vi·son eine Software entwickelt: Sie soll es Menschen ermöglichen, Höreindrücke in andere Sinneseindrücke zu konvertieren. Das System heißt Audiovis I\O. Dabei handelt es sich gewissermaßen um eine digitale Performance-Maschine; die Software bietet einen Rahmen, der die Interaktion mit der Nutzer*in zum kreativen Vorgang macht. Nüchtern betrachtet ist Audiovis I\O irgendetwas zwischen Umfragetool und Minigame der ungewöhnliche Kontext und die User-Aktivitäten machen daraus ein kreatives Assoziationsspiel.

Vom Sample zum Höreindruck

Wie funktioniert das? Als Ausgangspunkt dient eine der zentralen Einheiten der Popmusik: das Sample. Ein Sample ist ein Ausschnitt aus einer bestehenden Tonaufnahme, der beliebig kurz oder lang sein kann und in andere Kontexte überführt wird das nennt sich dann musikalische Weiterverarbeitung. Die genutzten Samples und alle weiteren Musikstücke, derer sich das Projekt bedient, hat vi·son in der eigenen Klangschmiede produziert (in der Playlist Looking at … auf Soundcloud kann man eine kleine Auswahl der bisherigen Titel anhören). Im Exponat Audiovis I\O stecken aktuell 25 jeweils fünfsekündige Samples, die in fünf Gruppen nach Instrumenten sortiert sind: Synthesizer, Gitarre, Chords (Pad und Keys), Bass und  Rhythmen (Drums und Percussions). Jedes Sample ist unverwechselbar, es gibt friedliche und treibende Varianten, verspielte und beruhigende Tonfolgen.

Sie alle erzeugen einen bestimmten Höreindruck, der sich beliebig wiederholen lässt. Üblicherweise lassen wir solche Höreindrücke einfach an uns vorbeiziehen sie werden gespürt, aber nicht ins bewusste Erleben gerückt. In seltenen Fällen halten wir inne und stellen fest: „Toller Song!“ Nur manchmal unterhalten wir uns mit anderen über das, was wir gehört haben.

Fundierte Kreativität

Normalerweise beziehen sich solche Gespräche aber auf Bands, Alben, Lieder oder einen Refrain. Die Anwendungsoberfläche von Audiovis I\O fordert die Nutzer*innen hingegen auf, sich den Höreindruck eines einzelnen Samples bewusst zu machen. Um diese Aufgabe zu lösen, bietet das Exponat eine Hilfestellung:

Im ersten Schritt sind die Nutzer*innen aufgefordert, eine Emotion auszuwählen. Hier stellt sich die Frage, wie sich das darstellen lässt: Die Zahl der möglichen Emotionen, die durch ein Klangbeispiel angesprochen werden können, scheint unüberschaubar. Ein fundiertes Modell musste her, das die Gefühlswelt vorab strukturiert. Die Wahrnehmungspsychologie bietet mit dem Plutchik Wheel eine Theorie, die sich für eine grafische Darstellung von Emitionen auf einer Softwareoberfläche nutzen lässt.

Ausgehend von der Annahme, dass Emotionen eine genetische Grundlage haben, beschreibt der Psychologe Robert Plutchik acht Basisemotionen, die überindividuell eingeteilt werden. Das Modell der Basisemotionen lässt sich dabei bildhaft strukturieren: Gegensätzliche Emotionen werden gegenüberliegend, ähnliche Emotionen benachbart angeordnet. Von dieser Kreisform aus werden dann Emotionen nach Intensität abgestuft. Es entsteht eine radförmiges Schema, welches sich als dreidimensionaler Kegel zusammensetzen lässt. Dieser Kegel der Emotionen dient als animiertes Interface bei Audiovis I\O.

Ein Farbspektrum, in dem die verschiedenen Farben menschlichen Emotionen zugeordnet wurden.

Das Plutchik Wheel: Robert Plutchiks Rad der Emotionen – setzt man dieses Schema dreidimensional zusammen, ergibt sich ein Kegel. User Machine Elf 1735, Metoaster, gemeinfrei, via Wikimedia Commons

Der Raum der Farben

Im zweiten Schritt wird eine Farbauswahl angeboten, die auf dem klassischen Farbraum basiert. Hier gilt es sich damit auseinanderzusetzen, wie digitale Technik Einfluss auf die Darstellung von Farbe nimmt und was wir überhaupt unter Farbe verstehen. Auch die Farbdarstellung muss sich auf ein Schema stützen, in der Ähnlichkeit und Differenz in Beziehung gesetzt werden. Für die Softwareentwicklung musste dieser Farbraum jedoch spezifisch hergeleitet werden:

“A colour space is a means of uniquely specifying a colour. There are a number of colour spaces in common usage […] For example as humans we normally determine colour by parameters such as brightness, hue, and colourfulness. On computers it is more common to describe colour by three components, normally red, green, and blue. These are related to the excitation of red, green, and blue phosphors on a computer monitor.”1

Der Farbraum von digitalen Applikationen wird nach wie vor oft als RGB-Cube visualisiert. Diese gängige Darstellungsweise macht sich auch Audiovis I\O zu Nutzen. So wird die gigantische Menge möglicher Farbnuancen zu einer Koordinate im Raum und damit beherrschbar. Die Formauswahl wiederum ist von den beiden vorangegangenen Konzepten abgeleitet.

Herausfordernde Zuordnungen

Der Zuordnungsprozess (Welche Emotion passt zum Sample? Welche Farbe, welche Form?) ist eine spielerische Annäherung an das alltäglich Musikerleben aber auch an so verblüffendere Phänomene wie Synästhesien: Welche impliziten Sinneseindrücke erzeugt ein Klang? Wie lassen sich diese explizieren? Das Exponat stellt auf eine ebenso analytische wie assoziative Weise die Frage, wie genau wir Musik erleben als Einheit oder über ihre einzelnen Bestandteile? Audiovis I\O wirft die Frage auf, ohne eine abschließende Antwort geben zu wollen. Inhaltliche Interpretationen werden im Rahmen der digitalen Ausstellung diskutiert.

Ein erster Blick auf das Audiovis I\O Interface mit dem RGB-Cube zur Farbauswahlhilfe. Die genaue Gestaltung kann sich im Entwicklunsgprozess noch ändern.

Ein erster Blick auf das Audiovis I\O Interface mit dem RGB-Cube zur Farbauswahlhilfe. Die genaue Gestaltung kann sich im Entwicklunsgprozess noch ändern.

Die Nutzer*innen werden im Zuordnungsprozess herausgefordert und vor  ungewohnte Aufgaben gestellt, die verwirren, ja sogar verärgern mögen: „Was soll man denn da machen?!“ Es ist natürlich möglich, die Maschine (etwa aus Frust?) völlig willkürlich zu bedienen. Der spielerische Aspekt lädt die Besucher*innen der digitalen Ausstellung ein, der Idee eine Chance zu geben. Angeregt durch die Anwendung, können Nutzer*innen in sich gehen und erspüren, welche Farbe, Form und Emotionen die einzelnen Samples in ihnen wachrufen.

Das audiovisuelle Totem

Wer den ganzen Prozess durchläuft, erhält zum Abschluss eine persönliche Marke, ein Totem, das auf Basis der eingegebenen Daten generiert wird. Das persönliche, datenbasierte Totem ist ein digitales Dankeschön und die erste „handfeste“ Antwort auf die Frage, wie Musik aussehen kann: In der erzeugten Skulptur tauchen die Samples genauso wie die Angaben zur Form und Farbe wieder auf.

Audiovis I\O ist Kunstobjekt, Minigame und Software zugleich. Die Codebasis ist frei verfügbar und wird weiterentwickelt zusätzliche Samples und Features können ergänzt werden. Die Nutzer*innen werden nicht getrackt: Alle Angaben sind anonym und werden ausschließlich zur Generierung des Totems genutzt.

So fluide und offen die Exponate angelegt sind, ist auch die gesamte Ausstellung ein Work in Progress. Das Projekt startet Mitte November zunächst mit zwei Kapiteln und wächst in den darauffolgenden Wochen um weitere Kapitel. Die digitale Ausstellung zu vi·son soll ein lebendiger Ort sein, der sich weiterentwickelt, indem er beispielsweise auf Feedback reagiert. Die digitale Technik macht Erweiterungen einer laufenden Ausstellung möglich. Neben einer (kleineren) englischen Version ist auch ein Audioguide angedacht. Nach der Vernissage ist vor der neuen Version.

_____________________________________________________________________________________________________________________________

vi·son wird eine audioreaktive Digitalkunst-Performance. Im Projekt werden verschiedene Phänomene rund um die multisensorische Wahrnehmung thematisiert. Dabei liegt das Hauptaugenmerk auf der Visualisierung von Musik. Im November 2020 soll eine Online-Ausstellung gestaltet werden, aus der dann im Frühjahr 2021 eine Umsetzung in der Region Rhein-Neckar und Frankfurt entsteht. Zur Projekt-Homepage geht es hier. Bis zur digitalen Ausstellungs-Eröffnung im November erscheinen in regelmäßigen Abständen kunst- und sozial-theoretische Annäherungen an das Projekt auf the ARTicle.

vi·son ist eine Kooperation zwischen den Initiativen KALANGU und Pendeloque. KALANGU ist ein Künstler-Pseudonym unter dem überwiegend musikalische Projekte entstehen. Dahinter stecken wechselnde Studio- oder Livebesetzungen. Die Lichtkunstgruppe Pendeloque setzt sich mit der Kombination von Lichtkunst mit anderen Ausdrucksformen (wie Theater, Musik oder interaktiven Medieninstallationen) auseinander. Daraus entstanden bereits verschiedene Projekte, beispielsweise die Installation Anima\S in Mannheim. vi·son soll die Kompetenzen und Leidenschaften der beiden Initiativen zusammenbringen: daher vi für den visuellen Aspekt, der hauptsächlich von Pendeloque getragen wird. Und son, das französische Wort für Klang und Ton – hier wird es exklusive Musik von KALANGU geben.

_________________________________________________________________________________________________________________________

Mehr über die inhatliche Ausrichtung des Projekts erfährst du hier:

vi·son – Mixing Senses: Wie sieht eigentlich Musik aus?

  1. Bourke, Paul (1995): RGB Colour Space. URL: http://paulbourke.net/miscellaneous/colourspace/ (zuletzt aufgerufen am 21.10.2020) []

Benjamin Doubali und Guido Schmidt

Benjamin Doubali studiert Soziologie im Master an der Johannes Gutenberg-Universität Mainz. Dort beschäftigt er sich insbesondere mit Interaktion, Zusammenarbeit und Kommunikation mit (digitaler) Technik und anderen gesellschaftlichen Phänomenen rund um Digitalisierung. Neben dem Studium beteiligt er sich als Teammitglied bei "Pendeloque" an Gebäudeilluminations- und Theaterbeleuchtungsprojekten. Guido Schmidt ist kreativer Software-Entwickler und Medienkünstler. Er schreibt Codes, um Technologie mit kreativen Disziplinen zu verbinden, generative Kunst und interaktive visuelle Systeme zu gestalten. Im Jahr 2016 schloss er sein Masterstudium an der Universität Koblenz in Computervisualistik ab. Er ist Teil des Lichtkünstlerkollektivs "Pendeloque".

Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search