MIND CLOUDS Experimental Game performance& installation – manipulating weather thoughts

Mindcloud session, Margarete Jahrmann, June 2021 – August 2022.

Cloud Latent Walk App von Thomas Wagensommerer, Brainwave EEG Software von Stefan Glasauer, Kupferobjekt von Talos Kedl. Neurointerface-Theremin mit EEG Elektroden, Wolken Generator, Echtzeit Brainwave Frequenzbandanalyse, spielbarer Prototyp.

MIND CLOUDS Game experiment in rainbow spectrum – manipulating weather thoughts! 

mindclouds performance@prater atelier
mindclouds performance@prater atelier

Im Sinne einer künstlerisch forschenden Ludic Method entsteht eine performative Installation aus ephemeren Hirndaten:        ____ Momentaufnahmen des Denkens erscheinen als flüchtige Wolken. Die Installation verbindet hybrid Orte und Diskursobjekte über gedankliche Wege und emotionale «SCHRITTE» zwischen wissenschaftlichem Experiment und experimentellem Spiel — Verstehen und Denken im Flow!  

Der “Copper Thought Helmet- A weather attractor” des Bildhauers Talos Kedl wird zu einem EEG Theremin. Mit feuchtem Elektrolyt Gel verbinden wir uns leitend mit dem Kunstobjekt und lassen ein partizipatives Gedanken Spiel zwischen Donner und Blitz entstehen.

Standort:                 Universität für Angewandte Kunst, Vordere Zollamtsstraße 7, 1030 Wien, Raum 001 (EG)

RESET: Roland Rainer Siedlung Mauerberg 2022

Mind-Cloud-Gaming im Wolkenbüro 

Im Wolkenbüro im Prateratelier spielen wir in einer Wettermediation mit ephemeren Wolken-Formationen, die immer neu aus EEG Daten entstehen. Die ebenso flüchtigen EEG Signale verbinden wir mit skulpturalen nonhumanen Aktanten. 

non human actant- FIVE brainwaves frequencies split - from ALPHA to THETA
non human actant

Standort:                 Zentrum Fokus Forschung, Rustenschacherallee 2–4, 1020 Wien

29. – 2. Juli 2021 at die AngewandteFestival, part of ZFF RESEARCH SHOW_ Vorder Zollamtsstrasse 7, 1010 Wien und im Prateratelier “Pratercube” & Gardens

wirebrain of/for 2 players. Standalone App 2021

interactive dynamic brainwave sculpture/3D film game

Margarete Jahrmann & Stefan Glasauer 2021

About 20 min of interactive 3D replay of an online brainwave performance recorded on January 22, 2021. 

20 min playtime. Drag over object -> HUD menu appears. Rotate, move, zoom the object – and take screenshots of Your favorite state of mind!

WIREBRAIN was generated through the use of two consumer EEG devices (muse) and a home-brew Matlab App during an online connected remote session with a third EEG user. Watch performance on the Neuromatic youtube channel! 

https://www.youtube.com/watch?v=9tz9rZqOLZw

APP DOWNLOAD link – attention, big file, but playable!

https://base.uni-ak.ac.at/cloud/index.php/s/8e2pTAFsDohZoja

Area7lab statement on wirebrain:

Brain-computer interfaces are increasingly available as consumer versions using a low number of electrodes. Currently, the main use of such devices is in aiding meditation practices via biofeedback using frequency analysis of the measured EEG. 

Our alternative approach opens up the use of BCI as “Neuromatic Devices”, as tools that can be used beyond current utilization as instrument for scientific measurement or, in its consumer version, for self-optimizing. 

Here we present the “Neuromatic Brainwave Broadcast”, a series of online live performances using consumer BCIs that we have developed over the last year and that has been streamed first daily, then weekly on YouTube. The broadcast works as public experiment in which spectators can interact rather than watch passively, which blurs the borders between experimenter, performer, and test subject, at the same time revealing failures and technical problems and making them part of the experience rather hiding and discarding them. 

During the broadcast, raw EEG signals from the consumer BCIs worn by two or more remotely connected participants are sent (via a combination of bluetooth and UDP) together with simultaneously captured video of the participants to a central computer. There, real-time visualizations of the EEG signal (implemented via custom-written Matlab code), the video images, text output of the software, and written instructions for the participants are composed to a final output that is streamed together with real-time sound generated from the signals to the Neuromatic YouTube channel. The stream serves as necessarily delayed bio-feedback for participants wearing devices as well as communication channel for the spectators who can comment and influence the performance via chat. The video streams and snippets from the EEG recordings serve as data trace and documentation of the artistic experiment. 

The artistic research approach applied here to brain-computer interfaces resulted in the development of a publicly open explorative method, the Brainwave Broadcast, which allowed investigating the space of possibilities spanned by the use of different media for transforming BCIs into Neuromatic devices that allow a collective critical reflection of intrusive brain technology.

AAA ThP: ARG ALT Artivism Thunder Play –  CIVA 2021

Margarete Jahrmann & Thomas Wagensommerer, coop Louise Linsenbolz, Georg Luif, Stefan Glasauer.

An Area7lab production.

generative multiplayer EEG Brainpainting based sound game,

commissioned by and exhibited at the first edition of

CIVA FESTIVAL Contemporary Immersive Virtual Art 2021 civa.at

(opening performance LIVE play February 21st 2021)

Multiplayer environment, EEG generated mind sculpture of 4 live players, generative sound environment, brainwave object, photogrammteric environment for live performance mit EEG interfaces, including a simulation of a model of bounding boxes, pandemic infection, spatial distance and mental closeness — in a disruptive eroding world. 

Photogrammetric startscene- Donnerbunnen Vienna.

Beside the performance sessions the environment can be entered, a stored version of a brain data object serves as interactive playground/ multiuser game with the aim to foster an implosion into a de-constructivist experience around the Donner Brunnen as historic Vienna site of social contact, exhibition, and erotic attraction, where a new virtual fountain sculpture is generated live by 4 EEG players. Come and participate in the concert at Thunderdome Donnerbrunnen –  we play since the time of the wireframe crinoline in the 17th hundreds till the 3D game engine bounding box into real life social distance and collective avatar framing of social interaction.

2020 Neurointerfaces as means of Artistic Research or Expanded Game Art.

APAJahrmann, M. (2020, April 14). Neurointerfaces as means of Artistic Research or Expanded Game Art. https://doi.org/10.31235/osf.io/qn65kMLA Jahrmann, Margarete. “Neurointerfaces as Means of Artistic Research or Expanded Game Art.” SocArXiv, 14 Apr. 2020. Web.

Article in print:

Neurocontrollers of games are new consumer interfaces to the inner self, if we consider that they unfold as factual neuro-interfaces that evaluate our personal data and general human condition. Biometric data is gained in everyday life by mobile phones or health wristbands. The ethical dimension of the use of neuro interfaces is hardly questioned, neither in research nor in its artistic applications, which is surprising but a necessity for the self-determined user who is more than an object of produsage. In the centre of this inquiry stand very actual critical art works with life science devices and its corresponding participative games, in an emerging critical art form of neuro-games, in a new form of expanded game art. Brain interfaces for the consumer market target life improvement but in fact they capitalise our inner states in a mode of prosumption.

Expanded game art settings in public installations can fruitfully contribute to the sciences with the advantage of a controllable set of rules, which is useful for the research validity. These art pieces correspond to citizen science games, where scientists use games to analyse data in a collective mode. On the other hand, biometric aspects and neuro-interfaces used in performative installations allow to design a new kind of game art, made of elements of behavioural research and a critical questioning of the interfaces used in play. This argument is elaborated in a series of examples from neurosciences and expanded art games. 

Download full pdf of paper

2020 Neuromatic Game Art (FWF/PEEK)

Neuromatic Game Art: Critical play with neurointerfaces

project lead: Margarete Jahrmann
Zentrum Fokus Forschung
Austrian Science Fund (FWF): AR 581 Programm zur Entwicklung und Erschließung der Künste (PEEK) 

Neuromatic Game Art: Critical play with neurointerfaces

# Wider arts-based research context / theoretical framework 

Game Art currently undergoes a rush of presence and importance in the context of artistic research, as it informs methods of insight and experiments. This happens at the same moment as new mobile interfaces linking body, brain, and electronic networks become available in a subtly gamified world. Ludic Theory, the concept of Flow, and the transformative potential of play will serve as theoretical frameworks for a series of publicly performed artistic experiments evolving around neurointerfaces. 

# Hypotheses / research questions / objectives 

According to our hypothesis the everyday availability of neurointerfaces will create new dimensions of social and ethical questions reaching from of privacy and surveillance to self-optimization, but will also carry the potential for new forms of creativity and interaction. As arts-based research question we take up the challenge to critically evaluate neurointerfaces as technological devices of potential everyday use. Our research objective is the creation of a new form of experimental game art – the neuromatic one – to contribute new knowledge, awareness, and resilience, and to elucidate ethical questions, possibilities and limitations of technologies that intrude the individual brain and to ultimately change self-optimization into self-expression. 

# Approach / methods 

In a series of staged and performed artworks informed by Game art, concepts of Flow and play, we will create a hybrid interplay and inquiry of questions around personal data and brain measurement informed by the neuroscientific research and techno-philosophical discourse that accompanies the project. By artistic re-engineering neurointerfaces will be transformed from intrusive measurement devices into participative and creative tools.

# Level of originality / innovation 

The present project constitutes a unique, original, and urgently needed critical but playful artistic examination of an emerging technology. The prototypes and artefacts of our research, a new innovative form of modified playful neuromatic devices, will be the seed for further artistic and philosophical use.

# Primary staff involved in the project 

The highly transdisciplinary project is carried out by five experienced researchers from complementary fields. The leading roles are held by artistic researchers. Margarete Jahrmann is an experienced artist, professor in the artistic research PhD program at Angewandte Vienna and in Game Arts at the Zurich University of the Arts. Ruth Schnell is a leading media artist and holds the chair for Digital Arts, Angewandte Vienna. The techno-philosophical research line is led by Mark Coeckelbergh (University of Vienna). Stefan Glasauer (Brandenburg University of Technology Cottbus-Senftenberg) guides the neuroscientific research. The group will be complemented by several young emerging artists and researchers.

//

Der zeitgenössische digitale Imperativ zur Selbstüberwachung des Alltagslebens beinhaltet tiefere Fragen zu Privatsphäre und Körperdaten. Personenbezogene Daten werden zunehmend online zugänglich gemacht, kapitalisiert und Teil eines sozialen Bewertungssystems. Mit einem wachsenden Markt von Konsumenten-Neurointerfaces wird die Verwendung von Gehirnwellen-Analyse-Geräten, die in die Privatsphäre von Gedanken und Emotionen eindringen, zunehmend als Spiel verkauft – um Benutzer zu beruhigen. Der inhärente gesellschaftliche Zwang zur Selbstoptimierung ist eine alarmierende Folge dieser Tendenzen. Eine kritische Bewertung von Neurointerfaces, die ursprünglich für wissenschaftliche und medizinische Zwecke entwickelt wurden, fehlt bislang. Ebenso gilt es, Phänomene technologisch gesellschaftlicher Zwänge zur Selbstoptimierung künstlerisch zu beleuchten und in spielerischen Experimenten und künstlerisch forschenden Versuchsanlagen zu interpretieren.
Hier schlagen wir vor, diese Herausforderung als kunstbasierte Forschungsfrage anzunehmen, indem wir das Potenzial von Kunst als Aktivismus nutzen und eine neue Form der experimentellen Spielkunst – neuromatic game art – vorstellen. Forschungsziel ist es die Möglichkeiten und Grenzen von Technologien zu hinterfragen und aufzuklären, wie Neurointerfaces das individuelle Leben beeinflussen werden. Letztlich wollen wir die gesellschaftlich gewünschte Selbstoptimierung in künstlerische Selbstdarstellung verändern.
In einem Akt des Widerstands werden neuromedizinische Geräte umkonstruiert, indem zwar Einblicke in die Gehirnfunktion ermöglicht werden, diese Schnittstellen aber als kreative Ausgabegeräte genutzt werden — als ein partizipatives und kreatives Werkzeug der Kunst.
Die durch die künstlerisch forschende Intervention neu entstandenen „Neuromatic Anordnungen “ werden zu innovativen Werkzeugen für künstlerische Projekte und ermöglichen das selbstgesteuerte Spiel mit den eigenen persönlichen Hirndaten zum Zweck der Erkenntnis.
Das Konzept des Flusses von Gedanken im Spiel, Flow wird das Kernstück des Spieldesigns einer Reihe von Kunstwerken, von physischen und öffentlich durchgeführten Experimenten – entsprechend unserer These, dass künstlerische Forschung öffentlich inszeniert werden sollte. Nach Prinzipien der Spielmechanik präsentieren wir ein hybrides Zusammenspiel zur Untersuchung von politischen Fragen rund um persönliche Daten, Selbstoptimierung, Gehirnmessung in Bezug auf mobile Schnittstellen als Werkzeuge des täglichen Lebens. Wir zielen darauf ab, eine sich entwickelnde Debatte als Voraussetzung für gesellschaftliches Bewusstsein und Aufklärung auszulösen.

2020 PLAN A for I/motions.

Jahrmann M (2020). PLAN A for I/motions. Die Kunst des Spiels mit Emotionen und neuen Formen der Kognition. In: Machines Like Us. Reader Donaufestival. Ed. Thomas Edlinger, Falterverlag Wien, pp 95-103.

ISBN 978-3-9504740-1-5

pdf of the book chapter

Artificial Intelligence (AI), die künstliche Intelligenzentwicklung und Neurowissenschaften sind seit jeher Forschungsfelder, in denen die Fragestellungen der einen Disziplin die Entwicklungen der anderen anregen
und umgekehrt1. In den aktuellen Formen des mittlerweile geflügelten
Begriffs künstlicher Intelligenz werden biologische Modelle aufgegriffen.
Liegt dies allein an der steigenden Rechenleistung, den großen Sätzen
von verfügbarem Big Data, die eine Umsetzung dieser Konzepte nun
endlich ermöglichen, oder lässt sich ein neues Interesse an den menschlichen Affekten als Grundlage unserer Intelligenz ausmachen? Und wie sieht eine Forschung zu unserer Intelligenz und unseren Emotionen aus, die politisch brisant Machine Learning, Face Recognition und Computational Neurosciences koppelt? Welche Fragestellungen werfen künstlerische Arbeiten auf, die unsere emotionale Begegnung mit der AI und einer möglicherweise sich grundsätzlich verändernden AI thematisieren, die affektives Computing mit einbeziehen. Gibt es Kunst, die damit spielt und auf die Forschung Einfluss nimmt?
Der Wunsch, das biologische Gehirn besser zu verstehen, war ein historischer Ausgangspunkt für die Entwicklung erster künstlicher neuronaler Netze. Durch starke Vereinfachung war es möglich, Funktionsweisen und Raster über Prinzipien lebender Systeme auf Rechensysteme zu übertragen.
Der wunderbare Aufsatz A logical calculus of ideas immanent in nervous
activity² von Warren McCulloch and Walter Pitts (1943) zeigt, dass
bereits in den Anfängen der Computation das Verständnis der Funktionsweisen biologischer neuronaler Netze essentiell für die Modellierung künstlicher Netze war. Maschinenlogik und nervöse Aktivitäten wurden in den frühen Simulationen neuronaler Netzwerke so gekoppelt, wie es in der Kybernetik zweiter Ordnung üblich war, nämlich strukturell. ….

2019 Augmented Play, Art, and Space.

Jahrmann M (2019). Augmented Play, Art, and Space. The Cognitive Coupling of Avant-Garde Games with Unexpected Mental Spaces. In: Architecture | Volume 50. The architectonics of game spaces. Eds. Andri Gerber/ Ulrich Götz, Transcript, Berlin, pp 249-265. 

https://www.transcript-verlag.de/media/pdf/5f/bd/35/oa9783839448021XurCQWk5JCKfj.pdf

…Margarete Jahrmann is a “practical theorist” active in game design and as such she brings in a diœerent perspective on the matter discussed in this book. She playfully investigates the relationship between spatial per-ception and computer games through games and installations, making reference to a whole set of similar artistic projects that bring together dif-ferent spatial dimensions, be it on stage, in games or in “reality”. Together with Max Moswitzer, she publishes the Ludic Society Magazine, a ludic arts research journal on playful methods in artistic research. The center of her article discusses the concept of “flow” as the key to understand the relationship of reality, virtual reality and game space. … (from the introduction)

artikel as pdf