Live sonification of emotional states/AI – Ludic Rulez!

NEWly found footage: TnX dear friend! Unseen and unpublished videos of the 2020 AIL live performance of different emotional states (Thomas Wagensommerer Sound patch, Stefan Glasauer live data from emotional states, Margarete Performance on examination couch and game mechanics) classified by an Deep Dream AI – “I want to see HAPPY monkeys” ! Tnx to Eva Fischer for the opportunity to show at the Post Digital exhibition… and perform according to Ludic ruleZ!

Media Art Award of the City of Vienna 2020 //Medienkunstpreis der Stadt Wien 2020

//25 May 2020: In her work, the internationally renowned media artist and art theorist, who has been Professor of Artistic Research at the University of Applied Arts Vienna since 2019, uses code, language and fashion for media art works and games in urban space.

//25. Mai 2020: Die international anerkannte Medienkünstlerin und Kunsttheoretikerin, die seit 2019 Professorin für Artistic Research an der Universität für Angewandte Kunst Wien ist, setzt in ihrem Werk Code, Sprache und Mode für medienkünstlerische Arbeiten und Spiele im urbanen Raum ein.

Kickoff of the artistic research project */Neuromatic Game Art: Critical play with neurointerfaces/* at AIL Online

Including a demonstration of the #NEUROMATIC BRAINWAVE BROADCAST series, performed ongoing since 3rd April 2020 & Pre_launch of the activist brainwave inversion game#01: NeuroFLOWer…

With members of the Neuromatic research group Vienna/Zurich and guests: Margarete Jahrmann (game art), Ruth Schnell (digital arts), Stefan Glasauer (computational neuroscience), Mark Coeckelbergh (technophilosopy), Johannes Hucek (digital art),Stefan Schmidlin/ Simon Broggi/ Insert Coin Zurich (game design), Charlotta Ruth (artistic research choreography), Thomas Wagensommerer (brainwave sonification), Anna Dobrosovestnova (device philosophy), Zarko Alexsic (neuro art), et al.

special guest: Isabelle Garzorz (experimental neuroscience).

Der Standard Interview: Künstlerisches Spiel mit Gerhirnströmen (Wissenschaft Spezial)

enjoy the first feature on the new FWF/PEEK artistic research project “Neuromatic Game Art” from May 2020, printed and online in the quality newspaper derStandard.

Getty images

Special thanks and respect to the author Alois Pumhösl — who really brought all the stars out of our brain data – into a coherent narration…. enjoy (though German, but translation works online 😉

2020 Neurointerfaces as means of Artistic Research or Expanded Game Art.

APAJahrmann, M. (2020, April 14). Neurointerfaces as means of Artistic Research or Expanded Game Art. Jahrmann, Margarete. “Neurointerfaces as Means of Artistic Research or Expanded Game Art.” SocArXiv, 14 Apr. 2020. Web.

Article in print:

Neurocontrollers of games are new consumer interfaces to the inner self, if we consider that they unfold as factual neuro-interfaces that evaluate our personal data and general human condition. Biometric data is gained in everyday life by mobile phones or health wristbands. The ethical dimension of the use of neuro interfaces is hardly questioned, neither in research nor in its artistic applications, which is surprising but a necessity for the self-determined user who is more than an object of produsage. In the centre of this inquiry stand very actual critical art works with life science devices and its corresponding participative games, in an emerging critical art form of neuro-games, in a new form of expanded game art. Brain interfaces for the consumer market target life improvement but in fact they capitalise our inner states in a mode of prosumption.

Expanded game art settings in public installations can fruitfully contribute to the sciences with the advantage of a controllable set of rules, which is useful for the research validity. These art pieces correspond to citizen science games, where scientists use games to analyse data in a collective mode. On the other hand, biometric aspects and neuro-interfaces used in performative installations allow to design a new kind of game art, made of elements of behavioural research and a critical questioning of the interfaces used in play. This argument is elaborated in a series of examples from neurosciences and expanded art games. 

Download full pdf of paper

2020 Neuromatic Game Art (FWF/PEEK)

Neuromatic Game Art: Critical play with neurointerfaces

project lead: Margarete Jahrmann
Zentrum Fokus Forschung
Austrian Science Fund (FWF): AR 581 Programm zur Entwicklung und Erschließung der Künste (PEEK) 

Neuromatic Game Art: Critical play with neurointerfaces

# Wider arts-based research context / theoretical framework 

Game Art currently undergoes a rush of presence and importance in the context of artistic research, as it informs methods of insight and experiments. This happens at the same moment as new mobile interfaces linking body, brain, and electronic networks become available in a subtly gamified world. Ludic Theory, the concept of Flow, and the transformative potential of play will serve as theoretical frameworks for a series of publicly performed artistic experiments evolving around neurointerfaces. 

# Hypotheses / research questions / objectives 

According to our hypothesis the everyday availability of neurointerfaces will create new dimensions of social and ethical questions reaching from of privacy and surveillance to self-optimization, but will also carry the potential for new forms of creativity and interaction. As arts-based research question we take up the challenge to critically evaluate neurointerfaces as technological devices of potential everyday use. Our research objective is the creation of a new form of experimental game art – the neuromatic one – to contribute new knowledge, awareness, and resilience, and to elucidate ethical questions, possibilities and limitations of technologies that intrude the individual brain and to ultimately change self-optimization into self-expression. 

# Approach / methods 

In a series of staged and performed artworks informed by Game art, concepts of Flow and play, we will create a hybrid interplay and inquiry of questions around personal data and brain measurement informed by the neuroscientific research and techno-philosophical discourse that accompanies the project. By artistic re-engineering neurointerfaces will be transformed from intrusive measurement devices into participative and creative tools.

# Level of originality / innovation 

The present project constitutes a unique, original, and urgently needed critical but playful artistic examination of an emerging technology. The prototypes and artefacts of our research, a new innovative form of modified playful neuromatic devices, will be the seed for further artistic and philosophical use.

# Primary staff involved in the project 

The highly transdisciplinary project is carried out by five experienced researchers from complementary fields. The leading roles are held by artistic researchers. Margarete Jahrmann is an experienced artist, professor in the artistic research PhD program at Angewandte Vienna and in Game Arts at the Zurich University of the Arts. Ruth Schnell is a leading media artist and holds the chair for Digital Arts, Angewandte Vienna. The techno-philosophical research line is led by Mark Coeckelbergh (University of Vienna). Stefan Glasauer (Brandenburg University of Technology Cottbus-Senftenberg) guides the neuroscientific research. The group will be complemented by several young emerging artists and researchers.


Der zeitgenössische digitale Imperativ zur Selbstüberwachung des Alltagslebens beinhaltet tiefere Fragen zu Privatsphäre und Körperdaten. Personenbezogene Daten werden zunehmend online zugänglich gemacht, kapitalisiert und Teil eines sozialen Bewertungssystems. Mit einem wachsenden Markt von Konsumenten-Neurointerfaces wird die Verwendung von Gehirnwellen-Analyse-Geräten, die in die Privatsphäre von Gedanken und Emotionen eindringen, zunehmend als Spiel verkauft – um Benutzer zu beruhigen. Der inhärente gesellschaftliche Zwang zur Selbstoptimierung ist eine alarmierende Folge dieser Tendenzen. Eine kritische Bewertung von Neurointerfaces, die ursprünglich für wissenschaftliche und medizinische Zwecke entwickelt wurden, fehlt bislang. Ebenso gilt es, Phänomene technologisch gesellschaftlicher Zwänge zur Selbstoptimierung künstlerisch zu beleuchten und in spielerischen Experimenten und künstlerisch forschenden Versuchsanlagen zu interpretieren.
Hier schlagen wir vor, diese Herausforderung als kunstbasierte Forschungsfrage anzunehmen, indem wir das Potenzial von Kunst als Aktivismus nutzen und eine neue Form der experimentellen Spielkunst – neuromatic game art – vorstellen. Forschungsziel ist es die Möglichkeiten und Grenzen von Technologien zu hinterfragen und aufzuklären, wie Neurointerfaces das individuelle Leben beeinflussen werden. Letztlich wollen wir die gesellschaftlich gewünschte Selbstoptimierung in künstlerische Selbstdarstellung verändern.
In einem Akt des Widerstands werden neuromedizinische Geräte umkonstruiert, indem zwar Einblicke in die Gehirnfunktion ermöglicht werden, diese Schnittstellen aber als kreative Ausgabegeräte genutzt werden — als ein partizipatives und kreatives Werkzeug der Kunst.
Die durch die künstlerisch forschende Intervention neu entstandenen „Neuromatic Anordnungen “ werden zu innovativen Werkzeugen für künstlerische Projekte und ermöglichen das selbstgesteuerte Spiel mit den eigenen persönlichen Hirndaten zum Zweck der Erkenntnis.
Das Konzept des Flusses von Gedanken im Spiel, Flow wird das Kernstück des Spieldesigns einer Reihe von Kunstwerken, von physischen und öffentlich durchgeführten Experimenten – entsprechend unserer These, dass künstlerische Forschung öffentlich inszeniert werden sollte. Nach Prinzipien der Spielmechanik präsentieren wir ein hybrides Zusammenspiel zur Untersuchung von politischen Fragen rund um persönliche Daten, Selbstoptimierung, Gehirnmessung in Bezug auf mobile Schnittstellen als Werkzeuge des täglichen Lebens. Wir zielen darauf ab, eine sich entwickelnde Debatte als Voraussetzung für gesellschaftliches Bewusstsein und Aufklärung auszulösen.

CAS LMU Munich – ERES Foundation Munich. RESEARCH Fellow at the Center of Advanced Studies/ Neurosciences 2019.

Margarete Jahrmann ist im Juli und August 2019 Visiting Fellow am CAS. Am 25. Juli 2019 hält sie in der ERES-Stiftung zusammen mit Prof. Dr. Stefan Glasauer ein Gespräch zum Thema “Ludic Epistemes. Inner and Outer Space in Art and Psychophysics” führen.

Live talk… including work selection

Am 7. und 8. August 2019 Workshop  “Experiments as Games”.

2020 PLAN A for I/motions.

Jahrmann M (2020). PLAN A for I/motions. Die Kunst des Spiels mit Emotionen und neuen Formen der Kognition. In: Machines Like Us. Reader Donaufestival. Ed. Thomas Edlinger, Falterverlag Wien, pp 95-103.

ISBN 978-3-9504740-1-5

pdf of the book chapter

Artificial Intelligence (AI), die künstliche Intelligenzentwicklung und Neurowissenschaften sind seit jeher Forschungsfelder, in denen die Fragestellungen der einen Disziplin die Entwicklungen der anderen anregen
und umgekehrt1. In den aktuellen Formen des mittlerweile geflügelten
Begriffs künstlicher Intelligenz werden biologische Modelle aufgegriffen.
Liegt dies allein an der steigenden Rechenleistung, den großen Sätzen
von verfügbarem Big Data, die eine Umsetzung dieser Konzepte nun
endlich ermöglichen, oder lässt sich ein neues Interesse an den menschlichen Affekten als Grundlage unserer Intelligenz ausmachen? Und wie sieht eine Forschung zu unserer Intelligenz und unseren Emotionen aus, die politisch brisant Machine Learning, Face Recognition und Computational Neurosciences koppelt? Welche Fragestellungen werfen künstlerische Arbeiten auf, die unsere emotionale Begegnung mit der AI und einer möglicherweise sich grundsätzlich verändernden AI thematisieren, die affektives Computing mit einbeziehen. Gibt es Kunst, die damit spielt und auf die Forschung Einfluss nimmt?
Der Wunsch, das biologische Gehirn besser zu verstehen, war ein historischer Ausgangspunkt für die Entwicklung erster künstlicher neuronaler Netze. Durch starke Vereinfachung war es möglich, Funktionsweisen und Raster über Prinzipien lebender Systeme auf Rechensysteme zu übertragen.
Der wunderbare Aufsatz A logical calculus of ideas immanent in nervous
activity² von Warren McCulloch and Walter Pitts (1943) zeigt, dass
bereits in den Anfängen der Computation das Verständnis der Funktionsweisen biologischer neuronaler Netze essentiell für die Modellierung künstlicher Netze war. Maschinenlogik und nervöse Aktivitäten wurden in den frühen Simulationen neuronaler Netzwerke so gekoppelt, wie es in der Kybernetik zweiter Ordnung üblich war, nämlich strukturell. ….