Schlagwortarchiv für: Augmented Reality

New Social Plastics Or When Art meets Augmented Reality

With the ever-increasing use of new communication tools and online media, a new era of social plastic in the arts has come upon us. The communication tools in our pockets have steadily increased in power and connectivity and are now allowing us to participate individually as part of cohesive distributed collective.

The culture of today is built around mobility to the point of establishing a society of nomads, who wander from virtually by simply substituting physical movement with that of data. We login, and we are there and everywhere. Our identities: a mix between what we are and how we want to be perceived – multifarious, omnipresent, and perpetually updating.

Along with our new electronic identities and powers of transformation are the transgressions and infractions in which our security is compromised and our privacy infringed upon through hacking, phishing, spamming, cyber stalking, and through information theft. However, are these solely the tools of cyber crime, or are they part of movement that promotes social change through agency?

Image 1: A photo taken during a workshop with Korean youth at the AR Butterflies workshop in which participants create “prepared Selfies” that will be used to texture the wings of virtual butterflies. Once texturized, the virtual butterflies were set free in the Seoul Science museum for all to see.

For example, the term iJacking refers, in actuality, to the theft and use of third-party electronic data. However, when the concept is applied to the appropriation of space for the presentation of arts, the concept is flipped and a repurposing is achieved. Rather than infractions on privacy, interventions in public space are made possible, and “theft” is transformed into acts or aesthetically charged social agency capable of awakening discussion amongst the general public. So, outside of creating savvy artistic intervention, artists using these technologies are infusing their works with strong political messages that address the social agenda.

Image 2: Four of the 50 assets from the work We AR Butterflies, a work using Augmented Reality that was produced with children from around the world and installed in Hannover, Germany at the site of the Memorial to Murdered Jews of Hanover.

Placement of such artworks in public space is made possible by providing a set of geographic coordinates and then linking these to media content housed on a server, fabricating a virtual layer capable of augmenting, masking, and even censoring out what is in real space. The media content placed at those specific coordinates can then be “unveiled” by simply waking your smart device up and clicking on the app that opens the “says-me” for that work.

Not surprisingly, the ability to ijack spaces aligns with the hacker culture of anons. So in an act of digital dissent and after several years of developing and promoting invisible arts through networking with artists, and activists, and the tech savvy, a far reaching movement of exhibitions using gorilla-like tactics in both private and public spaces is gaining acceptance.

Image 3: AR Performance of iLife in iLand with Regina Frank. Growing out of a dress depicting the impact of climate change are a wide range of plants that have the qualities of rebalancing our environmental misdeeds. As the plants grow, the performance disappears behind them in an act against human centric behavior.

The virtual occupations are done not only to appropriate space, nor because it can simply be done technically, but in order to bring about a more encompassing and inclusive vision for the arts by experimenting with new ways of partaking in the art world without asking for its consent and, of course, to force a public dialog that is of mutually benefit to wider audience. Although, the motivations and the methods used are similar to those of the anon, efforts made amongst invisible art creators are more geared toward establishing a wider participatory basis in the arts by acknowledging its role in transforming society through inclusivity and not exclusivity.

The Role of Social Media

Clearly, the occupation of space through virtual means makes a clear statement about the changing uses of public and private space, which has impact on society by the fact that invisible artworks can be made accessible to a wide audience, with or without the permissions of those who administer those spaces. Most importantly, by operating with the high degree of mediating ability of social media, invisible art campaigns are able to open up controversial discourses of political and social nature, driving the discussion –whirled by force of social media coverage—further “up and into” those institutions that strive to structure and shape society.

In this way, meta-protests concerning the environment have also taken place in a vivid and engaging manner, whose message is brought to powerful factions of the society who are tech savvy and able to communicate with media over networks within and beyond local boundaries. With artworks such as iLife for iLand from the German performance artist, Regina Frank with AR from Arthur Clay and Warren Armstrong, the effects of climate change cannot only to be seen through the use of the superimposition of virtual augments, but experienced directly through the powers of immersion that Augmented Reality offers us.

Political Statements

Also, many political statements have been made against diverse forms of biased thinking by combining virtual layers at sensitive locations where such are not expected. For example, the work «We AR Butterflies», that was created out of countless butterflies, texturized with the faces of children from diverse nations, and installed to flock around the Memorial to Murdered Jews of Hanover, Germany. Here, the viewer witness the combination of the real and the virtual, bring in their minds what is beautiful and what is horrible in our society together. The viewer, immersed in the work, can not help but feeling that they are part of it, proving that art can go beyond awe by addressing pertinent issues concerning society, and raise open discussion before reason is defeated, and society goes down in a cascade of loss.

Creative Commons LicenceCreate PDF

Ähnliche Beiträge

Es wurden leider keine ähnlichen Beiträge gefunden.

Augmented Reality in der Krebschirurgie: Kopf-Hals-Karzinome besser lokalisieren

Bietet Augmented Reality (AR) in der Krebschirurgie einen bedeutenden Mehrwert oder ist das Neue auch in dieser Domäne bloss einem Hype geschuldet? Die Universität Basel stellt ihr Forschungsprojekt MOONSTAR vor: Neuartige Detektoren für das CERN in Genf ermöglichen die präzisere Biopsie bei der Krebsfrüherkennung.

Der hochspezialisierte und teure Werkplatz Schweiz profitiert stark von der Kooperation zwischen Hochschulen und der Industrie. Insbesondere in der Medizintechnik ermöglicht diese eine fortlaufende und nachhaltige Transformation vieler klassischer Behandlungsmethoden zum Nutzen der PatientInnen. Unser aktuelles Forschungsprojekt MOONSTAR (Mobile Optical Navigated SPECT Camera with Augmented Reality) widmet sich dieser Aufgabe. Wir entwickeln ein portables Gammastrahlen Sensor- und Anzeigegerät, welches den ChirurgInnen in Zukunft ermöglicht, mit Hilfe einer AR Brille bei der Früherkennung spezifischer Krebserkrankungen genauer zu arbeiten. Dank der Zusammenarbeit zwischen dem Department of Biomedical Engineering der Universität Basel unter der Leitung von Prof. Dr. Philippe Cattin, Prof. Dr. med. Stephan Haerle von der Hirslanden Klinik Luzern und der auf Detektorelementen für das CERN spezialisierten Firma DECTRIS aus Baden konnten bereits erste Erfolge dieser Forschung erzielt werden [1]. Finanziell wird das Projekt durch die Gebert-Rüf-Stiftung unterstützt.

Verhinderung unnötiger Eingriffe

Bei Kopf-Hals-Karzinomen, z. B. dem Tumorbefall der Zunge oder des Rachens, besteht die Standard Behandlung der PatientenInnen darin, den entdeckten Tumor zusammen mit den umliegenden Lymphgefässen zu entfernen, um eine Streuung (Metastasierung) zu verhindern. Dieser Eingriff wird Dissektion genannt und ist sehr invasiv. Dabei wird eine potentielle Überbehandlung der PatientInnen allerdings in Kauf genommen. Studien haben gezeigt, dass bei rund 70% aller Fälle eine solche radikale Intervention gar nicht nötig ist [2]. Die Wächterlymphknoten-Biopsie (SNB) ist eine Methode, die die Stadienbestimmung (Staging) des Krebs minimalinvasiv ermöglicht und eine Überbehandlung verhindern kann. Durch das Staging kann der adäquate Einsatz der Behandlungsmöglichkeiten – Chemotherapie, Bestrahlung, Immuntherapie – der Erkrankung geplant werden.

Feststellen der Streuung eines Tumors

Diese Form der Biopsie wird vor allem für die Diagnose von Brustkrebs- und Hautkrebsmetastasen erfolgreich eingesetzt und aktuell auch für die Früherkennung von Kopf-Hals-Karzinomen evaluiert. Dabei wird eine radioaktiv markierte Flüssigkeit (Tracer) in der Nähe des Tumors des Patienten injiziert. Der Tracer wird langsam über die Lymphbahnen des Körpers hin zu den umliegenden Wächterlymphknoten (SLN) transportiert und dort deponiert (siehe Abbildung 1). Auf dem gleichen Weg erfolgt die Metastasierung der Krebszellen vom Primärtumor aus. Da die so radioaktiv angereicherten Lymphknoten mit einer Gammastrahlen-Messsonde gefunden werden können, erfolgt an diesen Stellen ein Hauteinschnitt und danach die Entnahme der Wächterlymphknoten (SLN) für die anschliessende Analyse im Labor. Falls im Gewebe der SLN keine Krebszellen zu finden sind, hat mit grosser Wahrscheinlichkeit keine Streuung des Tumors stattgefunden. Somit wird eine potentielle Überbehandlung durch eine unnötige prophylaktische Dissektion verhindert.

Abbildung 1: TU – Tumor, SLN – Wächterlymphknoten, LN – Lymphknoten


Limitierungen der aktuellen Diagnostik

Die Gammastrahlen-Messsonde ist allerdings in ihrer Anwendung eingeschränkt, da diese den ChirurgInnen die Aktivitätsanzeige der Strahlung häufig nur als einfaches Audiosignal zur Verfügung stellt. Mit einem Filzstift muss dann die Stelle auf der Haut markiert werden, wo die Aktivität am höchsten ist, um anschliessend die darunterliegenden SLN lokalisieren und entnehmen zu können. Das Vorstellungsvermögen des Chirurgen wird daher stark gefordert und resultiert in einer erheblichen Arbeitsbelastung.

Verbesserung der Diagnostik dank AR

Unsere Methode wird es ermöglichen, anstatt der Audiosignale eine visuelle Repräsentation der Aktivität zu generieren. Dabei wird eine von uns entwickelte spezielle Lochblende (Multi-Pinhole Kollimator) zusammen mit einem mobilen DECTRIS 2D Detektor (basierend auf der im CERN verwendeten Sensortechnologie) eingesetzt und die Strahlung von den Lymphknoten für wenige Sekunden gemessen. Unter Zuhilfenahme der Geometrie des Kollimators und dem Aktivitätsbild aus dem Detektor kann die Lage der Lymphknoten mit einem mathematischen Verfahren berechnet werden. Diese Information wird anschliessend grafisch aufbereitet und an die halbtransparente AR-Brille des Chirurgen gesendet. Dadurch sieht er, dank der Überblendung dieser Information, wo sich die Lymphknoten in den PatientInnen befinden (augmented reality). Dies führt unmittelbar zu einer Arbeitsentlastung und zu einer präziseren Biopsie. Es muss einzig sichergestellt sein, dass der Detektor und die AR-Brille über ein gemeinsames Koordinatensystem verfügen, damit die Darstellung der Aktivität am richtigen Ort innerhalb des aktuellen Blickfeldes des Chirurgen erscheint.


Erste Tests unseres Verfahrens mit einfachen Phantomen (künstliche Testkörper) zeigen vielversprechende Ergebnisse und bestätigen, dass wir in der Lage sind, die Strahlungsverteilung zu rekonstruieren und die so generierten Aktivitäts-Punktewolken darzustellen. Allerdings ist es noch ein weiter Weg, bis sich die bis jetzt getätigte Forschungsarbeit in einem konkreten Medizinprodukt manifestiert. Zuerst müssen die Ergebnisse durch weitere ausführliche Tests validiert werden. Die Firma DECTRIS als Industriepartner investiert bereits viel in die weitere Optimierung und Miniaturisierung ihrer Detektortechnologie für den Einsatz in der Medizin. Mit unserer gemeinsamen Forschung leisten wir einen wesentlichen Beitrag zur Verbesserung der SN-Biopsie, damit unnötige und teure Eingriffe in der Krebsbehandlung in Zukunft verhindert werden können.

Wir sind überzeugt, dass AR, wie in anderen Bereichen der Medizin, einen Mehrwert in der Krebschirurgie bietet. Ziel eines jeden angewandten Forschungsprojekts muss es deshalb sein, Alternativen zur state-of-the-art zu bieten, um neue Wege aufzuzeigen. Dafür benötigt es allerdings unkonventionelle Lösungen und die nötigen finanziellen Mittel, gepaart mit einer guten Zusammenarbeit mit kompetenten Industriepartnern.


  1. Peter von Niederhäusern et al. Augmenting Scintigraphy Images with Pinhole Aligned Endoscopic Cameras: A Feasibility Study. LNCS (Springer) 2016
  2. Hakan Coskun et al. Current philosophy in the surgical management of neck metastases for head and neck squamous cell carcinoma. Head and Neck 2015
Creative Commons LicenceCreate PDF

Ähnliche Beiträge

Es wurden leider keine ähnlichen Beiträge gefunden.