Skip to content

Posts tagged ‘Augmented Reality’

Augmented Reality (AR) in der Medienbildung – neue Möglichkeiten mit Apples ARKit

Nachdem es nach der Einstellung von Googles Augmented Reality-Brille um AR im letzen Jahr etwa ruhiger geworden ist, befeuert jetzt Apple den Hype mit der Vorstellung eines eigenen ARKit. Das ARKit soll im neuen IOS 11, das Herbst 2017 veröffentlicht wird, App-Entwicklern zur Umsetzung von AR zur Verfügung stehen, bzw. lässt sich jetzt schon in der Beta ausprobieren.

Ich bin ja schon länger von der praktischen Anwendung von AR überzeugt und sehr früh haben wir mit Metaversa verschiedene AR-Apps und Webdienste in der medienpädagogischen Arbeit eingesetzt. Dabei hat sich mit der zunehmend besser werdenden Technik der Inhalt der Projekte gewandelt. 2011 war es zunächst die Erstellung von Stadtrallyes bei denen die anzusteuernden Orte als POIs (Point of Interest) in einer AR-Darstellung bei Layar und bei Junaio (von Apple gekauft und eingestellt) angezeigt wurden. Später lag der Schwerpunkt in den Projekten auf markerbasiertem AR, bei dem Bilder, Grafiken etc. genutzt werden, um sie mit virtuellen Informationen zu überblenden. Ein Beispiel dafür ist unsere AR-Rallye Through the Looking-Glass, die die App Aurasma nutzt und die von unserer Webseite zum Ausprobirieren heruntergeladen werden kann. Die App Augment nutzten wir, um mit AR computergenerierte 3D-Objekte in der physischen Realittät darstellen zu können. Im dem mit Jugendlichen im einem Ferienworkshop 2013 gedrehten Film „Minecraft Reality“ waren das selbstgebaute Minecraft Objekte, die in die physische Realität projeziert wurden.

Zwei entscheidende Hürden standen bisher der weiteren Verbreitung von AR-Anwendungen im Weg. Zum einen musste immer ein Handy oder Tablet genutzt werden, das einen nur sehr begrenzten Ausschnitt zeigen konnte und zudem immer erforderte, Handy oder Tabelt (Google Glass war eine erste wenn auch sehr unzureichende Lösung des Problems, mittlerweile bemühen sich hier aber auch andere Firmen wie Microsoft mit der Holo Lens und Magic Leap). Zum zweiten war die Darstellung und stabile Platzierung der virtuellen Objekte im Raum abhängig von der Genauigkeit des Trackers, entweder des GPS Signals (sehr ungenau, insbesondere was die Höhenkoordinate anging) oder eines ausgedruckten Markers bzw. vorhandenen Bildes, das dann aber auch ständig in der Kameraansicht zu sehen sein muss.

Für das zweite Problem scheint Apple nun mit dem ARKit eine sehr gute Lösung gefunden zu haben. Damit sind Apple zwar nicht die ersten, die ersten Apps, die das ARKit nutzen, zeigen aber eine erstaunlich große Positionsgenauigkeit und Stabilität. Damit muss kein physischer Marker mehr im Raum vorhanden sein, an den das virtuelle Objekt gebunden wird. Apple erreicht diese Genauigkeit durch eine Auswertung der verschiedenen in iPhones und iPads vorhanden Sensoren wie Kompass, Accelerometer und Gyroskop in Kombination mit Bilderkennungstechnologien, die berechnen können, wie sich der dreidimensionale Raum um sie herum darstellt. Das Handy oder Tablet erstellt eine dreidimensionale Karte der Umgebung und errechnet seine genaue Position und Lage in diesem Raum. Die Technik dazu heißt Visual-Inertial Odometry (VIO) und scheint wohl von Qualcomm entwickelt worden zu sein. Sie soll auch das in der Robotik bestehende SLAM-Problem (Simultaneous Localization and Mapping; deutsch: Simultane Lokalisierung und Kartenerstellung) lösen.

Auch Google arbeitet schon länger an diesen Technologien. Googles Projekt heißt „Tango“ und ist bereits auf einigen wenigen Smartphones verfügbar. Die Nutzung ist eingeschränkter, denn Tango setzt das Vorhandensein mehrerer Kameras voraus, die aktuell nur in wenigen Smartphones eingebaut sind. (Update 30.8.17: Google gibt die Einstellung des Projekts „Tango“ bekannt, Nachfolgeprojekt ist „ARcore“, das nun weniger Voraussetzungen mitbringt und auf mehr Smartphones laufen wird.)

Inzwischen gibt es zahlreiche Beispiele des Einsatzes von Apples ARKits von Entwicklern, die die Betaversion von iOS 11 nutzen:

Neue Gameoptionen:

Nur mit physischen Markern wäre es nicht möglich, solche Räume auch virtuell zu betreten:

Und einen extrem praktischen Nutzen gibt es auch:

Und bei dieser Killer-App sowieso:

Noch fehlt anscheinend die Funktion, dass sich die virtuellen Objekte auch hinter physischen Gegenständen verstecken können, bzw. von diesen teilweise verdeckt werden, vermutlich nur eine Frage der Zeit. Aktuelle Gerüchte besagen, dass Apple im iPhone 8 3D-Laser-Sensoren auf der Rückseite verbauen wird, die den Abstand zu Objekten sehr genau berechnen können. Und schließlich wird seit einigen Jahren bereits über eine Apple eigene AR-Brille spekuliert.

Dankenswerterweise hat hat sich die Anzahl der Apps, die es erlauben, auch eigene Inhalte einzubinden, in den letzten Jahren stark erhöht, im Gegensatz zu Apps die lediglich vorgegebene Inhalte bieten. Ich bin sehr gespannt, welche Apps uns ab Herbst mit dem ARKit zur Verfügung stehen und welche neuen kreativen Möglichkeiten für die medienpädagogische Arbeit sich daraus ergeben.

Augmented Reality Anwendungen mit Microsoft Excel erstellen

junaio_grenzgeschichten

Zur Erstellung von geobasierten AR Rallyes habe ich in der Vegangenheit gerne den Hostingservice Hoppala genutzt. Weder Layar noch Junaio als die populärsten AR Dienste bieten die Möglichkeit die ortsbasierten Informationen (Points Of Interest, POIs) auf deren Servern abzuspeichern, so dass diese entweder selbst gehostet oder ein zusätzlicher Dienst eingebunden werden muss. Mein bisher favorisierter Anbieter Hoppala wird leider nicht weiter gepflegt und so sind seit einigen Monaten verschiedene Funktionen nicht mehr verfügbar.

Nun bietet Junaio eine ganz neue und einfache Möglichkeit, eigene AR Ebenen für die Junaio App über das Anlegen der POIs in einer Microsoft Excel Tabelle zu erstellen.

Nötig dazu ist zunächst einmal der Download und die Installation der Excel-App „Metaio Creator“. Diese lässt sich über den Microsoft Marketplace finden und per Klick zu Excel hinzufügen. Mindestens Office 2013 wird vorausgesetzt, d.h. am Mac funktioniert das derzeit nicht.

microsoftmarket

In Excel wird eine Tabelle geöffnet und dann in „Einfügen“ der Metaio Creator ausgewählt. Im rechten Menü der App loggt man sich mit seinem Junaio Developeraccount ein. Es empfiehlt sich, in der oberen Zeile die benötigten Parameter für jeden POI erzeugen zu lassen. Außer den Koordinaten, dem Namen und einer kurzen Beschreibung sind alle Angaben optional. Jede Zeile stellt einen POI dar. Die Koordinaten lassen sich am einfachsten über Google Maps herausfinden. Zu beachten ist nur, dass aus dem Dezimalpunkt den Google Maps ausgibt, ein Dezimalkomma gemacht werden muss. Ich musste außerdem die Zelleneigenschaften in Excel auf sechs Stellen hinter dem Komma einstellen. Sollen Vorschaubilder in den POI Beschreibungen verwendet werden, muss das Vorschaubild zuerst irgendwo im Web abgelegt werden. Der Link zum Bild wird dann in die entsprechende Spalte eingetragen.

metaiocreatorapp2

Sind alle Punkte angelegt, muss zunächst die oberste Zeile gelöscht werden. Anschließend Namen und Beschreibung der AR-Ebene eingeben und auf Upload klicken. Das war es dann schon. Die Ebene ist sofort in Junaio verfügbar, wenn ich den bereitgestellten QR-Code nutze und mit Junaio scanne.

Über die Suchfunktion von Junaio ist die Ebene erst auffindbar, wenn über die Weboberfläche des Junaio Developeraccounts die Freigabe beantragt wird. Dies dauert erfahrungsgemäß zwei bis drei Tage.

Leider fehlen in der App einige Parameter, die Junaio POIs normalerweise auch bieten. Dazu gehört u.a. auch die Einstellung, ab welcher Entfernung ein POI in der AR Ansicht der App sichtbar wird. D.h. alle angelegten POIs sind immer sichtbar und können von jedem Ort aus aufgerufen werden. Gerade für den Spielcharakter einer AR Rallye fehlt damit eine wesentliche Funktion, da die SpielerInnen nun nicht mehr real vor Ort sein müssen, um die entsprechenden ortsbasierten Informationen zu erhalten. Vielleicht entwickelt Junaio das Plugin hier noch weiter. Für viele andere Anwendungsbereiche ist die Excel App ansonsten eine sehr einfache Alternative zur manuellen Programmierung einer AR-Ebene als XML-Datei.

Weitere Infos im Blog von Metaio: http://blog.metaio.com/2014/11/25/metaio-brings-free-augmented-reality-authoring-tool-microsoft-excel/

AR Rallye „Through The Looking-Glass“

coverbildweb-600x286

Für meinen Verein Metaversa e.V. habe ich eine auf Bilderkennung beruhende Augmented Reality (AR) Rallye erstellt: „Through The Looking-Glass“. Oftmals können sich die Leute unter AR noch wenig vorstellen und schriftlich oder auch im Video lässt sich die Technik nur schlecht erklären. Am besten natürlich, man probiert es selber aus. Deshalb ist die erstellte Rallye ortsunabhängig, Materialien und Beschreibungen können von der Webseite runtergeladen, genutzt und auch bearbeitet werden.

Benötigt werden lediglich die ausgedruckten Trigger-Bilder, ein Smartphone oder Tablet mit Internetzugang und die App „Aurasma“.

Image-based Augmented Reality selber erstellen: Layar, Wikitude, Metaio, Daqri, Aurasma und Augment

aurasma_austellungkl

Nach den positiven Erfahrungen aus den Augmented Reality (AR) Handyrallyes in unseren „Surfing The Streets“ Projekten habe ich mich in letzter Zeit den Image-based AR Anwendungen gewidmet. Nicht zuletzt motiviert durch die aktuellen technischen Entwicklungen von AR-Brillen wie der Google Glass. Trotz vielfältiger medialer Präsenz hat sich die Nutzung von AR im alltäglichen Gebrauch bisher kaum durchgesetzt, was m.E. an der umständlichen Handhabbarkeit liegt. Es sind einige Schritte zu tun, um AR Inhalte anschauen zu können: Spezielle App auf Handy oder Tablet starten, gegebenenfalls noch eine entsprechende Ebene oder Kategorie suchen und aufrufen, die Smartphonekamera auf ein Zielobjekt richten oder wie bei ortsbasiertem AR sich mit dem Smartphone um die eigene Achse drehen, um die zur Umgebung passenden Informationen eingeblendet zu bekommen. Das sieht manchmal nicht nur seltsam aus, sondern lässt sich auch wirklich nur mit gut funktionierendem Kompass und Gyroskop präzise nutzen.

Anders mit einer Brille wie den Google Glasses: entsprechend der Kopfbewegungen bzw. Blickrichtung werden digitale Informationen automatisch eingeblendet. Kleiner Nachteil bisher: Die digitalen Informationen werden nicht im gesamten Gesichtsfeld angezeigt, sondern lediglich in einem kleinen Feld oben rechts. Inzwischen haben bis auf Augment alle hier genannten Dienste Apps für Google Glass entwickelt. Eine weitere Erleichterung wäre die Entwicklung von in Kontaktlinsen integrierten Displays, wie sie in dem Kurzfilm „Sight“, den wir gerne in Workshops einsetzen, ebenso zukunftsweisend, wie auch erschreckend gezeigt wird.

Im Vorfeld eines für die sächsischen SAEK durchgeführten Workshop habe ich mir die angebotenen Lösungen für image-basiertes AR genauer angeschaut und ausprobiert. Der Schwerpunkt lag dabei auf den Diensten, die es ermöglichen, eigene Inhalte einzubinden. Darüber hinaus gibt es auch eine Reihe schöner Beispiele für AR Apps, die nicht nur nützlich sind, sondern gleichzeitig auch ästhetisch Spaß machen. Das geht mittlerweile über die mit digitalen Infos angereicherten Produktkataloge wie z.B. von Ikea weit hinaus. Mit AR werden kleine Spiele wie z.B.  TOY Car RC entwickelt oder Visualisierungen naturwissenschaftlicher Experimente wie bei Elements 4D. Mit Elements 4D können kleine Würfel mit chemischen Elementen miteinander kombiniert und die entsprechenden chemischen Reaktionen auslöst werden.

4d Elements elemente

Elements 4D

Die bekanntesten Dienste, die für die Produktion eigener AR Inhalte in Frage kommen, die auf Bilderkennung beruhen, sind Layar, Metaio (Junaio), Wikitude, Daqri, Aurasma und Augment. Im Gegensatz zu geobasiertem AR, das mit Layar, Wikitude und Metaio ebenfalls möglich und kostenlos ist, lassen sich die Firmen für das imagebasierte AR gut bezahlen.

Bezahlt wird entweder eine monatliche Pauschale, die eine unbegrenzte Anzahl an Markern einschließt (ab $275/Monat bei Metaio), oder für eine bestimmte Anzahl an Markern (z.B. 10 Marker für $19/Monat bei Wikitude oder 400€/Jahr bei Layar). Eine weitere Einnahmequelle ist die Lizenzierung der eigenen Technologie in Form von Entwicklungsumgebungen (SDKs). Metaio, Wikitude, Daqri und auch Layar bieten solche SDKs mit denen die AR Funktionen in eigene Apps integriert werden können. Layar bietet außerdem einen Premiumaccount mit erweiterter Funktionalität für $3000 im Jahr an. Metaio läßt sich seine Editorsoftware (Metaio Creator, 490€) bezahlen.

augment_app

Augment

Funktionsweisen

Auch wenn jeder Dienst eigene Bezeichnungen nutzt, wird hier im Text immer der Begriff Marker (Synonym für Trigger, Tracker, Page, Targets, Image) für das zu scannende Bild (oder Objekt, wobei die Erkennungsraten von dreidimensionalen Objekten noch nicht besonders groß sind) und Overlay (synonym für Button, Augmentations) für die digitalen Überblendungen benutzt.

Die Erkennung von Bildern funktioniert bei allen Diensten ähnlich gut. Die Apps unterscheiden sich im wesentlichen in der Art, wie die eigenen AR Inhalte für andere bereitgestellt werden.

Sowohl bei Layar als auch Metaio, Wikitude und Aurasma können als Overlays Bilder, Videos, Audio, Links oder auch 3D-Objekte mit Animationen angezeigt werden. Bei Layar und Metaio können außerdem interaktive Overlays programmiert werden. Augment ist auf 3D Modelle beschränkt.

Das Hauptkriterium für die Entscheidung zugunsten einer AR Anwendungen ist für mich vor allem die Benutzungsfreundlichkeit oder die sogenannte „User Experience“. Da es sich um eine relativ neue Technologie handelt, gibt es hier keine Standards bzw. Bedienungsabläufe die intuitiv ausprobiert werden können. Werden die Apps auf dem Tablet oder Smartphone geöffnet, ist jeweils sofort das Livebild der Kamera zu sehen, meist mit dem Hinweis „Scannen“. Lediglich Augment zeigt zuerst eine Liste der eigenen hochgeladenen 3D-Modelle. Nur bei Aurasma lässt sich eine Übersicht von bereits bestehenden universellen bzw. globalen AR Inhalten (hier „Auras“ genannt) anzeigen. Bei allen anderen Diensten muss ich zum Ausprobieren auf Bildbeispiele auf den Webseiten zurückgreifen. Aurasma erfordert als einzige AR App eine Registrierung.

aurasma3

Aurasma

layar_twitteroverlay

Layar

Um eigene Inhalte zu erstellen bieten mit einer Ausnahme alle Dienste webbasierte Editoren an. Metaio setzt mit seinem „Metaio Creator“ auf eine Software für Windows oder MacOS. Bei Aurasma besteht zusätzlich die Möglichkeit, AR Inhalte gleich über die App zu erstellen. Dafür stehen bei Aurasma eine Reihe von vorgegebene Grafiken und Bildern, aber auch 3D-Animationen zur Verfügung. Zusätzlich kann ein auf dem Gerät vorhandenes Bild oder Video genutzt werden.

Die Funktionsweise aller Editoren ist ähnlich. Ein eigenes Bild als Marker wird hochgeladen und darauf werden dann verschiedene Overlays platziert, die in der AR Ansicht auf den Bildern sichtbar werden, beispielsweise Fotos oder Videos. Layar und Metaio bieten hier die meisten Möglichkeiten, bis hin zur Integration von Javascript, mit dem auch kleine Spiele programmiert werden können.

Große Unterschiede gibt es in der Sichtbarkeit der eigenen AR Inhalte für andere. Layar hat nur eine „globale“ Ebene, d.h. alle erstellten Inhalte sind für jeden überall und sofort sichtbar. Bei Metaio muss zunächst eine Ebene (hier „Channel“ genannt) für die App Junaio erstellt werden. Der Channel muss in der App dann entweder über die Suchfunktion gefunden oder mit Hilfe eines QR Code aufgerufen werden, der nach dem Abscannen die entsprechende Ebene aufruft. Auch Wikitude arbeitet mit Ebenen, die hier Worlds heißen. Eigene AR Inhalte müssen hier auch einer World zugeordnet werden, die in der Wikitude App per Suchfunktion gefunden werden kann.

AR Inhalte, die ich mit Aurasma erstelle (entweder mit der App oder dem Editor), sind zunächst nur für Personen sichtbar, die mich abonniert haben. Ich kann den Personen, denen ich meine AR Objekte zugänglich machen will, eine Mail mit dem entsprechenden Link schicken. Seit einigen Monaten können in Aurasma keine eigenen Ebenen/Kanäle mehr angelegt werden, d.h. es müssen immer alle Auras einer Person abonniert werden. Aurasma Nutzer_innen lassen sich auch üner die Suchfunktion der App finden. Möchte ich eine universelle Aura anlegen, die sofort bei allen sichtbar wird, muss ich dafür bezahlen. Kosten dafür müssen erfragt werden.

Augment funktioniert ein wenig anders. Im Vordergrund steht hier das Betrachten von 3D-Modellen, die über die Augment-Webseite hochgeladen wurden. Hochladen kann diese jeder Nutzer/jede Nutzerin von Augment. Eine Verknüpfung mit einem bestimmten Marker ist erstmal nicht nötig. Den Marker erzeugt sich jeder Nutzer/jede Nutzerin individuell. Möchte ich eine spezielle Zuordnung eines meiner 3D-Objekte zu einem bestimmten Marker, dann lege ich im Editor einen Marker an und weise diesem eines meiner 3D-Objekte zu. Dieser Marker zeigt dann bei allen Augment-Nutzer_innen das gleiche 3D-Modell an.

Einige pädagogische Einsatzszenarien

Virtuelle Ausstellung mit Augment: Eigene 3D-Modelle werden in einer Galerie oder auch im öffentlichen Raum gezeigt, in dem große Marker auf den Boden geklebt werden. Die 3D Objekte können damit überlebensgroß im Raum platziert und von allen Seiten durch Herumlaufen betrachtet werden.

Gebäuderallye mit Augment: Ähnlich einer QR Code Rally in Gebäuden, bei denen abgescannte QR Codes jeweils Hinweise auf neue zu findecde Orte und weitere QR Codes bilden, können Marker von Augment genutzt werden um dreidimensionale Objekte in den Räumen erscheinen zu lassen, die als Wegweiser zu anderen Orten fungieren.

Interaktiver Film mit Aurasma, Layar, Wikitude oder Junaio: AR Marker werden an verschiedenen „Spielorten“ in der Umgebung platziert und mit Videoszenen eines Films überblendet. Der Zuschauer/die Zuschauerin hat die Möglichkeit die Orte in einer Reihenfolge seiner/ihrer Wahl anzusteuern und könnte dadurch z.B. bei einem Krimi verschiedene Hinweise auf die Auflösung erhalten.

Multimedia-Buch mit Aurasma, Layar, Wikitude oder Junaio: In einem Lehrbuch werden Videos über bestimmte Abbildungen gelegt. Das könnten Statements der Schüler_innen zu den Inhalten sein, Tutorials oder abgefilmte Versuche in naturwissenschaftlichen Büchern.

Fazit

Es gibt nicht den besten Dienst für image-basiertes Augmented Reality, vielmehr ist der Einsatz von einer Vielzahl von Faktoren abhängig. Am wichtigsten dabei ist wohl, wie einfach der Weg ist, damit andere meine eigenen AR Inhalte betrachten können. Eine App, die für mich hier positiv herausstach, auch wenn die Funktionen nur sehr rudimentär waren, war Stiktu, das leider im Frühjahr 2014 eingestellt wurde. Ein beliebiges Bild konnte direkt in der App mit eigenen Fotos, Text oder vorgegebenen Stickern kombiniert werden und war anschließend sofort weltweit für alle Stiktunutzer_innen verfügbar. Der Vorteil: Die Erstellung war unglaublich einfach, die Ergebnisse konnten sofort von allen betrachtet werden. Ein Projekt von Medien + Bildung.com  hatte sich das zu Nutze gemacht, in dem Streetartbilder in Mainz mit eigenen Kommentaren versehen wurden.

Aurasma ist sicher eine gute Wahl, wenn ich die Möglichkeit habe, auf Tablets oder Handys, die beispielsweise die Besucher einer Ausstellung oder Präsentation nutzen, etwas vorzuinstallieren, weil dort der entsprechende Inhalt im voraus abonniert werden kann. Ansonsten würde sich Junaio anbieten, da hier die Nutzer lediglich aufgefordert werden müssten, die kostenlose App zu installieren und einen QR Code abzuscannen, um die AR Inhalte betrachten zu können.

Die Kosten sind natürlich ebenfalls ein wichtiger Faktor. Zumeist wird man jedoch oft schon mit den Trial- oder Demoversionen auskommen, die die meisten Dienste anbieten. Oft gibt es die Möglichkeit als Bildungseinrichtung Rabatte zu bekommen oder auch gänzlich kostenlos AR inhalte erstellen zu können.

Ich freue mich über Erfahrungsberichte in den Kommentaren.

 

Übersicht über AR Editoren zum Download:

uebersicht_ar_editoren_vorschau

Download: Augmented_Reality_Editoren.pdf (PDF, 65 kB)

 

Augmented Reality Editoren UIs:

layar_creator

Layar Creator

metaio_creator

Metaio Creator Software (MacOS)

Wikitude Studio

Wikitude Studio

Aurasma Studio

Aurasma Studio

 

 

Creative Commons Lizenzvertrag Dieses Werk ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.

Minecraft Objekte exportieren und in Augmented Reality Ansicht anzeigen

Minecraft ist aktuell eines der angesagtesten Onlinespiele (leider hauptsächlich männlicher Jugendlicher). Wer Minecraft kennt, weiß, dass hier vor allem Kreativität eine große Rolle spielt, wenn eigene Objekte in den Onlinewelten erschaffen werden. Das macht Minecraft natürlich für medienpädagogische Aktionen spannend. Um aber über das Selbstgestalten hinauszugehen, kombinierten wir in einem Workshop im Sommer 2013 das Ganze mit dem Thema Augmented Reality, das nun spätestens seit Google die erste Version von Google Glasses an ausgewählte Käufer vergeben hat, in der Öffentlichkeit einen gewissen Bekanntheitsgrad erreicht hat.

In einem dreitägigen Workshop haben wir mit neun Jugendlichen Minecraftobjekte geschaffen und diese aus den Welten exportiert, um sie per Augmented Reality in der physischen Welt zu platzieren. Neben der Vermittlung von Wissen über Augmented Reality ging es uns auch darum, zu reflektieren, welche Chancen und Gefahren sich aus dieser Technologie ergeben.

IMG_1201

Zum Export von Objekten aus Minecraft haben wir Mineways benutzt. Ähnliches leistet noch die Java App „jMc2Obj“. In meinen Tests hat sich aber gezeigt, dass die mit jMc2Obj exportierten Objekte teilweise Texturfehler aufwiesen. Daneben gibt es noch die iOS App “Minecraft Reality”. Über eine Webseite können hier Minecraft Objekte direkt in die App übertragen und in einer AR Ansicht angezeigt werden, ohne den Umweg über das 3D-OBJ-Format zu gehen. Bei Minecraft Reality muss über eine Webseite die Regionsdatei importiert werden. In den meisten Fällen hat bei mir aber der Upload nicht funktioniert. Außerdem muss erstmal herausgefunden werden, in welcher Region in der Minecraftwelt sich das Objekt überhaupt befindet.

An dieser Stelle also nun der Weg, den wir im Workshop gewählt haben:

A. Export der Objekte aus Minecraft mit Mineways (Win und Mac)

Es ist generell nur der Export aus der Welt auf dem eigenen PC möglich, bzw. Aus einer Minecraftwelt, bei der man FTP-Zugriff auf den Server hat.

1. in Mineways importiert werden (Open World) muss die Datei level.dat der Welt?Zu finden ist die Datei unter:?../Library/Application Support/Minecraft/Saves/ (Mac)?…/Dokumente und Einstellungen/Besitzer/Anwendungsdaten/ .minecraft/saves/ (Windows, bei Ordneroptionen müssen versteckte Dateien angezeigt werden)

2. Wichtig: Die Angabe in Mineways “Level Depth” entscheidet, ob der Untergrund mit exportiert wird. 4 in einer Superflat World oder 63 in einer normalen Welt verhindert, dass der Boden exportiert wird. Auf der Höhe 63 liegt überlicherweise der Meeresspiegel in Minecraft Welten.

mineways

3. Das zu exportierende Objekt wird auf der Karte mit der rechten Maustaste ausgewählt.

4. Weiter im Menü mit „File“ und „Export for Rendering“. Im Exportdialog „Make Z the up direction instead of Y“ markieren, ansonsten liegt das Objekt später auf der Seite.

5. Es werden insgesamt 3-5 Objekte exportiert: OBJ, MTL, PNG und bei transparenten Strukturen zusätzlich zwei weitere PNG-Dateien.

B. Es empfiehlt sich, das Objekt auf dem PC vor dem Hochladen anzuschauen, z.B. mit dem GLC Player (Mac und Windows),  (Achtung: Durchsichtige Texturen/Alphakanäle funktionieren nicht)

glc_player

C. Zum Betrachten in der AR Ansicht auf dem Smartphone/Tablet haben wir die App „Augment“ (Android und iOS, kostenlos) benutzt

1. Vorher müssen alle exportierten Dateien zusammen in ein ZIP-File gepackt werden.

2. Upload des ZIP-Files über http://agmt.me (Registrierung auf der Webseite erforderlich). ?Zusätzlich sollte ein kleiner Screenshot als Thumbnail und ein Marker/Tracker hochgeladen werden (Tracker kann irgendein Bild mit relativ komplexen Strukturen sein)

augment_add_3d

3. Anschließend wird die App „Augment“ auf Smartphone oder Tablet geöffnet

4. Einloggen mit dem Benutzer der auf agmt.me angelegt wurde

5. Eigene Objekte finden sich im Menü unter „My Business Catalog“

augment_ipad1

6. das Objekt nun in AR Ansicht öffnen. Es erscheint mittig in der Kamaraansicht und kann durch Ziehen bewegt oder verkleinert und vergrößert werden.?7. Eigenen Tracker/Marker anlegen erhöht die Genauigkeit der Darstellung, dazu in der AR-Ansicht auf „Tracker“, „Create Tracker“ klicken. Dazu sollte man eine feste Pappe mit einem gut strukturierten Bild bereithalten, dass dann zunächst als Tracker abfotografiert wird. Hält man den Tracker später ins Kamerabild erscheint darauf stehend das Minecraftobjekt und kann durch drehen und kippen von allen Seiten betrachtet werden.

Weitere Smartphone/Tablet App, die Minecraft-Objekte in einer AR Ansicht zeigt:

Minecraft Reality (nur iOS, 1,79 €)?Upload eigener Objekte über minecraftreality.com (Beta) möglich, aber kompliziert?Eigene Marker möglich, (auch aus verschiedenen Perspektiven, z.B. Straßenfläche, Häuserwände)

Nichtgetestet, aber möglich wäre es natürlich auch, die 3D-Objekte auf einem 3D Drucker auszudrucken. Dazu werden ebenfalls die OBJ-Datei und die Bilder der Texturen verwendet. Ein Internetdienst, der das Drucken anbietet ist Shapeways. Soll die Farbigkeit erhalten bleiben muss als Material: Fullcolor Sandstone, 0,75$ pro cm³) gewählt werden. Beispiele dafür finden sich unter: https://www.flickr.com/groups/mineways/pool/with/6626972287/

Und hier noch der im Workshop entstandene Film, in dem unsere TeilnehmerInnen das Vorgehen beschreiben und Beispiele zeigen, aber auch in Straßeninterviews Passanten zu ihrer Meinung über „Augmented Reality“ befragt haben:

 

Augmented Reality in der Medienarbeit

(Der Artikel wurde erstmals veröffentlicht am  14.11.2011 im Medienpädagogik-Praxis-Blog)

Wer möchte nicht schon mal gerne seine Realität erweitern? Augmented Reality (AR) verspricht genau das, wenn auch nicht ganz so spektakulär, wie dieses neue Buzzword vielleicht glauben macht. AR-Apps auf Smartphones nutzen Kompass, GPS- und Videofunktionen, um zusätzliche Informationen über bestimmte Orte, die sogenannten POIs (Points-of-Interest), in ein Livekamerabild einzublenden: in welcher Richtung ist die nächste Bushaltestelle, wo ein Geldautomat, in welchen Häusern sind Wohnungen zu vermieten etc. . Zumeist sind das Einblendungen von Icons oder Markern, die anklickbar sind und ein Fenster mit Informationstext und Fotos öffnen. Mittlerweile können das auch 3D-Objekte sein, die dann am Orginalort eine virtuelle Berliner Mauer wieder auferstehen lassen.

Für den Einsatz in der medienpädagogischen Arbeit bieten sich vielfältige Möglichkeiten. Immer wenn es um Inhalte geht, die mit festen Orten verknüpft sind, lassen sich diese alternativ zu einer Kartendarstellung als AR-Anwendung umsetzen: von geschichtlichen Ereignissen über architektonische oder ökologische Besonderheiten bis hin zu aktuellen Orten der Jugendkultur. Insbesondere die optionale Verwendung von 3D-Objekten fördert den kreativen Medienumgang: so kann ich mit eigenen virtuellen Skulpturen das Straßenbild bereichern oder gleich eine komplette computergenerierte Stadt zum Durchwandern erschaffen. Am attraktivsten ist sicher die Entwicklung von Handyrallyes mit Wettbewerbscharakter, der sich ja oft als sehr motivierend erweist. Wie sich ortsbezogene Informationen mit Aufgaben verknüpfen lassen und daraus ein Spiel entsteht, schildere ich im folgenden Text.

Augmented Reality Apps

Die drei bekanntesten AR-Apps sind Layar (www.layar.com), Wikitude (www.wikitude.com) und Junaio (www.junaio.com), die sowohl auf iPhones als auch auf Android-Handys laufen. Bei jedem der Programme entscheide ich selber, welche Art von Informationen ich über meine Umgebung erhalten will. Über den Startscreen der App kann ich aus einer Vielzahl vorhandener Ebenen die mich interessierende auswählen. Die Informationsebenen (in der Layar-App heißen diese Ebenen, bei Wikitude Worlds und bei Junaio Channel) sind kein fester Bestandteil der Programme, sondern können von ganz unterschiedlichen Servern geladen werden. Deshalb spricht man bei den Apps auch von AR-Browsern.

Alle Anbieter erlauben, eigene Ebenen zu erzeugen und zu laden. Die Ebeneninhalte können auf dem eigenen Server abgelegt werden, der allerdings über bestimmte Librarys verfügen muss. Die Ebenen müssen mit einer bestimmten Syntax programmiert werden. Einfacher ist es, einen Hostingservice zu nutzen, bei dem die eigenen AR-Ebenen gespeichert werden und die über einfach zu bedienende Webformulare das Anlegen der POIs ermöglichen. In jedem Fall muss die Ebene immer beim jeweiligen AR-Webdienst angemeldet werden.

Der Workshop

Die Möglichkeit, in einem Bildungsworkshop mit Jugendlichen eine eigene AR-Ebene zu programmieren, habe ich mit meinem Verein Metaversa e.V. (www.metaversa.de) im September 2011 erstmalig ausprobiert. Unter dem Titel „Surfing the streets“ (surfingthestreets.wordpress.com) luden wir Jugendliche in den Herbstferien ein, gemeinsam ortsbezogene Dienste auf Handys auszuprobieren. Inhaltlich ging es um das Leben im Berlin der zwanziger Jahre wie es im experimentellen Dokumentarfilm „Sinfonie einer Großstadt“ von 1927 dargestellt wird. Die Jugendlichen recherchierten zur damaligen Lebenssituation der Menschen und versuchten bei einem Stadtrundgang die im Film vorkommenden Orte wieder zu finden.

Insgesamt entstanden acht kleine Ortsportraits, zum Teil noch ergänzt um kurze Videointerviews mit Passanten, deren geschichtliche Kenntnisse überprüft wurden. Zur Umsetzung als AR-Ebene entschieden wir uns für Layar als App und den Hostingservice Hoppala (www.hoppala.eu), der nach unserer Recherche die meisten Funktionalitäten anbietet. Um die Nutzung unseres Layers auch im Anschluss an den Workshop für andere interessant zu machen, wurde daraus eine Handyrallye gestaltet, indem Quizfragen in die Beschreibung der POIs integriert wurden, verbunden mit der Chance auf einen Gewinn, wenn alle Orte aufgesucht und die Fragen korrekt beantwortet werden.

Eigene AR-Ebene anlegen

Erforderlich ist eine Registrierung als Developer sowohl bei Layar, als auch bei Hoppala. Hoppala gestatte das kostenlose Anlegen unbegrenzter Ebenen mit bis zu insgesamt hundert POIs (die hier Augments genannt werden), die dann aber ein Hoppala-Branding tragen. Möchte man dies nicht, oder benötigt mehr Punkte, kostet der Dienst 50 Euro/Jahr. Ein großer Vorteil von Hoppala ist, dass die hier eingegebenen Augments auch gleichzeitig für Ebenen bei Wikitude und Junaio genutzt werden können. Layar ist für Developer kostenlos wenn weniger als 10.000 Abrufe von POIs pro Monat stattfinden.

Der erste Schritt zu einer eigenen AR-Ebene beginnt bei Layar. Nach dem Einloggen als Developer lege ich einen eigene Ebene (Layer) an und gebe dieser einen Namen. Als nächstes werden bei Hoppala die POIs bestimmt. Dazu wird auch dort eine neue Ebene angelegt, die den selben Namen bekommen muss. Auf einer Google Map können per Mausklick die Marker an den gewünschten Orten platziert und mit Informationen versehen werden.

Außer einem Titel können einem POI ein Foto und drei sehr kurze Textzeilen zugewiesen werden und verschiedene Aktionen (Actions), die Interaktionen ermöglichen, sobald der Punkt ausgewählt ist. Das kann zum Beispiel ein Link zu einer Webseite sein, ein Videoaufruf oder das Starten eines Telefonanrufs.

Sind alle POIs bei Hoppala angelegt, werden die Grundeinstellungen der Ebene bei Layar vorgenommen. Das wichtigste dabei ist das Eintragen der sogenannten API Endpoint URL, die Layar sagt, auf welchem Server die POIs gespeichert sind. Diese URL stellt Hoppala bereit (Overlay URL). Bei Layar werden außerdem festgelegt: ein Infotext zur Ebene mit Startbild, ein Icon und die farbliche Gestaltung der Infoboxen und des Textes. Wichtig ist vor allem auch, einen Ortsbereich festzulegen, an dem sich die POIs befinden. Die Ebene wird mir dann als Layar-Nutzer unter der Kategorie „Lokal“ angezeigt, sobald ich mich in der Nähe befinde.

Der letzte Schritt ist das Einreichen der Ebene zur Freischaltung bei Layar. Es empfiehlt sich, die Ebene vorher ausgiebig zu testen. Das ist ganz leicht möglich, indem ich mich in der Layar-Smartphone App mit meinem Developeraccount einlogge. Auch auf noch nicht freigegebene Ebenenentwürfe kann ich dann direkt zugreifen. Das anschließende Prüfen durch Layar dauert in der Regel drei bis fünf Tage und wird per Mail bestätigt, zum Teil mit Hinweisen, wie die Ebene noch verbessert werden kann.

Gestaltung einer Handyrallye

Layar ist nicht unbedingt dafür ausgelegt, eine Spielsituation zu erzeugen, wie etwa den nächsten Ort einer Stadtrallye erst nach Lösung einer Aufgabe anzuzeigen. Es gibt aber zwei Eigenschaften, die der Ebene bzw. den POIs zugewiesen werden können, die dabei sehr hilfreich sind. Zum einen kann für die Ebene generell festgelegt werden, bis zu welcher Entfernung POIs noch sichtbar sind. Damit kann ein Ausgangspunkt festgelegt werden und alle anderen Orte werden erst sichtbar, wenn ich mich ihnen nähere. Die zweite Funktion betrifft die einzelnen Orte, hier kann ich entscheiden, wie nah ich dem Punkt sein muss, um eine Aktion auszulösen, also z.B. einen Link zu einer Webseite anzuzeigen oder eine Audio- oder Videodatei abzuspielen.

Für unsere Stadtrallye haben wir dies genutzt, in dem die einzelnen POIs so programmiert wurde, dass die Links zu den Quizfragen erst sichtbar werden, wenn ich mich näher als 400 Meter vom Ort entfernt befinde. Eine Reihenfolge der Stationen war uns egal, d.h. alle Orte werden gleichzeitig angezeigt, jedenfalls wenn man sich in der Innenstadt Berlins bewegt.

Fazit

Die Jugendlichen hatten sehr viel Spaß im Workshop, an erster Stelle natürlich dabei, in der Stadt mit Fotoapparat und Video unterwegs zu sein. Augmented Reality Apps hatten sie vorher noch nie genutzt und kannten diese nicht einmal, waren aber natürlich schnell dabei, die von uns zur Verfügung gestellten Smartphones auszutesten. Und warten jetzt natürlich gespannt auf die ersten Einsendungen des richtigen Lösungsworts zur „Sinfonie einer Großstadt“-Ebene bei Layar. Zumindest laut der Statistik, die Layar auch über jede Ebene führt, wird unsere Statdrallye bis zu 30 mal täglich aufgerufen.

Für Berliner und Brandenburger Bildungseinrichtungen bieten wir an, sich unsere fünf Smartphones auszuleihen und entweder damit das historische Berlin der zwanziger Jahre zu entdecken oder gerne auch mit unserer Unterstützung eigene Layar-Ebenen zu programmieren.

Projektwebseite: surfingthestreets.wordpress.com

Augmented Reality – der nächste Hype

Das vor einigen Wochen erschienene iPhone 3GS war dann wohl der Durchbruch für „Augmented Reality für Mobiltelefone“, jedenfalls wenn ich die zunehmende Zahl von Blogbeiträgen über neue AR-Anwendungen in meinem Feedreader sehe. Sehr motivierend, um mal alle Clippings meines Newsreaders und meine Delicious-Bookmarks zusammen zu tragen und ins Cyberwiki einzutragen (Wiki=jeder/jede darf mitmachen!).

Apple war gut beraten, ins 3GS einen Kompass einzubauen, wie ich mir das schon im Artikel vom April über Wikitude gewünscht hatte. Dort hatte ich mir von Wikitude auch eine offenere Plattform gewünscht, um eigene Inhalte in den AR-Browser, den es damals schon für Android-Phones gab, zu bringen. Mit Wikitude.me hat Mobilizy inzwischen diesen Weg beschritten. Dort können Nutzer ihre eigenen Point-of-interests veröffentlichen, die der Wikitude-Browser anzeigt. Ein m.E. besseres Konzept bietet Layar. Hier können komplette eigene Layer zur Informationsüberlagerung des Videobilds des Handys programmiert werden. Und neben den derzeit beliebten Nächster-Bus- und nächstgelegene U-Bahn-Station-Anwendungen wird damit der Weg frei für eine neue Runde im Mobile Learning mit AR-Anwendungen von historischen Stadtrundgängen, literarischen Schauplätzen u.v.a. mehr. (Ich freu mich ja schon auf viele neue Arten von Location-based Games;-))

Meine kompletten Notizen zu Augmented Reality unter: http://cyberwizard.de/cyberwiki/index.php?title=Augmented_Reality

Der neueste Player im AR-Browser Markt ist Robotvision:

P.S.: Ich würde mal sagen, apple wäre auch gut beraten, wenn sie den ganzen Kram* auch in ihr Tablet einbauen. *GPS, Kompass, Accelerometer, Kamera

Clash of Cultures mal anders: Augmentation versus Immersion

secondlife_rueckkoppelung

Trotzdem sich mein Avatar Ziggy seit immerhin zwölf Jahren durch virtuelle Welten bewegt, ist mir anscheinend eine Diskussion bisher entgangen: Augmentionisten gegen Immersionisten. Wie Koks Koolhoven in einer dreiteiligen Blogserie in virtual-world.info sehr schön beschreibt, treten hier schon seit geraumer Zeit zwei gegensätzliche „Lebensphilosophien“ in virtuellen Welten gegeneinander an.

Immersion bezeichnet das völlige Eintauchen in Onlinewelten und damit auch das Verlassen der „realen“ Welt. Augmentation dagegen sehen virtuelle Welten als Ergänzung der normalen Anfasswelt. Immersionisten nehmen eine strikte Trennung zwischen virtueller und realer Welt vor, während Augmentionisten diese vermischen.

Danach bin ich wohl ein Augmentionist, wenn auch kein 100%iger, schließlich waren virtuelle Welten für mich immer Arbeitsplatz, gerne aber auch immer mit ein wenig Maskerade. Und auch wenn ich diesen Philosophiestreit etwas überbewertet finde, da sich wohl die große Masse der Nutzer von Onlinewelten eher zwischen den beiden Polen befindet und die Extrempositionen sehr selten sind, kann man damit auch einige Missverständnisse und Konflikte erklären. Tragisch kann es zum Beispiel beim Genderbending, dem Spiel mit dem Geschlecht werden, wenn ein Immersionist in seiner Rolle als Frau auf einen Augmentionisten trifft, der sich in eben diese Frau verliebt und ganz klar davon ausgeht, dass man sich doch auch im Netz so gibt, wie man außerhalb ist. Die Einführung der Voicefunktion in Second Life muss wirklich ein schwerer Schlag für Immersionisten gewesen sein, mit Männerstimme kann man eben nicht mehr die sexy Blondine sein, die man gerne wäre.

Vor allem erklären sich hier aber auch Missverständnisse zwischen Bewohnern der virtuellen Welten und Nichtnutzern, die generell alle Nutzer für Immersionisten halten, die sich aus der Realität in Phantasiewelten flüchten und die dies oft nicht nur auf Onlinewelten beziehen, sondern auf jede Art von Teilnahme an Netzcommunitys.

Wer sich weiter in die Materie einarbeiten will, dem seien die drei Artikel von Koks Koolhoven sehr empfohlen, der zudem noch auf eine Menge weitere interessante Literatur verweist:

P.S.: Kann jemand eine gute Stimmenmodulationssoftware empfehlen?

Augmented Reality in der Praxis: Wikitude

Wahrgenommen hatte ich Wikitude (Untertitel: AR Travel Guide) von Mobilizy schon vor einiger Zeit, mich aber damals nicht gefragt, wie die das denn überhaupt machen.

Wikitude stellt Wikipedia-Artikel (und Panoramio-Fotos und Qype-Artikel) die mit Geodaten versehen sind in einer „Augmented Reality“ Kameraansicht dar. Das aktuelles Videokamerabild des G1 Handys wird dabei von den Infos aus Wikipedia überlagert.

Die re:publica brachte da jetzt die Aufklärung und mir auch eine überraschende Erkenntnis: das Google G1 verfügt bereits über einen eingebauten Kompass.

Am besten man schaut sich das selber im Film an:

Was für ein cooles Tool die beiden da aber entwickelt haben, scheint ihnen selber gar nicht so klar zu sein. Vielleicht fehlen da Programmierern auch die Phantasien. Jedenfalls ist ihre Idee im Moment eher, das ganze für Reise- und Sehenswürdigkeiten Informationen zu nutzen, dabei lassen sich aber ganz einfach die verschiedensten Datenbanken mit dem Livevideobild der Kamera verknüpfen. Auf die Nachfrage, ob sich das nicht auch gut für interaktive Spiele in der realen Welt eignet, wurde leider nur entgegnet, dass das aus Zietgründen keine Priorität hat….  ??? Hmm, ob Hotelinfos wirklich die bessere Idee zur Verbreitung der Software sind?

Mobilizy täte gut daran ihr Wikitude eher als eine Art Augmented Reality Browser zu betrachten und den NutzerInnen die Verknüpfung mit eigenen Datenbanken zu ermöglichen, ähnlich wie es in Google Earth mit KML-Files gemacht werden kann. Dann wird sich nämlich das ganze Potenzial einer solchen Anwendung zeigen.

Und wenn es Mobilizy nicht macht, wird es in wenigen Wochen eine andere Firma machen. Und weil ich schon beim Gute-Ratschläge verteilen bin: Hallo Apple, ins nächste iPhone gehört ein Kompass!

Microsofts Vision von 2019

Na bei den Milliarden Dollar die Microsoft in die Forschung steckt, muss ja auch wirklich mal was anders raus kommen als nur ein „Songsmith„.

Sehr beeindruckend zu sehen und eine interessante Diskussionsgrundlage, um in Schule und Jugendbildung über die Zukunft der Medien zu reden. (…ergänzend zu George Orwells „1984“)

<a href=“http://video.msn.com/?mkt=en-GB&playlist=videoByUuids:uuids:a517b260-bb6b-48b9-87ac-8e2743a28ec5&showPlaylist=true&from=shared“ mce_href=“http://video.msn.com/?mkt=en-GB&amp;playlist=videoByUuids:uuids:a517b260-bb6b-48b9-87ac-8e2743a28ec5&amp;showPlaylist=true&amp;from=shared“ target=“_new“ title=“Future Vision Montage“>Video: Future Vision Montage</a>

Vorsicht: Gut gedacht ist noch lange nicht gut gemacht. (Hallo Vista;-))

Mehr davon im Blog von Kzero.