Site blog

Picture of Steve Furrer
by Steve Furrer - Sunday, 27 May 2018, 10:01 AM
Anyone in the world
Notes vom Kurs AR/VR/MR
_______________________________
Kein Anspruch auf vollständigkeit oder Rechtschreibung.




Modul 5
AR/VR/MR

 
 




Digitaltag:
https://digitaltag.swiss/

http://www.vision11.ch/2018/
Username:
PW:



Motion Sickness:
- Zentriertes sehen, reduziert Motion Sickness
- Boden sehen, hilft gegen Motion Sickness
siehe Google Earth.

History von Immersiven Medien:
Was sind immersive Medien?
z.B. 360° Bilder, z.B. ein Raum bemalt,

Panorama Häuser(Bourbaki Panorama)
Wurden abgelöst vom Kino.

Stereobrillen

Flugsimulatoren 1928
Lincsymulation Company (gibt es heute noch)

Pygmalion‘s Spectacles 1935 LIterarischer Vorläufer von Gertät:
1950 Martin Heilig Gerät.
Sensorama ist ebenfalls von ihm.
Stereosound, Wind, Geruch, Vibrations


1961 Telepräsenz:
Wird heute noch als non Plus Ultra angesehen.


1968 Flugpiloten HUD‘s
Ivan Sutherland, Forscher, Sword of Damocles

Ultimate Display: Was heisst das, was braucht es, um nichts mehr von der Realität zu unterscheiden ist?

1980 Nasa, hat etwas gebastelt:


1990 VR Discussion starts, „Jetzt sind wir so weit!“
3dconstructionkit kit 2 vhs


Filme: LawnMowerMan.

1995 implodierte der Markt:
Es war zu teuer, zu schlechte Qualität, Lag, von Bewegung zu Reaktion. Heute ist man vorsichtiger, wegen diesem Ereignissen.


2000 ging es weiter: Auto, Flugzeugbau, Schulen.
Nur im Highendbereich.


Oculus hatte Kick-Starter Projekt lanciert.
Riesen Hype, weil Facebook die Firma aufkaufte.
Günstige Displays, günstige Gyroscopes.

HTC war auch zur selben Zeit aktiv.



VR:
Interaktion und Echtzeit

AR:
Erweiterte Realität, um Wahrnehmung anzureichern.

Unity:
Szenen würde man als Levels abspreichern.
Szene in assets speichern, „01_Scene/scn_...._01

Unity muss man explizit sagen, dass sie die animation abspielen muss.
Animation Controller erstellen im Assets folder.

Entry State wird aufgerufen, wenn das Spiel gestartet wird.



Was trägt zu einem guten VR Erlebnis bei?
Grundvoraussetzungen:
....


Comfort:
Kamera am Ort: Motion Sickness ist sehr gering.
Boden hilft gegen Motion Sickness. Man kann sich orientieren.
Als entwickler könnte man verschiedene Optionen anbieten.


Immersion:
Es muss nicht immer High End Graphik sein.
Bewegung sollte nicht verzögert sein. -> sehr wichtig.


Technische Voraussetzungen
Vive Pro
90 Hz
1440 x 1600 pixels pro Auge
110 Field of View


Interaktion:
1. Gazing
2. Controllers
Google Cardboard ist mit Button
Leap Motion: Hände
Mit Controllers hat man das beste Erlebnis.

Best Practices:
1. Orientierung
Leute wollen sich orientieren. Zeit geben, wenn man das Headset aufsetzt: Onboarding.

2. Real Life Metaphor:
Mit echtem Leben koppeln. Bekanntes nutzen.

3. People don‘t read Text
Aufmerksamkeit ist sehr kurz.
On demand User einführen. Mit kleinen Texten arbeiten.

4. Affordance
Wie erkennt der User, was kann er anklicken und was nicht.
Farben und Einheitlichkeiten.
Man muss wissen, mit was man interagieren kann.
Blick der Leute steuern.

5. Audio
Falscher Audio kann die ganze immersion kaputt machen.
Sound muss 3D sein.

6. Beweung
Teleporting ist die verbreiteste Variante
Bewegung durch rennen.
Spezielle Devices

7. Keyboard Input
Eher Problematisch.
Unprezission ist ein Problem.
Möglichkeit: Echtes Keyboard tracken und mit Leap Motion tracken.

8. User Interfaces
UI müssten in der 3D Welt integriert sein. Z.B. im Cockpit.
ein Problem: Physikalische Eigenschaften kann man nur schlecht nachmachen.


Was wird kommen:
Fokus
bessere Displays
Motion Capturing
Fove VR




Sound: 3D Audio

Woher kommt 3D Audio?
Musik 1500 Kirche: Chorale

Elektroakustische Musik:
Begriff einer stylistischen Bewegung
Eher Experimentel (Abstrakt)

Institut: Ircam (Paris) grosses Forschungsinstitut.
Forschung: Virtuellen 3D Punkt berechnen, was muss aus den Boxen kommen, dass man im SweetSport das gefühl hat, es kommt genau von diesem Punkt.

Ambisonics: Ist ein Algorythmus
Hier ist man relativ flexibel, wo die Lautsprecher aufgestellt sind.

ICST Zürich: Software MAX (Grafische Programmiersoftware)
ähnlich wie Amisonics (aus London)
MAX ist ein zwischendyn, zwischen Forschung und nicht Programmierer
Pure Date (ähnliches Programm wie MAX,
MAX ist standartProgramm für Installationen z.B. für Künstler


Menschen hören viel genauer links rechts. Weniger oben unten.

SweetSpot ist der, der Spot, wo es der Tonmeister genau abgemischt hat.

Wellenfeldsynthese
Sehr präzise
Wie ein Audiohologramm
Bei der Wellenfeldsynthese gibt es keinen Sweetspot mehr.



Heute hat sich Ambisonics durchgesetzt. Der Algorythmus ist offen. Darum hat er sich verbreitet.

4 Kanal Fassung kann man z.B. auf Youtube hochladen, wo der Rythmus sich anpasst.


Kinofilm: Entwicklung:
5.1 / 7-1 / 9.1 / DolbyAtmos
Weil Ambisonic gratis war, musste Dolgy etwas machen, dass kostet.





Ambisonics ist im bei Unity integriert.
HRTF (binaural)

44‘000 x pro Sekunde wäre wie 25 Bilder pro Sekunde. 44Hz



Programme für Games.
FMOD
Wwise
Google VR (ziemlich gut)
Occulus (eher Schlecht)
werden oft verwendet, für Games.

Binaurale Plugins



Web VR


Monika (Presenter)


tiny.cc/webxr


From Web R to WebXR


A-Frame (WEB XR)

What‘s WebXR?
VR, AR, MR all on the web.
Wir müssen nichts downloaden. Alles im Web.


supermedium.strikingly.com
VR Browser (only for windows)
VR Experiences that people create
Browsing experience in VR
You can also package it and sell it on steam.
Start small and then add functionality!
Detects connected devices.


Immersion hängt fest von dem Device ab. Screen to VRCenters.

caniuse.com
shows which browser supports what


WebGL versus Web XR
WebGL is the programming language for make 3D stuff on the weg. Very Compligated. Very lowfi

A-Frame is on top of WebGL
WebGL  ->   three.js    ->    A-Frame


CPU only one thing at a time
GPU many processes at the same time



A-Frame:
Sehr simples setup im HTML
glitch.com/…aframe
glitch zeigt direkt, was man coded.
Huge Potential.

(Equirectangular images, Box images.

Nesting animation works.

A-Frame inspecter: Control, Alt I To work directly in aframe.



a-Frame GBlock component search
Google Poly is a Plattform

glTF Works best for web.


Mixed Reality

Augmented Reality ist immer on Top:
Eher wie ein HUD


Mixed Reality: Realität verschwindet mit der künstlichen Welt.


Marker Based AR:
z.B: QR Code
Marker notwendig


Masker-Less AR:
keine Marker mehr.
Gerät erkennt über Sensoren den Raum.


Markt:
Google AR Core
Apple AR Kit
Windows Mixed Reality
Dies sind die drei grossen Player

WEB AR ist schon möglich, aber nicht performant.

Zugang:
Tablets
Head-Mounted Devices
Glasses



Präzision ist bei AR immer noch nicht 100% fix.



Mixed Reality Core Features:
Motion Tracking (Device selbst)
Depth Perception (Raum interaktionen)
Optisch oder Infrasensoren
-> Spatial Mapping
Area Learning (Gedächtnis, wo man was platziert hat.)



Hololens Interaction:
Gaze targeting
Gesture design
Voice design

Spatial Mapping ->



Developing Mixed Reality Applications
(Developper Guidelines cheggen.)
Visual Studio
Unity
Windows 10 SDK



Workshop:
vision11.ch/static/workshop_hololens/


Workshop Notes:
Alles was schwarz ist, wird transparent
Clipping Planes auf 0.1 setzen (anders im Manual)


Plattformen für Models:
Google Poly
SketchFab



Unity UI System verwenden.
Für AR die Canvas umschalten auf „World Space“
Canvas ist Container für UI Elemente


Windows VisualStudio muss man herunterladen für Hololens.
Es wäre alles Gratis.
Hololens Emulator gäbe es. Noch eher mühsam.


VR-CHAT mal anschauen.

Shadertoy.com -> Shader experimente machen


Associated Course: CAS DTEC 2018
 
Picture of Steve Furrer
by Steve Furrer - Sunday, 27 May 2018, 9:51 AM
Anyone in the world

Projekt WetterApp:

Gerne würde ich dieses Wetter App zeigen. Es benutzt eine RestAPI von Wetterdaten. Hoffe ich kann es noch weiter ausarbeiten und auch visuell vorantreiben.

Die Hintergrundfarbe ändert sich mit der Temperatur. Icons wechseln, je nach vorhersage.

Schön wäre, wenn man diese Daten auch noch über eine Cloud auf ein Display ausspielen könnte.  Dort bin ich allerdings noch nirgends.






















3D Printing Wirbelsäule:


Dieser unterste Teil einer 3D-Gedruckten Wirbelsäu.e könnte man einfach ausstellen. Im Hintergrund könnte man einen normalen Ausdruck machen, dass die Betrachter erkennen, wo dieser Teil der Wirbelsäule liegt. (Kontext schaffen)








VR-Projekt:

Für die Ausstellung arbeite ich mit Suntka und Florian am VR Projekt zur Ausstellung.




Projekt Roboter:
Insgeheim würde ich äusserst gerne einen Roboter-Arm basteln. Natürlich ist dieses Projekt zu ambitioniert für die Abschlussausstellung. Ich hatte mich oberflächlich mit IK auseinandergesetzt. Aber das alleine ist schon ein unglaublich tiefes Gebiet. Wo die Dynamik (ansteuern der Motoren) noch nicht thematisiert wurde. Was ich aber gesehen hatte: Man kann mit Spritzen eine Hydraulischen Roboter-Arm basteln. Nun müsste ich die Konstruktion noch machen und diese Lasern lassen. Das wäre extrem toll, wenn man ein DYI Roboter Arm für Kids hätte.
Hier wäre auch meine bitte, um allenfalls mentorierte Hilfe. Halt eher, um die Konstruktion auf dem Lasercutter auszuschneiden und in Materialfragen beizustehen.
Ob ich das noch schaffen werde, bin ich nicht sicher.



Associated Course: CAS DTEC 2018
[ Modified: Sunday, 27 May 2018, 9:52 AM ]
 
Picture of David Christie
by David Christie - Friday, 25 May 2018, 12:36 AM
Anyone in the world


Today we started to explore the world of immersive media of various types. We jumped in the deep end at the beginning and were given various VR (virtual reality) programs to try out. I got to try Google Earth with VR headset and controllers. It was a bit tricky to get used to the controls at the beginning but I soon managed to explore London and visit the place I grew up in! Despite the relatively small field of clear vision, the illusion of immersion was quite real, even if there were no people walking around in the cities.

It was a strange sight for me to see grown adults waving their hands around with headsets on. Apparently, for devotees of this genre, this is perfectly normal behaviour!

Steve immersed!Then after a brief history of the area, we went on to discuss the various types of immersive media, from AR (augmented reality), to MR (mixed reality), to AV (augmented virtual reality) and VR (full virtual reality). 

An interesting point was the current state of the technology. Currently, it is generally necessary to have a powerful desktop computer with good graphic cards and installed laser or infra red cameras. The latter are needed for accurate positioning of the headset and hand controllers  in the room. The trend is clearly towards freeing the headset of this need and to including visual recognition cameras in the headset so that it can react to the surroundings. The hardware and software are not really there yet. The tools are quite usable, but the picture resolution and field of view are still quite limited. Enormous server farms are needed to generate VR as we see simulated in films.

"Extended reality" adds hand and face recognition to the mix and combines generated graphics with our direct view of reality. Together with faster devices and networks, the goal will be to free the user from the need to be tied to a particular place or desktop machine. All this talk of recognition software opens up images of dystopian futures where we are all easily trackable an directly identifiable in any public spaces, of course. But this is already reality: facebook is already doing it, despite our user settings and European legislation (which went live as I was writing this blog). We are not really ready for pervasive identification as a society yet.

In the afternoon, we created our own rollercoaster animation in the tool Cinema 4D and then manipulated it with the game software Unity so that it could be experienced with VR headset. I was surprised how far one can get with these tools today. Obviously the hard part is to make the virtual reality that one moves in real enough.

   

    

The picture above is the animation in final state in Unity. With the VR headset on, it felt a lot faster!

Associated Course: CAS DTEC 2018
[ Modified: Friday, 25 May 2018, 12:39 AM ]
 
Picture of Steve Furrer
by Steve Furrer - Sunday, 20 May 2018, 9:04 AM
Picture of Suntka Rinke
by Suntka Rinke - Sunday, 6 May 2018, 11:01 PM
Anyone in the world

Four weeks without some input doesn not go well. So I've visited this years UX BarCamp. I've put some thoughts and a short summary on my blog: https://www.mathemarticienne.fr/2018/uxcampch/


Associated Course: CAS DTEC 2018
[ Modified: Friday, 25 May 2018, 11:08 PM ]
 
Tatiana Duronjic
by Tatiana Duronjic - Monday, 16 April 2018, 11:30 PM
Anyone in the world

Vom Wireframing zum Prototyping

Der Vortag war gut und recht, doch der heutige hatte mehr von mir gefordert. Gespannt war ich auf die Einführung von Figma, dem Google Drive des Prototypings. Als aktive Sketch-Nutzerin war die Benutzung für mich ein Kinderspiel. Figma hat jedoch weitere Vorteile, die ich bei Sketch oft vermisst habe, wie bspw. die automatische Unterordnung von Elementen im jeweiligen Frame und insbesondere die Kollaborationsfunktion, dass mehrere Teammembers am selben File arbeiten können. Ich bin absolut überzeugt und werde mit Nachdruck meinen Arbeitskollegen empfehlen.


Figma-Roadtracker


Und dann ging’s ans Eingemachte

Als Beispiel zur Umsetzung in Figma haben Aurelia und ich uns zu einem Team zusammengeschlossen und uns dem Thema Road Tracker gewidmet. Damit soll zumindest lästiges Ticketlösen für ÖV der Vergangenheit angehören. Verkehrsmittel sollen mit Sensoren ausgestattet werden, die das jeweilige Device beim Ein- und Aussteigen registrieren und somit die Kosten direkt von der Kreditkarte abziehen. Und dann am besten noch den Ticketkauf für das Kino, die Oper oder zum Konzert direkt vornehmen. Was simple startete, entwickelte auf einmal eine deutliche Komplexität. Einen zunächst einfachen Case wollten wir vorbildlich end-to-end durchdenken, was jedoch rein auch von der Zeit schier unmöglich erschien. Entsprechend haben wir uns fokussiert und die Screens untereinander aufgeteilt. Meiner Meinung nach eine gute Methode, einerseits die Tücken von solchen Kollaborationsplattformen aufzudecken, anderseits aber auch um den reellen Ablauf durchzuspielen. Wir bildeten ein interaktives Team, konnten die Herausforderungen zusammen diskutieren und gemeinsam Ideen dafür entwickeln. Am Schluss des Tages war da wirklich etwas Klickbares vorhanden. Ein guter Abschluss des Tages, um motiviert in den nächsten zu starten.



Associated Course: CAS DTEC 2018
[ Modified: Monday, 16 April 2018, 11:43 PM ]
 
Picture of Julie Pulfer
by Julie Pulfer - Wednesday, 11 April 2018, 2:59 PM
Anyone in the world

Der Start...

Der erste Tag startete relativ schnell mit einer Vorstellungsrunde der Teilnehmer. Anhand des mitgebrachten Artefakts und aufgrund der eigenen Einordnung in die Design/Technologie Matrix wurde klar, was das Ziel am Ende dieses CAS bei jedem einzelnen ist.

Nach einer Führung im Toni Areal mit der Haustechnik betreffend der Lüftungsanlage haben wir die Aufgabe erhalten, ein "Lauf der Dinge" gemeinsam zu gestalten. Verschiedenste Hilfsmittel lagen auf den aneinander gereihten Tischen. Die Herausforderung bestand darin, die einzelnen Inputs und Outputs geschickt aneinander zu reihen. Nach ca. 2 Stunden gelang ein Ablauf, welche zwar etwas holprig war aber viel Spass bereitete beim Zusehen smile


Tag 2 stand ganz im Zeichen der Lab-Safari. Gestartet haben wir in dem Physical Computing Lab. Wir durften mit Hilfe von little Bits Erfindungen bauen. Die kleinen elektrischen Bausteine sind magnetisch und generieren mit Power und einem Input einen gewissen Output. Mehr zu little Bits: https://www.littlebits.com/


Nachher ging es weiter in dem Tech Lab mit Roman. Wir bekamen einen kurzen Überblick über 3D-Druck und VR. Es gibt verschiedene Technologien um einen gewissen Gegenstand einzuscannen. Einmal die Xbox Kinect aber auch eine Software für das Smartphone. 

Im Farb-Licht-Zentrum erfuhren wir, wie der Einfluss von Licht die Farbenwelt komplett verändern kann. Sehr beindruckt hat mich die Simulation der Sicht eines Menschen mit Farbenschwäche.


Nach dem Mittagessen hat uns René in die Welt der Games und Gamification eingeführt. Im Game Lab sind mehr als 300 Brettspiele vorhanden! Dementsprechend eng war es in dem kleinen Raum... Nach der Einführung durfte ich mit Simon selbst ein Spiel designen anhand eines Papier-Prototyps. Die Idee, mit 4 verschiedenen Karten mit jeweils einem Stichwort drauf ein Spiel zu kreieren, fand ich toll. Ist auch eine gute Variante, falls einem mal die gewisse Eingebung fehlt.


Zum Schluss des Tages kam Simon David der Agentur Lucid vorbei. Er stellte sich und seine Tätigkeit der Firma vor. Die Diskussion über Autonomie und Dezentralisierung war sehr spannend, auch wenn die Thematik manchen Teilnehmern etwas Angst machte.

Am 3. Tag gab's fliegende Action. Wir durften zuerst den Profis beim Drohnen Racing zusehen. Unglaublich mit was für einer Geschwindigkeit und Geschickt diese kleinen Dinger um uns rumgedüst sind. Danach durften wir selbst probieren eine Drohne zum Fliegen zu bringen. Ganz klar, ich habe mir diese Angelegenheit einfacher vorgestellt.


Am Nachmittag ging's zu Max Rheiner von Somniacs. Seine Erfindung mit dem Birdly ist wirklich beindruckend. Obwohl es von aussen nur nach einer Maschine die sich etwas bewegt aussieht, war ich doch ein wenig nervös bevor ich auf den Birdly stieg. Das anschliessende Gefühl des Fliegens ist echt unbeschreiblich. Man vergisst für einen Moment alles um sich herum. Mehr zum Birdly: http://www.somniacs.co

Der Start ist somit geglückt!


Associated Course: CAS DTEC 2018
 
Picture of Steve Furrer
by Steve Furrer - Wednesday, 4 April 2018, 5:34 PM
Anyone in the world

_

Associated Course: CAS DTEC 2018
 
Picture of Steve Furrer
by Steve Furrer - Wednesday, 4 April 2018, 5:32 PM
Anyone in the world

Blockchain Input und Dialog

  • Dezentralisierung von Daten
  • Unveränderbar ( ausser die Miner stimmen zu einer Änderung zu.)
  • Smart Contracts
  • Blockchain 1.0 
  • Blockchain  2.0 (Smart Contracts)
  • Blockchain 3.0
Link zur Blockchain: https://steemit.com/cryptocurrency/@conanlovevit/arcblock-blockchain-3-0-will-replace-bitcoin-and-ethereum

Link zu autonomen Waffensystemen: https://www.srf.ch/feed/podcast/sd/49863a84-1ab7-4abb-8e69-d8e8bda6c989.xml


Fragestellungen:

  • Was passiert, wenn man ein Script macht, dass ein effizienter Algorythmus enthält und traden tut. Und zwar so gut, dass er sein Vermögen anhäuft, ohne dass irgend jemand das Geld wieder herausnehmen kann.
  • Autonome Objekte: Was kann man mit diesen Objekten anstellen?  Positives, wie negatives?

Definition von Blockchain:
Denke daran, dass eine Blockchain nichts anderes ist, als eine unveränderliche, sequenzielle Kette von Datensätzen, die Blöcke genannt werden.

Links zur Blockchain:
https://www.bitfantastic.com/bitcoin/blockchain-forks/2018/amp/
https://www.google.ch/amp/s/www.bitfantastic.com/blockchain/um-eine-blockchain-besser-zu-verstehen-bauen-wir-eine-gemeinsam/2017/amp/



Associated Course: CAS DTEC 2018
[ Modified: Friday, 6 April 2018, 8:49 AM ]
 
Picture of Steve Furrer
by Steve Furrer - Wednesday, 4 April 2018, 5:30 PM
Anyone in the world

Creative Speed Dating.

Teilnehmer: > 6
Zweck: 
divergierend, schnell viele Ideen
Setup: 
Gesamthaft sitzen sich mindestens 3 Personen-Paare gegenüber.
Mechanismus: Es werden Themen in die Runde gegeben. Die Teilnehmenden sammeln  vis-a-vis Ideen zum jeweiligen Thema. Nach einer Runde, wird der Partner gewechselt. 
Wir hatten es Anhand einer Matrix gemacht. Auf der X-Achse waren stellvertretende Apps und auf der Y-Achse waren Features oder Technologien. Die Teilnehmenden konnten sich ein Post-It der jeweiligen Schnittpunkte holen und darüber debatieren.
Zeit: eine Runde dauerte 5 min.



IoT Prototyping

Teilnehmer: Gruppen
Zweck:
Prototyping und Storytelling für Laien
Setup:
Gruppen von nicht mehr als 4 Leuten gebildet.
Mechanismus: In einer ersten Phase geht es darum zu experimentieren, z.B. mit LittleBits. So bekommen die Teilnehmenden ein Gefühl, was möglich ist. Im zweiten Schritt geht es darum, ein sinnvolles Produkt zu erstellen, was oft sehr viel schwieriger ist. Am Schluss wäre das Ziel, ein Use Case oder sogar ein Business Case zu haben.
Zeit: Workshop. Vielleicht sogar mehrere


Associated Course: CAS DTEC 2018
[ Modified: Thursday, 5 April 2018, 6:27 PM ]