Digitaltag:
https://digitaltag.swiss/

http://www.vision11.ch/2018/
Username:
PW:



Motion Sickness:
- Zentriertes sehen, reduziert Motion Sickness
- Boden sehen, hilft gegen Motion Sickness
siehe Google Earth.

History von Immersiven Medien:
Was sind immersive Medien?
z.B. 360° Bilder, z.B. ein Raum bemalt,

Panorama Häuser(Bourbaki Panorama)
Wurden abgelöst vom Kino.

Stereobrillen

Flugsimulatoren 1928
Lincsymulation Company (gibt es heute noch)

Pygmalion‘s Spectacles 1935 LIterarischer Vorläufer von Gertät:
1950 Martin Heilig Gerät.
Sensorama ist ebenfalls von ihm.
Stereosound, Wind, Geruch, Vibrations


1961 Telepräsenz:
Wird heute noch als non Plus Ultra angesehen.


1968 Flugpiloten HUD‘s
Ivan Sutherland, Forscher, Sword of Damocles

Ultimate Display: Was heisst das, was braucht es, um nichts mehr von der Realität zu unterscheiden ist?

1980 Nasa, hat etwas gebastelt:


1990 VR Discussion starts, „Jetzt sind wir so weit!“
3dconstructionkit kit 2 vhs


Filme: LawnMowerMan.

1995 implodierte der Markt:
Es war zu teuer, zu schlechte Qualität, Lag, von Bewegung zu Reaktion. Heute ist man vorsichtiger, wegen diesem Ereignissen.


2000 ging es weiter: Auto, Flugzeugbau, Schulen.
Nur im Highendbereich.


Oculus hatte Kick-Starter Projekt lanciert.
Riesen Hype, weil Facebook die Firma aufkaufte.
Günstige Displays, günstige Gyroscopes.

HTC war auch zur selben Zeit aktiv.



VR:
Interaktion und Echtzeit

AR:
Erweiterte Realität, um Wahrnehmung anzureichern.

Unity:
Szenen würde man als Levels abspreichern.
Szene in assets speichern, „01_Scene/scn_...._01

Unity muss man explizit sagen, dass sie die animation abspielen muss.
Animation Controller erstellen im Assets folder.

Entry State wird aufgerufen, wenn das Spiel gestartet wird.



Was trägt zu einem guten VR Erlebnis bei?
Grundvoraussetzungen:
....


Comfort:
Kamera am Ort: Motion Sickness ist sehr gering.
Boden hilft gegen Motion Sickness. Man kann sich orientieren.
Als entwickler könnte man verschiedene Optionen anbieten.


Immersion:
Es muss nicht immer High End Graphik sein.
Bewegung sollte nicht verzögert sein. -> sehr wichtig.


Technische Voraussetzungen
Vive Pro
90 Hz
1440 x 1600 pixels pro Auge
110 Field of View


Interaktion:
1. Gazing
2. Controllers
Google Cardboard ist mit Button
Leap Motion: Hände
Mit Controllers hat man das beste Erlebnis.

Best Practices:
1. Orientierung
Leute wollen sich orientieren. Zeit geben, wenn man das Headset aufsetzt: Onboarding.

2. Real Life Metaphor:
Mit echtem Leben koppeln. Bekanntes nutzen.

3. People don‘t read Text
Aufmerksamkeit ist sehr kurz.
On demand User einführen. Mit kleinen Texten arbeiten.

4. Affordance
Wie erkennt der User, was kann er anklicken und was nicht.
Farben und Einheitlichkeiten.
Man muss wissen, mit was man interagieren kann.
Blick der Leute steuern.

5. Audio
Falscher Audio kann die ganze immersion kaputt machen.
Sound muss 3D sein.

6. Beweung
Teleporting ist die verbreiteste Variante
Bewegung durch rennen.
Spezielle Devices

7. Keyboard Input
Eher Problematisch.
Unprezission ist ein Problem.
Möglichkeit: Echtes Keyboard tracken und mit Leap Motion tracken.

8. User Interfaces
UI müssten in der 3D Welt integriert sein. Z.B. im Cockpit.
ein Problem: Physikalische Eigenschaften kann man nur schlecht nachmachen.


Was wird kommen:
Fokus
bessere Displays
Motion Capturing
Fove VR

Sound: 3D Audio

Woher kommt 3D Audio?
Musik 1500 Kirche: Chorale

Elektroakustische Musik:
Begriff einer stylistischen Bewegung
Eher Experimentel (Abstrakt)

Institut: Ircam (Paris) grosses Forschungsinstitut.
Forschung: Virtuellen 3D Punkt berechnen, was muss aus den Boxen kommen, dass man im SweetSport das gefühl hat, es kommt genau von diesem Punkt.

Ambisonics: Ist ein Algorythmus
Hier ist man relativ flexibel, wo die Lautsprecher aufgestellt sind.

ICST Zürich: Software MAX (Grafische Programmiersoftware)
ähnlich wie Amisonics (aus London)
MAX ist ein zwischendyn, zwischen Forschung und nicht Programmierer
Pure Date (ähnliches Programm wie MAX,
MAX ist standartProgramm für Installationen z.B. für Künstler


Menschen hören viel genauer links rechts. Weniger oben unten.

SweetSpot ist der, der Spot, wo es der Tonmeister genau abgemischt hat.

Wellenfeldsynthese
Sehr präzise
Wie ein Audiohologramm
Bei der Wellenfeldsynthese gibt es keinen Sweetspot mehr.



Heute hat sich Ambisonics durchgesetzt. Der Algorythmus ist offen. Darum hat er sich verbreitet.

4 Kanal Fassung kann man z.B. auf Youtube hochladen, wo der Rythmus sich anpasst.


Kinofilm: Entwicklung:
5.1 / 7-1 / 9.1 / DolbyAtmos
Weil Ambisonic gratis war, musste Dolgy etwas machen, dass kostet.





Ambisonics ist im bei Unity integriert.
HRTF (binaural)

44‘000 x pro Sekunde wäre wie 25 Bilder pro Sekunde. 44Hz



Programme für Games.
FMOD
Wwise
Google VR (ziemlich gut)
Occulus (eher Schlecht)
werden oft verwendet, für Games.

Binaurale Plugins



Web VR


Monika (Presenter)


tiny.cc/webxr


From Web R to WebXR


A-Frame (WEB XR)

What‘s WebXR?
VR, AR, MR all on the web.
Wir müssen nichts downloaden. Alles im Web.


supermedium.strikingly.com
VR Browser (only for windows)
VR Experiences that people create
Browsing experience in VR
You can also package it and sell it on steam.
Start small and then add functionality!
Detects connected devices.


Immersion hängt fest von dem Device ab. Screen to VRCenters.

caniuse.com
shows which browser supports what


WebGL versus Web XR
WebGL is the programming language for make 3D stuff on the weg. Very Compligated. Very lowfi

A-Frame is on top of WebGL
WebGL  ->   three.js    ->    A-Frame


CPU only one thing at a time
GPU many processes at the same time



A-Frame:
Sehr simples setup im HTML
glitch.com/…aframe
glitch zeigt direkt, was man coded.
Huge Potential.

(Equirectangular images, Box images.

Nesting animation works.

A-Frame inspecter: Control, Alt I To work directly in aframe.



a-Frame GBlock component search
Google Poly is a Plattform

glTF Works best for web.


Mixed Reality

Augmented Reality ist immer on Top:
Eher wie ein HUD


Mixed Reality: Realität verschwindet mit der künstlichen Welt.


Marker Based AR:
z.B: QR Code
Marker notwendig


Masker-Less AR:
keine Marker mehr.
Gerät erkennt über Sensoren den Raum.


Markt:
Google AR Core
Apple AR Kit
Windows Mixed Reality
Dies sind die drei grossen Player

WEB AR ist schon möglich, aber nicht performant.

Zugang:
Tablets
Head-Mounted Devices
Glasses



Präzision ist bei AR immer noch nicht 100% fix.



Mixed Reality Core Features:
Motion Tracking (Device selbst)
Depth Perception (Raum interaktionen)
Optisch oder Infrasensoren
-> Spatial Mapping
Area Learning (Gedächtnis, wo man was platziert hat.)



Hololens Interaction:
Gaze targeting
Gesture design
Voice design

Spatial Mapping ->



Developing Mixed Reality Applications
(Developper Guidelines cheggen.)
Visual Studio
Unity
Windows 10 SDK



Workshop:
vision11.ch/static/workshop_hololens/


Workshop Notes:
Alles was schwarz ist, wird transparent
Clipping Planes auf 0.1 setzen (anders im Manual)


Plattformen für Models:
Google Poly
SketchFab



Unity UI System verwenden.
Für AR die Canvas umschalten auf „World Space“
Canvas ist Container für UI Elemente


Windows VisualStudio muss man herunterladen für Hololens.
Es wäre alles Gratis.
Hololens Emulator gäbe es. Noch eher mühsam.


VR-CHAT mal anschauen.

Shadertoy.com -> Shader experimente machen