Site blog

Tatiana Duronjic
by Tatiana Duronjic - Saturday, 30 June 2018, 8:43 AM
Anyone in the world

Wiedersehen macht bekanntlich Freude - auch bei Tools. Der Tag startete mit der Einführung, wie mit Unity Spiele programmiert werden können. Ralf führte uns durch die Möglichkeiten dazu durch. Da wir das Tool bereits im Modul zu VR/AR/Mixed Reality kennenlernen durften, fiel die Orientierung einfach. Dieses Mal jedoch schnupperten wir in die Welt der Programmierung ein und durften Scripts für unsere Spiele schreiben. Eine echte Bereicherung, auch diese Perspektive im System kennen zu lernen.

Am Nachmittag erhielten wir noch einen etwas anderen Einblick zum Game Design von Roman, nämlich zu Mixed Reality. Leider fehlte ich aufgrund des Mentorings mit Luke, weshalb ich mir nur noch die eindrücklichen Ergebnisse der Kolleginnen und Kollegen anschauen durfte, wie sie selbst das Erlernte umsetzten.

Associated Course: CAS DTEC 2018
 
Tatiana Duronjic
by Tatiana Duronjic - Saturday, 30 June 2018, 8:27 AM
Anyone in the world

Das letzte inhaltliche Modul wartete auf uns: Serious Games & Motivationsdesign. Auch wenn alle im Abschlussfieber waren und noch einiges an ihren eigenen Projekten feilen mussten, waren diese 3 Tage nicht weniger interessant. Gestartet haben wir wie schon so oft im Doing-Modus. Wir durften Plunder Planet gleich selbst austesten. Ob alleine (Felix) oder im Team (Bea und ich) - das Spiel sieht einfacher aus als es ist. An diesem Beispiel führte uns Anna durch die nachfolgenden 3 Tage.

Zunächst lernten wir, das Spiele nicht nur zur Unterhaltung dienen. In der Welt des Game Designs wird zwischen Unterhaltung und Zweck unterschieden. Die Spiele, die einen tieferen Sinn und einen effektiven Zweck zum persönlichen Fortschritt in einem spezifischen Gebiet der reellen Welt haben (bspw. Bewegung, Laufen wieder erlernen, Ängste/Phobien überwinden etc.), werden als Serious Games bezeichnet.

Weiter führten uns René und Mela uns durch die Mechanik von Games.  Wichtig ist es,  die Spieler immer im "Flow" zu halten. Sprich: sie sollen weder über- noch unterfordert werden und dementsprechend auch die Skills der entsprechenden Schwierigkeitsstufe angepasst werden können. Dazu sind die Komponenten Body, Controller und das Game selbst dem Ganzen abzustimmen. Im Game selbst gibt es immer eine Mikro- und Makroebene. Makro entspricht dem übergeordneten Ziel des Spiels (bei Super Mario bspw. die Prinzessin zu retten) und das Mikro dem Ziel des jeweiligen Levels. Um die Motivation entsprechend zu erhöhen sind dabei auch noch folgende Eckpunkte wichtig:

  • Spieler sollten Optionen haben, die sie zu einer Entscheidung zwingen und nicht linear eindeutig geführt werden
  • Es ist mit Belohnung und Bestrafung für jeweils richtige bzw. falsche Entscheidungen sowie Leistung einzuplanen (Punkte, zusätzliche Leben etc.)

Wie das alles funktioniert, durften wir selbst erleben, indem wir unser eigenes Game designen durften in Gruppen. Dabei haben wir den Rest vom Tag mit Konzeption und Paper Prototyping verbracht und auch der Klasse vorgestellt als erste Test-Iteration. Feedback: könnte funktionieren. Der nächste Tag sollte zeigen, wie es funktionieren könnte.

Associated Course: CAS DTEC 2018
 
Anyone in the world

Three days of games. Should be fun, you might think! And it was. 

I am not convinced that games played  with a computer are as satisfying as games played with other human beings.  When playing games with people, you learn about their personality. Even if Alpha Go is said to have come up with some interesting, creative moves when defeating world champion Ke Jie at Go, it is the emotions that make people interesting and computers still don't have them. Nevertheless, the "exergame" Plunder Planet that we played at the start of the day on Thursday was quite entertaining and the opportunity, in this module, to learn how games or gamification can be used to enrich other activities valuable. 

Motivation design is a part of many business design theories. A brainstorming between gurus of "gamification", "agency theory" and "behavioural strategy" might produce some interesting ideas. Put, say, René Bauer, Bengt Holmström and Daniel Kahneman in a room together for an afternoon and see what emerges from a confrontation of three rather different approaches to motivation. 

What do you have believe about what motivates people to believe in the value of gamification? I am not well qualified to judge as I just may be "gamification blind". I have little or no interest in participating in commercial competitions, getting points and so on. As a boy, I had surprisingly little interest in stamp collecting or train spotting and regarded enthusiasts of these pastimes with bewilderment. For me, gamification seems to be a way for businesses to motivate people "on the cheap" without either giving them superior quality or a lower price. I don't wish to let marketeers bamboozle me in this way. Though no doubt some get through my defenses and, if you are a businessman seeking profit, getting additional revenues at low cost is just what you want to do. 

The justification for gamification in terms of people's interest in such things as : curiosity, achievement, social recognition, social exchange, cognitive stimulation, or self-determination may only be a part of the story. Many of the tricks of gamification - points, rewards, possibilities for exchange - were already present in older loyalty programs. But the logic for these loyalty programs was traditionally explained in quite different and, to my mind more tangible, terms. 

The key logic for offering points in a loyalty program is to lock in customers so they do not switch to another supplier. There are generally benefits to collecting a lot of points from just one supplier. If you divide your purchases between competitors, you get less benefits than if you focus on just one. The classic example is airline loyalty programs. I can earn enough points to join the Swiss frequent flyer program if I always fly Swiss. But if I split my purchases between Swiss and BA, I don't fly enough and don't earn enough points to make either frequent flyer program. So I stick with Swiss. The logic for offering non-monetary rewards in loyalty programs is, partly at least, that these cost the company much less than they cost the customer. The cost of offering free flights to an airline is much less than the purchase price for you or me. So free flights look very attractive to both the airline and the customer. 

The other classic motivator in loyalty programs is exclusivity. The loyalty program offers something as a reward that cannot be bought anywhere else. The loyalty program also buys this item in high quantity which makes it very cheap for the loyalty program. The loyalty program starts a competition in which you can receive a prize of, say, a pressure cooker with a value of CHF 150 francs. You can indeed buy the pressure cooker in, say, Coop, for CHF 150 but you cannot buy it anywhere else, so Coop can in fact put whatever price on the pressure cooker they want. In a competitive market, the pressure cooker might actually cost more like CHF 50 francs. The prize looks like a great deal to both customer and company because it is exclusive - buy low price because in volume, able to put a high prcie on it because exclusive.

There is certainly an extra (gamy?) trick in fashion business loyalty programs. There the special offers typically genuinely do appeal to social recognition as well as loyalty and price illusion. Department store credit cards offer exclusive fashion shows or club evenings.  These do indeed have a special social appeal. Customers are in a clearly defined target segment and get to see, perhaps even meet and greet, exactly the sort of people they want to associate with, for example in England David and Victoria Beckham. But again, though the mechanisms - points, competition - overlap with or are the same as in newer gamification approaches, the economic logic had at least as much to do with loyalty and exclusivity as with the attraction of games.

Serious games seem to me altogether another matter and help to do many valuable things. I find a comparison between the idea of serious games and the idea of prototyping models interesting. If you can model a situation - perhaps by turning it into a business game -  you can test and learn at low cost.  In the Design Methods CAS , Urs Dätwyler showed us his board game for simulating fire drills and drills for other emergencies in cultural institutions like libraries or museums. By playing with a model and using toy figures, you can learn how other people may react and how you may want to react to an emergency. It is much cheaper and more effective than waiting until a real emergency happens or doing a simulation with real people in real buildings. Lego's use of serious games to train managers is a bit similar. In some situations, medical treatment, you can get the full benefits or perhaps more benefits than you can, at reasonable cost in any other way.  The game becomes better than the reality if a game is the best way to motivate a patient in Reha to do the necessary exercises.

So maybe I am a games fan after all. Hope Switzerland beat Brazil tonight!

Yours playfully,

Felix

 

[ Modified: Sunday, 24 June 2018, 4:23 PM ]
 
Picture of Steve Furrer
by Steve Furrer - Sunday, 10 June 2018, 11:27 AM
Anyone in the world
Update der Abschlussprojekte:

VR-Projekt
Diese Woche konnten wie einen grossen Sprung nach vorne machen:
KI funktioniert smile (Falls wir diese brauchen werden?!)
 
 



Visueller Stil entwickelt sich:




Wetter APP:
Funktioniert soweit. Visuelle muss ich mal schauen, ob ich noch etwas machen kann. Der nächste Schritt wäre, die Daten auf ein Display auszugeben. Stichwort IoT.

Associated Course: CAS DTEC 2018
[ Modified: Sunday, 10 June 2018, 11:27 AM ]
 
Picture of Steve Furrer
by Steve Furrer - Monday, 4 June 2018, 6:47 AM
Anyone in the world
  
 
Associated Course: CAS DTEC 2018
[ Modified: Monday, 4 June 2018, 6:48 AM ]
 
Anyone in the world

A quick and dirty mobile movie into the Vive headset. If you got any feedback please let Steve and me know smile

Associated Course: CAS DTEC 2018
[ Modified: Wednesday, 30 May 2018, 6:52 AM ]
 
Picture of Steve Furrer
by Steve Furrer - Tuesday, 29 May 2018, 10:45 PM
Anyone in the world

https://www.hdm-stuttgart.de/~curdt/WFS%202.pdf


Stereophonie

Surround Sound


Dolby 7.1 / Atmos



Associated Course: CAS DTEC 2018
 
Picture of Steve Furrer
by Steve Furrer - Sunday, 27 May 2018, 10:01 AM
Anyone in the world
Notes vom Kurs AR/VR/MR
_______________________________
Kein Anspruch auf vollständigkeit oder Rechtschreibung.




Modul 5
AR/VR/MR

 
 




Digitaltag:
https://digitaltag.swiss/

http://www.vision11.ch/2018/
Username:
PW:



Motion Sickness:
- Zentriertes sehen, reduziert Motion Sickness
- Boden sehen, hilft gegen Motion Sickness
siehe Google Earth.

History von Immersiven Medien:
Was sind immersive Medien?
z.B. 360° Bilder, z.B. ein Raum bemalt,

Panorama Häuser(Bourbaki Panorama)
Wurden abgelöst vom Kino.

Stereobrillen

Flugsimulatoren 1928
Lincsymulation Company (gibt es heute noch)

Pygmalion‘s Spectacles 1935 LIterarischer Vorläufer von Gertät:
1950 Martin Heilig Gerät.
Sensorama ist ebenfalls von ihm.
Stereosound, Wind, Geruch, Vibrations


1961 Telepräsenz:
Wird heute noch als non Plus Ultra angesehen.


1968 Flugpiloten HUD‘s
Ivan Sutherland, Forscher, Sword of Damocles

Ultimate Display: Was heisst das, was braucht es, um nichts mehr von der Realität zu unterscheiden ist?

1980 Nasa, hat etwas gebastelt:


1990 VR Discussion starts, „Jetzt sind wir so weit!“
3dconstructionkit kit 2 vhs


Filme: LawnMowerMan.

1995 implodierte der Markt:
Es war zu teuer, zu schlechte Qualität, Lag, von Bewegung zu Reaktion. Heute ist man vorsichtiger, wegen diesem Ereignissen.


2000 ging es weiter: Auto, Flugzeugbau, Schulen.
Nur im Highendbereich.


Oculus hatte Kick-Starter Projekt lanciert.
Riesen Hype, weil Facebook die Firma aufkaufte.
Günstige Displays, günstige Gyroscopes.

HTC war auch zur selben Zeit aktiv.



VR:
Interaktion und Echtzeit

AR:
Erweiterte Realität, um Wahrnehmung anzureichern.

Unity:
Szenen würde man als Levels abspreichern.
Szene in assets speichern, „01_Scene/scn_...._01

Unity muss man explizit sagen, dass sie die animation abspielen muss.
Animation Controller erstellen im Assets folder.

Entry State wird aufgerufen, wenn das Spiel gestartet wird.



Was trägt zu einem guten VR Erlebnis bei?
Grundvoraussetzungen:
....


Comfort:
Kamera am Ort: Motion Sickness ist sehr gering.
Boden hilft gegen Motion Sickness. Man kann sich orientieren.
Als entwickler könnte man verschiedene Optionen anbieten.


Immersion:
Es muss nicht immer High End Graphik sein.
Bewegung sollte nicht verzögert sein. -> sehr wichtig.


Technische Voraussetzungen
Vive Pro
90 Hz
1440 x 1600 pixels pro Auge
110 Field of View


Interaktion:
1. Gazing
2. Controllers
Google Cardboard ist mit Button
Leap Motion: Hände
Mit Controllers hat man das beste Erlebnis.

Best Practices:
1. Orientierung
Leute wollen sich orientieren. Zeit geben, wenn man das Headset aufsetzt: Onboarding.

2. Real Life Metaphor:
Mit echtem Leben koppeln. Bekanntes nutzen.

3. People don‘t read Text
Aufmerksamkeit ist sehr kurz.
On demand User einführen. Mit kleinen Texten arbeiten.

4. Affordance
Wie erkennt der User, was kann er anklicken und was nicht.
Farben und Einheitlichkeiten.
Man muss wissen, mit was man interagieren kann.
Blick der Leute steuern.

5. Audio
Falscher Audio kann die ganze immersion kaputt machen.
Sound muss 3D sein.

6. Beweung
Teleporting ist die verbreiteste Variante
Bewegung durch rennen.
Spezielle Devices

7. Keyboard Input
Eher Problematisch.
Unprezission ist ein Problem.
Möglichkeit: Echtes Keyboard tracken und mit Leap Motion tracken.

8. User Interfaces
UI müssten in der 3D Welt integriert sein. Z.B. im Cockpit.
ein Problem: Physikalische Eigenschaften kann man nur schlecht nachmachen.


Was wird kommen:
Fokus
bessere Displays
Motion Capturing
Fove VR




Sound: 3D Audio

Woher kommt 3D Audio?
Musik 1500 Kirche: Chorale

Elektroakustische Musik:
Begriff einer stylistischen Bewegung
Eher Experimentel (Abstrakt)

Institut: Ircam (Paris) grosses Forschungsinstitut.
Forschung: Virtuellen 3D Punkt berechnen, was muss aus den Boxen kommen, dass man im SweetSport das gefühl hat, es kommt genau von diesem Punkt.

Ambisonics: Ist ein Algorythmus
Hier ist man relativ flexibel, wo die Lautsprecher aufgestellt sind.

ICST Zürich: Software MAX (Grafische Programmiersoftware)
ähnlich wie Amisonics (aus London)
MAX ist ein zwischendyn, zwischen Forschung und nicht Programmierer
Pure Date (ähnliches Programm wie MAX,
MAX ist standartProgramm für Installationen z.B. für Künstler


Menschen hören viel genauer links rechts. Weniger oben unten.

SweetSpot ist der, der Spot, wo es der Tonmeister genau abgemischt hat.

Wellenfeldsynthese
Sehr präzise
Wie ein Audiohologramm
Bei der Wellenfeldsynthese gibt es keinen Sweetspot mehr.



Heute hat sich Ambisonics durchgesetzt. Der Algorythmus ist offen. Darum hat er sich verbreitet.

4 Kanal Fassung kann man z.B. auf Youtube hochladen, wo der Rythmus sich anpasst.


Kinofilm: Entwicklung:
5.1 / 7-1 / 9.1 / DolbyAtmos
Weil Ambisonic gratis war, musste Dolgy etwas machen, dass kostet.





Ambisonics ist im bei Unity integriert.
HRTF (binaural)

44‘000 x pro Sekunde wäre wie 25 Bilder pro Sekunde. 44Hz



Programme für Games.
FMOD
Wwise
Google VR (ziemlich gut)
Occulus (eher Schlecht)
werden oft verwendet, für Games.

Binaurale Plugins



Web VR


Monika (Presenter)


tiny.cc/webxr


From Web R to WebXR


A-Frame (WEB XR)

What‘s WebXR?
VR, AR, MR all on the web.
Wir müssen nichts downloaden. Alles im Web.


supermedium.strikingly.com
VR Browser (only for windows)
VR Experiences that people create
Browsing experience in VR
You can also package it and sell it on steam.
Start small and then add functionality!
Detects connected devices.


Immersion hängt fest von dem Device ab. Screen to VRCenters.

caniuse.com
shows which browser supports what


WebGL versus Web XR
WebGL is the programming language for make 3D stuff on the weg. Very Compligated. Very lowfi

A-Frame is on top of WebGL
WebGL  ->   three.js    ->    A-Frame


CPU only one thing at a time
GPU many processes at the same time



A-Frame:
Sehr simples setup im HTML
glitch.com/…aframe
glitch zeigt direkt, was man coded.
Huge Potential.

(Equirectangular images, Box images.

Nesting animation works.

A-Frame inspecter: Control, Alt I To work directly in aframe.



a-Frame GBlock component search
Google Poly is a Plattform

glTF Works best for web.


Mixed Reality

Augmented Reality ist immer on Top:
Eher wie ein HUD


Mixed Reality: Realität verschwindet mit der künstlichen Welt.


Marker Based AR:
z.B: QR Code
Marker notwendig


Masker-Less AR:
keine Marker mehr.
Gerät erkennt über Sensoren den Raum.


Markt:
Google AR Core
Apple AR Kit
Windows Mixed Reality
Dies sind die drei grossen Player

WEB AR ist schon möglich, aber nicht performant.

Zugang:
Tablets
Head-Mounted Devices
Glasses



Präzision ist bei AR immer noch nicht 100% fix.



Mixed Reality Core Features:
Motion Tracking (Device selbst)
Depth Perception (Raum interaktionen)
Optisch oder Infrasensoren
-> Spatial Mapping
Area Learning (Gedächtnis, wo man was platziert hat.)



Hololens Interaction:
Gaze targeting
Gesture design
Voice design

Spatial Mapping ->



Developing Mixed Reality Applications
(Developper Guidelines cheggen.)
Visual Studio
Unity
Windows 10 SDK



Workshop:
vision11.ch/static/workshop_hololens/


Workshop Notes:
Alles was schwarz ist, wird transparent
Clipping Planes auf 0.1 setzen (anders im Manual)


Plattformen für Models:
Google Poly
SketchFab



Unity UI System verwenden.
Für AR die Canvas umschalten auf „World Space“
Canvas ist Container für UI Elemente


Windows VisualStudio muss man herunterladen für Hololens.
Es wäre alles Gratis.
Hololens Emulator gäbe es. Noch eher mühsam.


VR-CHAT mal anschauen.

Shadertoy.com -> Shader experimente machen


Associated Course: CAS DTEC 2018
 
Picture of Steve Furrer
by Steve Furrer - Sunday, 27 May 2018, 9:51 AM
Anyone in the world

Projekt WetterApp:

Gerne würde ich dieses Wetter App zeigen. Es benutzt eine RestAPI von Wetterdaten. Hoffe ich kann es noch weiter ausarbeiten und auch visuell vorantreiben.

Die Hintergrundfarbe ändert sich mit der Temperatur. Icons wechseln, je nach vorhersage.

Schön wäre, wenn man diese Daten auch noch über eine Cloud auf ein Display ausspielen könnte.  Dort bin ich allerdings noch nirgends.






















3D Printing Wirbelsäule:


Dieser unterste Teil einer 3D-Gedruckten Wirbelsäu.e könnte man einfach ausstellen. Im Hintergrund könnte man einen normalen Ausdruck machen, dass die Betrachter erkennen, wo dieser Teil der Wirbelsäule liegt. (Kontext schaffen)








VR-Projekt:

Für die Ausstellung arbeite ich mit Suntka und Florian am VR Projekt zur Ausstellung.




Projekt Roboter:
Insgeheim würde ich äusserst gerne einen Roboter-Arm basteln. Natürlich ist dieses Projekt zu ambitioniert für die Abschlussausstellung. Ich hatte mich oberflächlich mit IK auseinandergesetzt. Aber das alleine ist schon ein unglaublich tiefes Gebiet. Wo die Dynamik (ansteuern der Motoren) noch nicht thematisiert wurde. Was ich aber gesehen hatte: Man kann mit Spritzen eine Hydraulischen Roboter-Arm basteln. Nun müsste ich die Konstruktion noch machen und diese Lasern lassen. Das wäre extrem toll, wenn man ein DYI Roboter Arm für Kids hätte.
Hier wäre auch meine bitte, um allenfalls mentorierte Hilfe. Halt eher, um die Konstruktion auf dem Lasercutter auszuschneiden und in Materialfragen beizustehen.
Ob ich das noch schaffen werde, bin ich nicht sicher.



Associated Course: CAS DTEC 2018
[ Modified: Sunday, 27 May 2018, 9:52 AM ]
 
Picture of David Christie
by David Christie - Friday, 25 May 2018, 12:36 AM
Anyone in the world


Today we started to explore the world of immersive media of various types. We jumped in the deep end at the beginning and were given various VR (virtual reality) programs to try out. I got to try Google Earth with VR headset and controllers. It was a bit tricky to get used to the controls at the beginning but I soon managed to explore London and visit the place I grew up in! Despite the relatively small field of clear vision, the illusion of immersion was quite real, even if there were no people walking around in the cities.

It was a strange sight for me to see grown adults waving their hands around with headsets on. Apparently, for devotees of this genre, this is perfectly normal behaviour!

Steve immersed!Then after a brief history of the area, we went on to discuss the various types of immersive media, from AR (augmented reality), to MR (mixed reality), to AV (augmented virtual reality) and VR (full virtual reality). 

An interesting point was the current state of the technology. Currently, it is generally necessary to have a powerful desktop computer with good graphic cards and installed laser or infra red cameras. The latter are needed for accurate positioning of the headset and hand controllers  in the room. The trend is clearly towards freeing the headset of this need and to including visual recognition cameras in the headset so that it can react to the surroundings. The hardware and software are not really there yet. The tools are quite usable, but the picture resolution and field of view are still quite limited. Enormous server farms are needed to generate VR as we see simulated in films.

"Extended reality" adds hand and face recognition to the mix and combines generated graphics with our direct view of reality. Together with faster devices and networks, the goal will be to free the user from the need to be tied to a particular place or desktop machine. All this talk of recognition software opens up images of dystopian futures where we are all easily trackable an directly identifiable in any public spaces, of course. But this is already reality: facebook is already doing it, despite our user settings and European legislation (which went live as I was writing this blog). We are not really ready for pervasive identification as a society yet.

In the afternoon, we created our own rollercoaster animation in the tool Cinema 4D and then manipulated it with the game software Unity so that it could be experienced with VR headset. I was surprised how far one can get with these tools today. Obviously the hard part is to make the virtual reality that one moves in real enough.

   

    

The picture above is the animation in final state in Unity. With the VR headset on, it felt a lot faster!

Associated Course: CAS DTEC 2018
[ Modified: Friday, 25 May 2018, 12:39 AM ]