Mixed Reality Virtual Reality, Augmented Reality, Augmented

							  Mixed Reality: Virtual
Reality, Augmented Reality,
   Augmented Virtuality


        Luigi Cinque-Enver Sangineto
   Sistemi per l’Interazione Locale e Remota
                   Marzo 2009
                  Outline
•   Mixed Reality (MR)
•   Virtual Reality (VR)
•   Augmented Reality (AR)
•   Augmented Virtuality (AV)
            Mixed Reality
• Mixed Reality (MR)
  è un termine che viene usato per
  rappresentare un intero spettro di
  situazioni che spaziano dall’ambiente
  reale all’ambiente virtuale.
          Mixed Reality Continuum
• Mixed reality includes augmented reality, augmented
  virtuality, and other mixed configurations.
                               Mixed Reality (MR)




                              Mixed Reality (MR)


              Augmented                              Augmented
              Reality (AR)                          Virtuality (AV)
    Real                                                                Virtual
Environment                                                           Environment
    (RE)                                                                  (VE)
                        Reality-Virtuality (RV) Continuum
Caratteristiche dei sistemi di MR

 – Reproduction Fidelity: misura la qualità della
   generazione delle immagini
 – Extent of Presence Metaphor: misura il livello
   di immersioni dell’utente dentro la scena
 – Extent of World Knowledge: livello di
   accuratezza nella sincronizzazione degli
   oggetti virtuali e mondo reale
     What is Virtual Reality ?
– Brooks (1999) definisce come:
     “un’esperienza .. nella quale l’utente è immerso in
  un mondo virtuale capace di reagire alla sua
  presenza” …
– Sherman and Craig (2003) definisce come:
    “un mezzo composto da simulazioni interattive
  tramite computer che percepiscono la posizione e le
  azioni dell’utente e sostituiscono o aumentano il
  feedback di uno o più sensi, dando l’impressione di
  essere mentalmente immersi o presenti nella
  simulazione (virtual world)”
   Performance of VR systems
• In un sistema VR è importante poter
  produrre immagini 3D realistiche ad alta
  risoluzione, in real-time e senza evidenti
  “flicker”.
  – Hardware capability
  – Software capability
      Four Key Elements in
        Experiencing VR
– Un ambiente virtuale
– Immersione (fisica e mentale): dà un senso di
  “presenza” nell’ambiente virtuale; questo può essere
  uno stato puramente mentale o realizzato con mezzi
  fisici
– Feedback: sensoriale visivo/auditivo/tattile/… inviato
  all’utente.
– Interattivita: in un’esperienza di realtà virtuale, i
  partecipanti si possono muovere e cambiare punto di
  vista.
Four Crucial Technologies for VR
• Visual displays: immersione dell’utente nel mondo
  virtuale
• Graphics rendering system: che genera da 20 a 30
  frames per secondi
• Tracking system: rileva continuamente la posizione e
  l’orientamento della testa e della mano dell’utente
  (ritardi di ms nessun problema, >0.1 s, effetto negativo)
• World modeling system: per la costruzione e
  l’aggiornamento dei dettagli dei modelli realistici del
  mondo virtuale
     Presence and Immersion
• Immersion
       “immerso nell’ambiente”: realizzato
  tipicamente mediante HMD o sistemi multi-
  display
• Self Presence
       senso di 3D relativo all’ambiente: “I am
  there”
• Object Presence
        gli oggetti sono 3D rispetto all’utente: “it is
  there”
 The Technology of Immersion

• Stereoscopic display: dà la profondità del
  campo visivo dell’utente
• Head tracking: dà illusione all’utente di
  guardarsi attorno.
• 3D computer graphics: riempie l’ambiente con
  gli oggetti virtuali
• 3D interaction: dà la sensazione all’utente di
  interagire con oggetti reali
        Criteria of Immersion

• Totale illusione di essere circondato da oggetti
  virtuali
• L’ambiente dovrebbe “reagire”all’utente.
• Gli oggetti devono avere un senso di presenza
• Non è richiesto un modello del mondo reale
• Non sono importanti foto realistiche
   Typical Components of VR
• Sistema Base:
  – Computer
  – Head-Mounted Display (HMD)
  – Hand-tracked device (VR Glove or Wand)
  – 3D graphics rendering system

• Inoltre:
  – 3D sound, spaceball, etc.
Typical Computer used for VR


SGI’s Onyx 2 (4 CPUs, 2
Infinite Reality Pipelines)
Head-Mounted Display (HMD)


– Piccoli display montati sulla testa,
  completamente immersivi, hanno bisogno di
  un tracker per tracciare la posizione e
  l’orientazione della testa.
       Head-Mounted Display (HMD)


-supported Floor
    Display
                 Stereoscopy
• Stereoscopia è una tecnica capace di creare
  l’illusione della profondita’ in un’immagine.
• L’illusione della profondita’ in una foto, film, o altre
  immagini 2D e’ creata tramite due immagini
  leggermente diverse per ogni occhio.
VR Glove
Wand
       3D Tracking Paradigm
• Uno o più sensori determinano la
  posizione e l’orientamento rispetto ad una
  sorgente
• Il sensore(i) capta un segnale proveniente
  dalla sorgente e stabilisce sia la posizione
  che l’orientamento
• Sorgente e sensore possono essere fissi
  o mobili
• Diverse tecnologie:
     • Ultrasuoni, Elettromagnetici, Ottici
    Localization by Ultrasound

• Una sorgente (emittente) emette un
  segnale (ultrasuono) verso il guanto, che
  contiene 2-3 ricevitori.
• Il tempo che intercorre tra l’emissione e la
  ricezione determina la distanza
  emittente-ricevente
Localization by Ultrasound

   Emitter



             Ultrasound wave



                               Finger flexion sensor



                                               Spatial position sensor
Ultrasonic Tracking Advantages
      and Disadvantages

• Vantaggi
    • Basso costo
    • Facile da realizzare
• Svantaggi
    • Nessun ostacolo tra emittente e ricevente
    • Range molto corto (few feet)
    • Fortemente dipendente dalla temperatura e
      dall’umidità dell’aria
Localization by Electromagnetic
          (EM) Pulses
• Tre antenne emettono impulsi radio in
  sequenza
• Tre antenne ricevono gli impulsi e
  determinano la potenza del segnale lungo
  gli assi
• La potenza globale delle tre receventi darà
  la distanza dalla sorgente emittente
Localization by EM Pulses
                 Emitter
                 strong signal




                                 Receiver
                                 weak signal
         EM Advantages and
           Disadvantages
• Vantaggi
    • Facilità nella gestione del tracking
    • Possono esserci ostacoli tra sorgente e sensore
    • Tecnologia matura
• Svantaggi
    • Errori nel tracking
    • Range corto
    • Fortemente sensibile al campo magnetico e oggetti
      metallici nell’ambiente
    Localization by Optical
          Correlation
• Analisi stereoscopica, correlazione
  pixels comuni a due immagini riprese
  da due telecamere
• I punti correlati permettono la
  triangolazione delle posizioni (3D)
• La triangolazione si basa sulla
  corrispondenza di punti simili presi su
  due immagini diverse
Localization by Optical
      Correlation
       Optical Advantages and
           Disadvantages
• Vantaggi
    • Qualità molto buona del segnale di tracking
    • Uno dei metodi più precisi
• Svantaggi
    • Nessun ostacolo tra emittente e receivente
    • Ingombrante e difficile da realizzare
       Cave Automatic Virtual
        Environment (CAVE)
• Sistemi basati sulla proizione: proiezione diretta
  o con retro-proizione, l’utente è completamente
  circondato da immagini proiettate su grandi
  schermi. Crea un senso di elevata immersione
                    CAVE
•   Completely immersive
•   Maximum cost solution
•   Centralized facility
•   Not Mobile
    Goals that inspired CAVE
          Engineering
• The desire for higher-resolution color
  images and good surround vision without
  geometric distortion
• Less sensitivity to head-rotation induced
  errors
• The ability to mix virtual reality imagery with
  real devices (like one's hand, for instance)
• The need to guide and teach others in a
  reasonable way in artificial worlds
CAVE Demo
           Cave Demos
• CAVE project:
  http://www.youtube.com/watch?v=-
  Sf6bJjwSCE
• Quake with CAVE:
  http://www.youtube.com/watch?v=gnGRH
  WzGifU&feature=related
          Cave Applications
• architectural walk-through
• evaluation of engineering designs (virtual
  prototyping)
• driving simulators
• training for dangerous situations and other
  scenarios
• molecular modeling
• virtual reconstruction of archeological sites
• medical and biological visualization
• artistic expression of ideas, and more ...
Cave Applications
    Distributed Architectures:
        Idea of the Future
                                                                 Present way of Teaching



                            Super Computer
                 (Flow data, Visualization computation)


                visualization                           user               visualization
   user                                                                        data
commands            data                             commands




                                   Ultra Net

                                Future way of Teaching             CAVE B
     CAVE A
   (ELG 5121)                                                   Prof. El Saddik
            Blue-c System
• Blue-c system by ETH institutes:
  collaborative virtual reality
Blue-c System
              Workbenches
• Banchi di lavoro: schermi piatti che presentano
  immagini in modalita’ stereo. Possono essere
  montati anche in orizzontale/inclinati.
  Immersione parziale, alto senso di presenza
  dell’oggetto
      Hot Open Challenges

– Interagire piu’ efficaciamente con I mondi
  virtuali:
   • Manipulation
   • Wayfinding
– Modellare I mondi efficientemente
   • Modeling the existing world
   • Modeling non-existing worlds
– Misurare l’illusione della presenza e la sua
  efficacia operazionale
     Augmented Reality (AR)
• A differenza della virtual reality,
  augmented reality si riferisce a situazioni
  nelle quali l’obiettivo è integrare la
  percezione dell’utente di un mondo reale
  attraverso l’aggiunta di oggetti virtuali
         Augmented Reality
• AR e’ una tecnologia o un ambiente dove
  l’informazione aggiuntiva, generata da un
  computer, e’ inserita nella visione
  dell’utente di una scena del mondo reale.
         Augmented Reality
• L’informazione aggiuntiva puo’ consistere
  in:
  – oggetti virtuali posti nell’ambiente o
  – nella visualizzazione di informazione relativa
    ad oggetti esistenti tipo la temperatura nella
    stanza
Augmented Reality
         Augmented Reality
• Sistemi di AR spesso fanno uso di head
  mounted displays (HMD)
• Ci sono due principali catagorie di sistemi
  HMD-based AR:
  – Optical See-Through Augmented Reality
  – Video-based Augmented Reality
• Altri sistemi AR fanno uso di proiettori o
  altri tipi di display.
         Optical see-through
• Combinatori ottici parzialmente trasparenti sono
  posti di fronte agli occhi, permettono di vedere in
  essi il riflesso di immagini virtuali rappresentate
  su piccoli display
                  Video-based
• Fa uso di piccole video-camere per catturare la visione
  del mondo reale che sarebbe vista dagli occhi. Le
  immagini reali sono combinate con quelle virtuali, create
  dal computer, per creare immaginidi AR che vengono
  visualizzate su un classico HMD (non see-through).
Esempio: il sistema MRCVE
Mixed Reality-based collaborative virtual environment (MRCVE)
  (Wang et al. 2003):
– Modeling computer: Running AutoCAD or other modeling software.
– MR computer: Running the Mixed Reality viewing software.
– Camera-attached head mounted display (HMD)
     Augmented Reality




The Process of Video-Based Marker Detection
and Overlay of Virtual Objects
              MRCVE Scenarios




MRCVE collaboration scenario   Mixed Reality view through head-
                                        mounted display
AR-based Videoconferencing
                 Demo
• ARQuake Project:
  http://wearables.unisa.edu.au/arquake/
         Some Issues in AR

– Focalizzazione: e’ desiderabile avere gli oggetti
  virtuali visualizzati ad una distanza focale
  corrispondente alla loro relativa profondità nel mondo
  reale.
– Portabilità: in VR, la portabilita’ e’ optional. In AR,
  l’utente se vuole cambiare la sua posizione nel
  mondo reale, ha bisogno della portabilita’.
      …Some Issues in AR
– Qualita’ dell’immagine: in VR, l’ambiente
  virtuale deve essere modellato, renderizzato e
  visualizzato. In AR, un’accurata visione del
  mondo reale e’ fornita “for free”. Il display ha
  solo bisogno di manipolare la visualizzazione
  degli oggetti virtuali, che può essere
  realizzata in modo soddisfacente con un
  campo visuale piu piccolo, ridotto range di
  colori, e/o bassa risoluzione.
         …Some Issues in AR
• Tracking and Registration: In VR, non e’
  richiesta una “registrazione” accurata degli
  oggetti, che possono essere difficili da rilevare e
  non hanno importanza. In AR, la registrazione
  accurata e’ critica. Ogni minimo errore nella
  registrazione sara’immediatamente visibile, ed
  molto difficile da evitare o superare.
       Augmented Virtuality (AV)
• AV descrive tutti quei casi in cui un oggetto (entità) reale
  e’ inserito in un ambiente generato dal computer.
• I sistemi di AV tipicamente includono un input reale multi-
  sensoriale, che integra l’ambiente virtuale presentato

• Esempi AV
   – Dirigere il profumo di caffe’ verso un utente quando questo passa
     vicino ad una macchina del caffe’ virtuale posta in un ambiente
     virtuale.
   – Accendere una lampada calda su un utente quando si avvicina ad
     un punto nell’ambiente virtuale esposto al sole.
   – Accendere una ventola di fronte all’utente quando si avvicina a un
     punto nell’ambiente virtuale esposto al vento
AV-based videoconferencing
Fine…