El sonido tridimensional en la realidad virtual by rwk17101

VIEWS: 22 PAGES: 7

									          El sonido tridimensional en la realidad virtual
                                                          e
                                       Julio Manuel Vega P´rez

                                                   o
                     Universidad Rey Juan Carlos, M´stoles (Madrid), Spain

                                          1 de junio de 2009


1.    Resumen                                                            a
                                                            3. ¿Cual es m´s potente?

  En este trabajo se pretende dar un vistazo                4. ¿Hay viento?
amplio al tratamiento e influencia de los sonidos                     ıdo  u
                                                            5. ¿Ha ca´ alg´n objeto grande sobre el lago?
3D en diversas aplicaciones como videojuegos y,
en general, escenarios 3D destinados a causar                          u             o            a
                                                            6. ¿Hay alg´n nadador y c´mo nada de r´pido?

           o     e
una inmersi´n en ´l con sensaciones cercanas
                                                                                        o
                                                             Esto puede parecer una misi´n imposible. Pero
a la realidad. En este aspecto es de destacar el
                                                           la verdad es que el sistema auditivo humano hace
sonido virtual en 3D porque, si nos fijamos un
                                                                          a
                                                           este tipo de an´lisis todo el tiempo y a una ve-
                                 o
poco en nuestro sistema de audici´n, estamos
                                                                                                  ımpanos
                                                           locidad extremadamente alta. Nuestros t´
constantemente analizando sonidos y gracias a
                                                           equivalen a las hojas depositadas en los surcos.
e
´l somos capaces de localizar objetos en el espa-
                                                                                        a      ´
                                                           Nuestro sistema auditivo, bas´ndose unicamente
                                    u
cio que nos rodea, sin utilizar ning´n otro sentido.
                                                                   a              o
                                                           en el an´lisis del patr´n de variaciones en ambos
                                                            ımpanos, es capaz de generar una idea muy pre-
                                                           t´
                                                           cisa de nuestro entorno auditivo.
2.              o
      Introducci´n
                                                             Suponiendo que nos encontremos en una fies-
                                                                         ıpicamente se conoce en
  Un ejemplo bastante ilustrativo del sistema de ta muy ruidosa, lo que t´
                                                    e
audici´n humano lo encontramos en el famoso li- ingl´s como el cocktail party problem, donde hay
      o
bro de Albert Bregman Auditory Scene Analysis, muchas fuentes sonoras de todo tipo interactuando
                                                                                            u
donde describe la siguiente analog´ supongamos al mismo tiempo, no necesitamos realizar ning´n
                                  ıa:
que estamos frente a un lago, del cual salen dos esfuerzo para responder acertadamente a pregun-
                                                             a             a                 e
surcos largos y angostos hacia la orilla. En ca- tas como ¿Cu´nta gente est´ hablando? o ¿Qui´n
                                                        a              a a
da surco se coloca una hoja de ´rbol, la cual se suena m´s fuerte o est´ m´s cerca? o ¿Hay algu-
                               a
                                                  a
mover´ a medida que el agua del lago fluya ha- na m´quina haciendo ruido de fondo?. El sistema
     a
                                                                                       ıdo
cia los surcos. S´lo analizando el movimiento de auditivo humano se extiende desde el o´ externo
                 o
ambas hojas, sin mirar nada m´s que las hojas, la hasta la corteza cerebral y es capaz de realizar una
                             a
idea es poder responder preguntas como:                    cantidad impresionante de operaciones complejas
                                                           en muy poco tiempo.
       a                              o       a
 1. ¿Cu´ntos barcos hay en el lago y d´nde est´n?
                                                                         e
                                                             Entonces ¿qu´ es un sonido en 3D? Es un sonido
       e             a
 2. ¿Qu´ barco esta m´s cerca?                                                                    u
                                                           que trata de crear una imagen mental ac´stica de

                                                       1
las fuentes de sonido espacial dentro de un espacio
artificial.




3.     Aplicaciones

3.1.    Mediazine

  Pues bien, Los sistemas de sonido tridimension-
                  o
al o la comunicaci´n entre el ser humano y la
                                                                                o
                                                              Figura 1: Habitaci´n virtual de Mediazine
 a
m´quina son algunos de los campos de trabajo
                                    ıa
del Instituto Fraunhofer de Tecnolog´ de Medios
Digitales (IDMT). A grandes rasgos podr´ decirse 3.2.
                                       ıa                        Asistencia en viaje
que en las nuevas instalaciones de Ilmenau, opera-
                                                               u
                                                            Seg´n estudios, muchos de los accidentes que
tivas desde 2008, lo que se busca es aproximar los
                                                                                          ıan
                                                          se producen en carretera se podr´ evitar si el
mundos virtual y real.
                                                                                 o                         o
                                                          tiempo entre la detecci´n del peligro y la reacci´n
  El director de este instituto fue el creador del al respecto disminuyera. De modo que cuanto m´s
                                                                                                a
                                    a e
algoritmo del formato de audio que m´s ´xito r´pido es la reacci´n, mayor es la probabilidad de
                                              a                 o
tiene actualmente a nivel mundial: el MP3. El sis- evitar el peligro.
                 o                         o
tema de codificaci´n de audio MP3 revolucion´ el                                                           a
                                                            Actualmente, el sistema visual es el sentido m´s
              u                    ır u
sector de la m´sica y la forma de o´ m´sica. La utilizado, ya que reporta mucha informaci´n al
                                                                                         o
posibilidad de comprimir los datos audio a la conductor de forma r´pida. Sin embargo, debido a
                                                                    a
                        n               o
doceava parte de su tama˜o original abri´ paso la incremental aparici´n de controles en un coche,
                                                                     o
a los reproductores MP3 y a las descargas de la visi´n acaba por sobrecargarse. Pues bien, en el
                                                     o
 u
m´sica por Internet.                                      trabajo de [Bellotti et al., 2000] se presenta un sis-
                                                          tema que se centra en la capacidad del sistema au-
  Un sistema bastante interesante desarrollado ditivo para reforzar las habilidades de un conduc-
por este instituto es el descrito en [Schiffner y tor. En ese estudio se analizan tres posibles casos
Chodura, 2000], llamado Mediazine. Se trata de de control auditivo: (i) estado lateral, que ayude
un magazine multimedia interactivo, y en un en- al conductor a mantenerse por el carril; (ii) estado
torno distribuido como es Internet. Incluye, en- longitudinal, para regular la distancia de seguridad
                                                                                                o
tre otras cosas, un servidor de audio espacial que con los coches que lo rodean; y (iii) situaci´n de
maneja las comunicaciones por tel´fono, o aplica- aparcamiento, para ayudar en maniobras de esta-
                                 e
                                                                    ıculo.
ciones como la televisi´n y radio. Y es espacial cionamiento del veh´
                       o
porque proporciona una salida binaural de modo                                                   o
                                                            El sonido en 3D permite la reproducci´n del
                                                                              o
que, por ejemplo, en el entorno virtual los par- sonido desde cualquier posici´n y en cualquier
                                                                           e
ticipantes pueden situar mentalmente al resto de trayectoria. A parte tambi´n se tratan aspectos co-
           o
avatares, s´lo por el sonido.                             mo la intensidad o el contenido espectral, de modo

                                                      2
               o                 o
que la percepci´n del sonido sea ´ptima.                mayormente en la GPU. Nos ofrece una serie de
                                                                              o              o
  Un problema a tener en cuenta para el dise˜o efectos sonoros, como la reflexi´n, reverberaci´n,
                                            n
                                                       o            o
del sistema es el conocido como Efecto Franssen. oclusi´n, obstrucci´n, o el efecto Doppler.
Si consideramos dos fuentes de sonido en difer-                                         o
                                                          En un entorno de OpenAL, tan s´lo hay un ob-
entes posiciones, y una emite primero que la otra servador, que representa a una persona con dos
el mismo tono. Aunque la primera fuente de sonido o´
                                                   ıdos. Asimismo tenemos un buffer donde carg-
pare de sonar, y continue la segunda, los estudios amos los archivos de sonido, a los cuales asignamos
revelan que las personas seguimos escuchando el una determinada posici´n en el entorno virtual; o
                                                                      o
                      o          ıa
sonido desde la posici´n que emit´ primero y que varias posiciones, de forma que s´lo tenemos que
                                                                                  o
               a
actualmente est´ parada.                                cargar cada sonido una vez aunque lo reproduz-
                                                        camos desde varias zonas.
3.3.             o             o
         Simulaci´n de conducci´n

               ınea que el anterior trabajo co- 3.4.
  En la misma l´                                               Ayuda a personas con discapaci-
                                                               dad
mentado, vamos a citar otro estudio al respecto,
[Xun-xiang et al., 2008], que trata de a˜adir el
                                        n                 Los entornos virtuales basados en el audio 3D
                                 o
efecto del sonido 3D a la inmersi´n en un en- tambi´n se suelen usar como medio para motivar
                                                    e
                  o          o
torno de conducci´n de autom´viles, principal- y mejorar la atenci´n de personas con ciertas dis-
                                                                  o
                                o
mente porque el campo de visi´n en estos sistemas capacidades. En el proyecto AudioChile, desarrol-
virtuales suele ser limitado, y para satisfacer tales lado por la Universidad de Chile, ´ste es el princi-
                                                                                        e
limitaciones.                                                   o
                                                        pal prop´sito.
  Los aspectos a tener en cuenta para una simu-           Un trabajo interesante lo tenemos en [S´nchez
                                                                                                 a
    o
laci´n auditiva correcta son: (i) principio de posi- y S´enz, 2005], donde se centran en usar el sonido
                                                        a
cionamiento del audio espacial, que nos puede re- 3D como interfaz para mejorar las habilidades de
                o                     o
portar informaci´n acerca de la posici´n de las los usuarios en el reconocimiento de espacios vir-
fuentes de sonido o velocidad de movimiento (en tuales a trav´s del sonido. Los ni˜os con discapaci-
                                                             e                    n
su caso); (ii) modelo de distancia, que estudia dades visuales tienen una percepci´n distinta del
                                                                                  o
 o
c´mo decae la intensidad de la voz hasta que se mundo que les rodea, frente a los ni˜os que ven
                                                                                    n
pierde; y (iii) efecto Doppler, cuya consecuencia con normalidad. De modo que suelen desarrollar
                     o
radica en la sensaci´n de percibir un sonido con otros sentidos, con el o´
                                                                         ıdo, que les ayuden a orien-
frecuencia cambiante (inexistente), debido al rel- tarse y, por tanto, a moverse por el espacio. As´
                                                                                                   ı,
ativo movimiento entre el observador y la fuente necesitan aprender a interpretar esos sonidos.
de sonido.                                           En AudioChile, se proporcionan una serie de
                                                        escenarios virtuales que recrean las diferentes re-
3.3.1.    OpenAL
                                                                               n
                                                        giones de Chile. Los ni˜os tienen que navegar por
  Es una plataforma de desarrollo de audio 3D. estos entornos interactuando a trav´s del sonido y
                                                                                  e
                                 ıa
Similar a OpenGL, con esta librer´ podemos pro- la m´sica, teniendo que realizar determinadas ac-
                                                    u
                         a
gramar a alto nivel; adem´s tampoco hace un uso tividades as´ como tomar ciertas deciciones dentro
                                                            ı
excesivo de CPU, sino que su procesamiento recae de tales mundos.

                                                    3
                                                                        ´                         o
                                                          sobre voxels. Estos son una discretizaci´n del espa-
                                                                                                          o
                                                          cio, simplificando las posiciones de interactuaci´n
                                                          y creando un repositorio concreto para una de-
                                                          terminada entidad. Tal entidad normalmente es
                                                                                           u
                                                          un objeto virtual representado ac´sticamente (una
                                                          puerta, una caja, un personaje, etc.).




Figura 2: Distintas situaciones del entorno virtual
AudioChile

                    e
  Otro trabajo tambi´n desarrollado por la Uni-
                                               n
versidad de Chile, pero que se centra en los ni˜os
                                                                   n
ciegos, lo encontramos en [Lumbreras y S´nchez, Figura 3: El ni˜o explora AudioDoom interac-
                                          a
                                                   tuando con entidades situadas en voxels virtuales
1999]. Hemos visto c´mo el sonido 3D puede ayu-
                     o
                                                                                              ıa)
                                                   (dibujadas artificialmente sobre la fotograf´
                                                o
dar a interactuar en entornos 3D, cuando la visi´n
del mismo es limitada; sin embargo esta inter-
    o
acci´n se torna m´s dif´ si el usuario no tiene
                 a     ıcil
                                                          4.    Problemas
            o
ninguna visi´n.
                                                            Para renderizar el sonido 3D, hay que tener en
                                         e
  En este estudio se demuestra que a trav´s del cuenta muchos aspectos, sobretodo en aplicaciones
audio 3D los usuarios se pueden crear una ima- en tiempo real. Al igual que ocurre con los gr´ficos,
                                                                                             a
                                              a
gen mental del entorno virtual por el cual est´n uno de los factores que m´s influye es el n´mero
                                                                          a                u
                               o
navegando. Normalmente la visi´n juega un papel de pol´
                                                      ıgonos empleados en una escena. En el caso
fundamental en nuestro conocimiento del mundo; que nos estamos centrando, concretamente son los
         ıa
la mayor´ de las representaciones mentales se ha- pol´                 o                    a
                                                     ıgonos de reflexi´n del sonido. Adem´s, dado
           e               o
cen a trav´s de la percepci´n visual.                                a
                                                  que las tarjetas gr´ficas cada vez ofrecen un mejor
                        o     ı
  Pues bien, la aplicaci´n aqu´ desarrollada se de- rendimiento, el n´mero de ´stos hoy en d´ suele
                                                                     u        e             ıa
                           a
nomina AudioDoom, y est´ formada por una se- ser muy grande.
rie de escenarios virtuales, un avatar manipulado
                                                            El sonido 3D virtual requiere que se computen
                                          a
por el usuario, un conjunto de objetos din´micos
                                                          las siguientes cualidades:
y una serie de interacciones entre esas entidades
que constituyen el argumento de la historia.                           o             o
                                                               Trasmisi´n. La absorci´n del sonido por el
                                       n
  Para interactuar en AudioDoom, los ni˜os oper-                               o          ıa,      e o
                                                               aire, distribuci´n de energ´ y tambi´n c´mo
         e
an a trav´s del espacio de sonido virtual, actuando            afectan las diferentes superficies en el mismo.

                                                      4
    Reflexi´n. Propagaci´n del sonido por el en-
          o            o                                      En el trabajo de [Tsingos et al., 2004] se centran
    torno.                                                  en el problema de tener varias fuentes de sonido
                                                             o
                                                            m´viles. En este caso, la idea es emplear mecan-
               o                    o
    Reverberaci´n. Ligera prolongaci´n del sonido
                                                            ismos de culling y, en definitiva, emplear el nivel
    una vez que se ha extinguido el original, de-
                                                            de detalle de la escena adecuado para poder ten-
    bido a las ondas reflejadas.
                                                                                              a
                                                            er varias fuentes de sonido simult´neamente y en
    Funci´n
         o     de   trasferencia    relativa   a   la tiempo real.
    cabeza    (HRTF).     Cambios      de      propa-         El procedimiento seguido es eliminar las fuentes
    gaci´n/interferencia del sonido debido a de sonido inaudibles en un determinado momen-
        o
    la distribuci´n de las orejas en la cabeza. to, y agrupar las restantes en clusters. El pipeline
                 o
    Efecto tratado m´s detalladamente en el seguido es el que se muestra en la imagen 4.
                    a
    trabajo de [Wu et al., 1996].

            o           o
    Difracci´n. Dispersi´n y curvado aparente de
                                       a
    las ondas cuando encuentran un obst´culo.

            o                    o
    Refracci´n. Cambio de direcci´n que experi-
    menta una onda al pasar de un medio mate- Figura     4:    Pipeline  usado,   empleando
                                                                                  u
                                              culling/clusteringpara reducir el n´mero de
    rial a otro.                                                                         o
                                              fuentes y amortizar los costes de computaci´n
                                              sobre grupos de sonidos
  Existen numerosos trabajos concernientes a
 o
c´mo optimizar las escenas virtuales para con-                          ıa
                                                      La misma ideolog´ se puede apreciar en otro
seguir un sonido 3D apto para tiempo real. trabajo del mismo grupo de investigaci´n ([Moeck
                                                                                          o
Nosotros nos centraremos en algunos de ellos. Para et al., 2006]). La novedad aqu´ reside en un clus-
                                                                                 ı
comenzar, en el trabajo de [Joslin y Magnenat- tering jer´rquico y en una mezcla conveniente de
                                                          a
Thalmann, 2003 ] se centran en reducir el n´mero
                                           u                                    e
                                                 sonidos para el tratamiento de ´stos de forma con-
de pol´                                o
       ıgonos de la escena. La motivaci´n es sen- junta. El pipeline es el de la figura 5.
                            a
cilla; mientras que para gr´ficos es necesario un
      u           ıgonos para tener gran cali-
gran n´mero de pol´
dad de imagen, en audio no es necesario tener tal
 u           ıgonos, debido a que la longitud de
n´mero de pol´
onda del sonido es muy grande (17m para una ba-
ja frecuencia de 20Hz). De modo que con una rep- Figura 5: Pipeline usado, empleando clustering
                                                    a
                                                 jer´rquico
         o
resentaci´n sencilla, podemos obtener un sonido
                                o
renderizado con bastante precisi´n.
                                                                                       e     a
                                                              Otros trabajos cuyo inter´s est´ centrado en re-
    ı,
  As´ en el mecanismo empleado en tal estudio, se
                                                            ducir los costes computacionales en el tratamiento
                        a
quedan con las facetas m´s significativas de esce-
                                                            de sonidos 3D, se pueden consultar en la bibli-
                                            o
nas complejas. Para ello, emplean segmentaci´n de
                                                            ograf´ V´ase por ejemplo [Doerr et al., 2007] o
                                                                 ıa. e
la escena, clustering de puntos 3D y agrupamiento
                                                            [Kim et al., 1997] entre otros...
en cajas contenedoras.

                                                        5
Referencias                                               [Joslin y Magnenat-Thalmann, 2003] Chris
                                                            Joslin y Nadia Magnenat-Thalmann.      Signif-
[Bellotti et al., 2000] Francesco Bellotti, Riccar-
                                                            icant facet retrieval for real-time 3d sound
  do Berta, Alessandro De Gloria, y Massimil-               rendering in complex virtual environments.
  iano Margarone. Using 3d sound to improve                 MIRALab, University of Geneva, Switzerland,
  the effectiveness of the advanced driver assis-            2003.
  tance systems. Department of Electronics and
  Biophysical Engineering, University of Genova, [Kim et al., 1997] Tae-Sun Kim, Seh-Woong
  Italy, 2000.                                     Jeong, Byung-Chul Park, y Sang-II Park.
                                                            New real-time implementation of 3d-sound
[Cowan y Kapralos, 2008] Brent Cowan y Bill                 system using tla algorithm. IEEE Transactions
  Kapralos. Spatial sound for video games and               on Consumer Electronics, Vol. 43, No. 3,
  virtual environments utilizing real-time gpu-             AUGUST 1997, 1997.
  based convolution. Faculty of Business and In-
  formation Technology, Health Education Tech- [Lumbreras y S´nchez, 1999] Mauricio
                                                             a                        Lumbr-

  nology Research Unit, University of Ontario In-               a
                                                  eras y Jaime S´nchez. Interactive 3d sound

  stitute of Technology, Oshawa, Ontario, Cana-             hyperstories for blind children. Department of

  da, 2008.                                                 Computer Science, University of Chile, Chile,
                                                            1999.
[Dobler y Stampfl, 2004] Daniel Dobler y Philipp
                                                          [Matsumura et al., 2005] Tomoya     Matsumura,
  Stampfl. Enhancing three-dimensional vision
                                                            Nobuyuki Iwanaga, Wataru Kobayashi, Takao
  with three-dimensional sound.       SIGGRAPH
                                                            Onoye, y Isao Shirakawa. Embedded 3d sound
  2004 Course, Klimschgasse, Viena, Austria,
                                                            movement system based on feature extraction
  2004.
                                                            of head-related transfer function. IEEE Trans-
[Doerr et al., 2007] Kai-Uwe     Doerr,     Holger          actions on Consumer Electronics, Vol. 51, No.
  Rademacher, Silke Huesgen, y Wolfgang Kub-                1, FEBRUARY 2005, 2005.
  bat. Evaluation of a low-cost 3d sound system
                                                          [Moeck et al., 2006] Thomas Moeck, Nicolas Bon-
  for immersive virtual reality training systems.
                                                            neel, Nicolas Tsingos, George Drettakis, Is-
  IEEE TRANSACTIONS ON VISUALIZA-
                                                            abelle Viaud-Delmon, y David Alloza.     Pro-
  TION AND COMPUTER GRAPHICS, VOL.
                                                            gressive perceptual audio rendering of com-
  13, NO. 2, MARCH/APRIL 2007, 2007.
                                                            plex scenes. REVES/INRIA, Sophia-Antipolis,
[Gaye, 2002] Lalya Gaye. A flexible 3d sound sys-            France, 2006.
  tem for interactive applications. Future Appli-
                                                          [Schiffner y Chodura, 2000] Norbert Schiffner y
  cations Lab, Viktoria Institute, Sweden, 2002.
                                                            Hartmut Chodura. Mediazine - a combination
[Heuten et al., 2006] Wilko Heuten, Daniel Wich-            of television, radio, www, telecommunication
  mann, y Susanne Boll. Interactive 3d sonifica-             and 3d computer sound and graphics. Fraun-
  tion for the exploration of city maps. University         hofer Institute for Computer Graphics, Fraun-
  of Oldenburg, Oldenburg, Germany, 2006.                   hofer, Germany, 2000.

                                                      6
[S´nchez y S´enz, 2005] Jaime S´nchez y Mauri-
  a         a                  a
       a
  cio S´enz. 3d sound interactive environments
  for problem solving. Department of Computer
  Science, University of Chile, Chile, 2005.

[Tsingos et al., 2004] Nicolas Tsingos, Emmanuel
  Gallo, y George Drettakis.      Perceptual au-
  dio rendering of complex virtual environ-
  ments.     REVES/INRIA, Sophia-Antipolis,
  France, 2004.

[Wu et al., 1996] Jiann-Rong    Wu,    Cha-Dong
  Duh, y Ming Ouhyoung.        Head motion and
  latency compensation on localization of 3d
  sound in virtual reality. Communication and
  Multimedia Lab., Department of Computer
  Science and Information Engineering, National
  Taiwan University, Taiwan, 1996.

[Xun-xiang et al., 2008] Li Xun-xiang, Zhan Duo,
  Cheng Dongyan, y Chen Dingfang. Implemen-
  tation of 3d sound effect modeling technology
  based on vehicle driving simulator.     Modern
  Industrial Design Institution, College of Com-
  puter Science, Zhejiang University, Hangzhou,
  China, 2008.




                                                   7

								
To top