El miércoles por la mañana, Microsoft mostró un proyecto en el que han estado trabajando durante siete años, un casco de realidad aumentada llamado Project HoloLens .
La visión es ambiciosa: quieren cambiar fundamentalmente la forma en que las personas interactúan con las computadoras, mediante la construcción de un par de lentes que pueden mezclar fluidamente contenido virtual y real en el espacio físico del usuario. Esto es como la tecnología de realidad virtual Por qué la tecnología de realidad virtual hará volar tu mente en 5 años Por qué la tecnología de realidad virtual hará volar tu mente en 5 años El futuro de la realidad virtual incluye seguimiento de cabeza, ojos y expresión, toque simulado y mucho más. Estas sorprendentes tecnologías estarán disponibles para usted en 5 años o menos. Leer más, pero fundamentalmente más poderoso. Además, quieren hacer todo el procesamiento localmente en las gafas: sin computadora, sin teléfono, sin cables. Incluso están lanzando una versión especial de Windows solo para el nuevo hardware. Esta es la próxima etapa en la evolución tecnológica para todos los juegos de AR. Aplicaciones de Realidad Aumentada: Útil, ¿o simplemente exageración? MakeUseOf Tests Aplicaciones de Realidad Aumentada: Útil, ¿o simplemente Hype? Pruebas MakeUseOf En 2011, los analistas predijeron el aumento de las aplicaciones móviles de Realidad Aumentada. La tecnología naciente revolucionaría la forma en que interactuamos con nuestros dispositivos móviles. Avance rápido de dos años y docenas de aplicaciones AR llenan todo ... Leer más instaló en su teléfono una vez y no lo ha hecho desde entonces.
Su marco de tiempo es aún más ambicioso que sus objetivos: quieren enviar kits de desarrollador esta primavera y el producto de consumo "durante el período de tiempo de Windows 10". Aquí está el tono.
Todo esto suena genial, pero admito con un alto grado de escepticismo.
Las tecnologías que Microsoft está utilizando tienen desafíos serios y fundamentales, y hasta ahora Microsoft ha estado muy agachado sobre cómo (o si) lo han resuelto. Si no los han solucionado, su objetivo de envío dentro de un año es muy preocupante. Lo último que necesitan VR y AR es que una gran empresa envíe otro producto medio cocido como el Kinect. ¿Recuerdas la demo de Project Natal de 2009?
Sin más preámbulos, aquí están las cinco cosas más importantes que me gustaría saber sobre los HoloLens.
¿Es esto una pantalla de campo de luz?
Para entender esto, tenemos que mirar un poco más en 3D y cómo funciona. Para tener la sensación de un mundo tridimensional real y tangible, nuestros cerebros integran una gran cantidad de diferentes tipos de información. Recibimos pistas de profundidad sobre el mundo de tres maneras principales:
- Profundidad estéreo : la disparidad entre lo que ven nuestros ojos. Fingiendo esto es como funcionan las películas en 3D
- Paralaje de movimiento : los movimientos sutiles de la cabeza y el torso nos dan pistas de profundidad adicionales para los objetos que están más lejos
- Enfoque óptico : cuando nos enfocamos en algo, las lentes de nuestros ojos se deforman físicamente hasta que se enfoca; los objetos de campo cercano requieren más distorsión de la lente, lo que proporciona información detallada sobre lo que estamos viendo
El enfoque óptico es fácil de verificar: cierre un ojo y sostenga el pulgar hacia arriba frente a una pared en la habitación. Luego, cambie su enfoque de su miniatura a la superficie detrás de ella. Al mirar más allá del pulgar, el pulgar se desplazará fuera de foco porque la lente de su ojo ahora está menos deformada y no puede recoger correctamente la luz que proviene de ella.
Los audífonos VR como el Oculus Rift proporcionan las dos primeras señales de forma extremadamente precisa, pero no la última, lo cual funciona sorprendentemente bien: nuestros ojos se relajan por completo, ya que la óptica enfoca las imágenes ya que a través de la luz venían de infinitamente lejos. La falta de la señal de enfoque óptico no es realista, pero por lo general no es una distracción. Aún puedes tener experiencias de juego geniales 5 Oculus Rift Gaming Experiences que te dejarán 5 experiencias de Oculus Rift Gaming que te dejarán boquiabierto Ahora que la segunda generación del kit de desarrollo Oculus Rift está disponible y en manos de desarrolladores de todo el mundo, veamos algunas de las mejores cosas que han llegado hasta el Rift hasta el momento. Leer más sin eso.
En la realidad aumentada, el problema es diferente, porque tienes que mezclar la luz de objetos reales y virtuales. La luz del mundo real se enfocará naturalmente en una variedad de profundidades. Sin embargo, el contenido virtual se enfocará a una distancia fija y artificial dictada por la óptica, probablemente en el infinito. Los objetos virtuales no se verán como si realmente fueran parte de la escena. Estarán fuera de foco cuando mires cosas reales con la misma profundidad y viceversa. No será posible mover el ojo de forma fluida por la escena mientras lo mantiene enfocado, como lo hace normalmente. Las señales de profundidad conflictivas serán confusas en el mejor de los casos, y enfermizas en el peor.
Para arreglar esto, necesitas algo llamado pantalla de campo claro. Las pantallas del campo de luz son pantallas que usan una serie de diminutas lentes para mostrar la luz enfocada a muchas profundidades simultáneamente. Esto permite al usuario enfocarse naturalmente en la pantalla y (para la realidad aumentada) resuelve el problema descrito anteriormente.
Sin embargo, hay un problema: las pantallas de campo claro esencialmente mapean una sola pantalla 2D en un campo de luz tridimensional, lo que significa que cada "píxel de profundidad" que el usuario percibe (y existe a una profundidad focal particular en la escena) hecho de luz de muchos píxeles en la pantalla original. Cuanto más detallada sea la profundidad que desea representar, más resolución tendrá que abandonar.
En general, los campos claros tienen aproximadamente una disminución de resolución de ocho veces para proporcionar una profundidad de precisión adecuada. Las mejores microdisplay disponibles tienen una resolución de aproximadamente 1080p. Suponiendo que una microdisplay de gama alta maneje cada ojo, eso haría que la resolución real de los auriculares de Microsoft sea de solo 500 x 500 píxeles por ojo, incluso menos que la Oculus Rift DK1. Si la pantalla tiene un alto campo de visión, los objetos virtuales serán bloques de píxeles incomprensibles. Si no lo hace, la inmersión sufrirá proporcionalmente. Nunca llegamos a ver a través de la lente (solo recreaciones de lo que el usuario está viendo), así que no tenemos idea de cómo es realmente la experiencia del usuario.
Es posible que Microsoft haya presentado alguna solución novedosa a este problema, para permitir el uso de una pantalla de campo claro sin la compensación de resolución. Sin embargo, Microsoft ha sido extremadamente cauteloso con respecto a su tecnología de visualización, lo que me hace sospechar que no es así. Esta es la mejor explicación que tenemos hasta ahora (de la demostración WIRED ).
Para crear las imágenes de Project HoloLens, las partículas de luz rebotan alrededor de millones de veces en el denominado motor de luz del dispositivo. Luego, los fotones ingresan a los dos lentes de las gafas, donde rebotan entre las capas de vidrio azul, verde y rojo antes de llegar a la parte posterior del ojo.
Este tipo de descripción de la tecnología podría significar prácticamente cualquier cosa (aunque, para ser justos con Microsoft, el hardware impresionó con WIRED, aunque el artículo era claro sobre los detalles).
No sabremos más con seguridad hasta que Microsoft comience a lanzar especificaciones técnicas, probablemente dentro de unos meses. En una nota adicional de nit picking, ¿es realmente necesario ahogar el proyecto en este discurso de marketing? El procesador dedicado que están utilizando para el seguimiento de la cabeza se denomina "procesador holográfico" y las imágenes se llaman "hologramas" sin ningún motivo en particular. El producto es fundamentalmente lo suficientemente bueno como para que realmente no sea necesario dorarlo así.
¿El seguimiento es suficiente?
El auricular Project HoloLens tiene una cámara de profundidad FOV alta (como la Kinect), que utiliza para determinar dónde están los auriculares en el espacio (al tratar de alinear la imagen de profundidad que está viendo con su modelo del mundo, compuesta de imágenes de profundidad del pasado). Aquí está su demostración en vivo de los auriculares en acción.
El seguimiento es impresionante teniendo en cuenta que no utiliza marcadores u otras trampas, pero incluso en ese video (bajo condiciones muy controladas), puede ver una cierta cantidad de oscilación: el seguimiento no es completamente estable. Eso es de esperar: este tipo de rastreo de adentro hacia afuera es extremadamente difícil.
Sin embargo, la gran lección de los diversos prototipos de Oculus Rift. Míranos. Prueba el Oculus Rift Crescent Bay. En el CES 2015. Míranos. Prueba el Oculus Rift. Crescent Bay En el CES 2015 El Oculus Rift Crescent Bay es un nuevo prototipo que muestra algunas mejoras emocionantes. tecnología de realidad virtual. Lo probamos en CES 2015. Leer más es que la precisión del seguimiento importa mucho. El seguimiento nervioso es meramente molesto cuando se trata de unos pocos objetos en un mundo real mayormente estable, pero en escenas como la demostración de Mars mostraron en su video conceptual, donde casi todo lo que ves es virtual, el seguimiento impreciso podría llevar a una falta de " presencia "en la escena virtual, o incluso simulador de enfermedad. ¿Puede Microsoft obtener el seguimiento hasta el estándar establecido por Oculus (precisión de seguimiento submilimétrica y latencia total inferior a 20 ms) antes de su fecha de envío a fines de este año?
Aquí está Michael Abrash, un investigador de realidad virtual que ha trabajado para Valve y Oculus, hablando sobre el problema
[Debido a que siempre hay un retraso en la generación de imágenes virtuales, [...] es muy difícil conseguir que las imágenes virtuales y reales se registren lo suficientemente cerca para que el ojo no se dé cuenta. Por ejemplo, supongamos que tiene una lata de Coca-Cola real que desea convertir en una AR Pepsi puede dibujar un logotipo de Pepsi sobre el logotipo de Coke. Si se tarda decenas de milisegundos en volver a dibujar el logotipo de Pepsi, cada vez que gira su cabeza, el efecto será que el logotipo de Pepsi se verá desplazado unos grados con respecto a la lata, y parte del logotipo de Coke se hará visible; luego, el logotipo de Pepsi volverá al lugar correcto cuando dejes de moverte. Esto claramente no es lo suficientemente bueno para AR difícil
¿Puede la pantalla dibujar negro?
Otro problema junto con la profundidad focal y el seguimiento tiene que ver con el dibujo de colores oscuros. Agregar más luz a una escena es relativamente simple, usando divisores de haz. Sacar la luz es mucho más difícil. ¿Cómo se oscurecen selectivamente partes del mundo real? Colocar una pantalla LCD transparente selectiva no lo cortará, ya que no siempre puede estar en el foco correcto para bloquear lo que estás mirando. Las herramientas ópticas para resolver este problema, a menos que Microsoft las haya inventado en secreto, simplemente no existen.
Esto es importante, porque para muchas de las aplicaciones que Microsoft exhibe (como ver Netflix en su pared), los auriculares realmente necesitan la capacidad de eliminar la luz proveniente de la pared, de lo contrario, su película siempre tendrá un patrón de estuco visible superpuesto con él: será imposible que las imágenes bloqueen objetos reales en la escena, haciendo que el uso del auricular dependa en gran medida de las condiciones de iluminación ambiental. De vuelta a Michael Abrash:
[S] o nada de este tipo ha surgido en la industria o literatura AR, y a menos y hasta que lo haga, AR difícil, en el sentido SF que todos conocemos y amamos, no puede suceder, excepto en la casi oscuridad.
Eso no significa que AR esté fuera de la mesa, solo que por un tiempo será AR suave, basado en una mezcla aditiva. De nuevo, piensa en translúcidos como "Cazafantasmas". Las imágenes virtuales de alta intensidad sin áreas oscuras también funcionan, especialmente con la ayuda del oscurecimiento regional o global; simplemente no se verán como parte del mundo real.
¿Qué pasa con la oclusión?
"Oclusión" es el término para lo que sucede cuando un objeto pasa frente a otro y le impide ver lo que hay detrás. Para que el escenario virtual se sienta como una parte tangible del mundo, es importante que los objetos reales ocluyan objetos virtuales: si mantienes tu mano frente a una pieza de imagen virtual, no podrás verla a través de Tu mano. Debido al uso de una cámara de profundidad en el auricular, esto es realmente posible. Pero, mira la demostración en vivo de nuevo:
En general, controlan cuidadosamente los ángulos de la cámara para evitar que los objetos reales pasen por delante de los virtuales. Sin embargo, cuando el demostrador interactúa con el menú de Windows, puede ver que su mano no lo ocluye en absoluto. Si esto está fuera del alcance de su tecnología, esa es una señal muy mala para la viabilidad de su producto de consumo.
Y hablando de esa interfaz de usuario ...
¿Es esta la interfaz de usuario definitiva?
La interfaz de usuario mostrada por Microsoft en sus videos demostrativos parece funcionar mediante el uso de una combinación de la mirada y el seguimiento de la mano para controlar un cursor en la escena virtual, mientras usa controles de voz para seleccionar entre diferentes opciones. Esto tiene dos inconvenientes principales: te hace ver como el niño pequeño del resplandor que habla con su dedo, pero lo más importante, también representa un paradigma de diseño fundamentalmente defectuoso.
Históricamente, las mejores interfaces de usuario han sido las que aportan intuiciones físicas sobre el mundo al mundo virtual. El mouse trajo clic, arrastrar y ventanas. La interfaz táctil llevó deslizar para desplazarse y pellizcar para ampliar. Ambas fueron fundamentales para que las computadoras fueran más accesibles y útiles para la población en general, porque eran fundamentalmente más intuitivas que las anteriores.
VR y AR te dan mucha más libertad como diseñador: puedes colocar elementos de IU en cualquier lugar de un espacio 3D y hacer que los usuarios interactúen con ellos de forma natural, como si fueran objetos físicos. Se sugiere una gran cantidad de metáforas obvias. Toque un elemento de IU virtual para seleccionarlo. Pellizca para que lo levante y lo mueva. Deslícela para guardarla temporalmente. Aplastar para eliminarlo. Puedes imaginarte construyendo una interfaz de usuario que es tan completamente intuitiva que no requiere explicación. Algo que tu abuela puede aprender al instante, porque está construido sobre una base de intuiciones físicas básicas que todos construyen durante toda una vida de interacción con el mundo. Tómese un minuto y escuche a esta persona inteligente describir qué interfaces inmersivas podrían ser.
En otras palabras, me parece obvio (para mí) que una interfaz de usuario inmersiva debe ser al menos tan intuitiva como las interfaces táctiles iniciadas por el iPhone para pantallas multitáctiles 2D. Construir una interfaz alrededor de la manipulación de un "mouse" VR es un paso atrás, y expone deficiencias tecnológicas profundas en su tecnología de seguimiento manual o un malentendido fundamental de lo que es interesante acerca de este nuevo medio. De cualquier forma, es un signo muy malo que este producto sea más que un fracaso colosal a escala de Kinect.
Con suerte, Microsoft tiene tiempo para obtener comentarios sobre esto y hacer un mejor trabajo. Como ejemplo, aquí hay una interfaz diseñada por un aficionado para el Oculus Rift DK2 y el Leap Motion. Una IU inmersiva diseñada por una gran empresa debería ser al menos así de buena.
Una muestra de lo que vendrá
En general, soy extremadamente escéptico del Proyecto HoloLens en general. Estoy muy contento de que una compañía con los recursos de Microsoft esté investigando este problema, pero me preocupa que estén tratando de apresurar un producto sin resolver algunos problemas técnicos subyacentes críticos, o establecer un buen paradigma de IU. El HoloLens es un signo de lo que vendrá, pero eso no significa que el producto en sí proporcionará una buena experiencia a los consumidores.
Crédito de la imagen: cortesía de Microsoft