Cómo funciona ARKit 2 y por qué manzana está tan enfocado en AR

Una aplicación LEGO que utiliza las nuevas funciones ARKit de manzana Agrandar / A Aplicación LEGO con las nuevas funciones ARKit de manzana .

La realidad aumentada (AR) ha jugado un lugar destacado en casi todos Los eventos de Apple desde que se introdujo iOS 11, Tim Cook ha dicho que cree que será tan revolucionario como el teléfono inteligente en sí, y AR fue el mayor enfoque de Apple en sesiones con desarrolladores en WWDC este año.

Otras lecturas

iOS 12 introducido, para ejecutarse en todo lo que ejecuta iOS 11 ¿Pero por qué? La mayoría de los usuarios no creen que la aplicación asesina para AR haya llegado todavía, a menos que cuentas Pokémon Go. Los casos de uso hasta ahora son geniales, pero son no es necesario y podrían decirse que son mucho menos geniales en un iPhone o pantalla del iPad de lo que serían si tuviera anteojos o contactos que Hice lo mismo.

Desde la nota clave de WWDC de este año hasta los diversos desarrolladores de Apple sesiones alojadas en el Centro de Convenciones de San José y publicadas en línea para que todos lo vean, sin embargo, está claro que Apple está invirtiendo fuertemente en realidad aumentada para el futuro.

Vamos a revisar lo que Apple ha dicho sobre AR y ARKit esta semana, repase exactamente lo que hace el kit de herramientas y cómo funciona funciona y especula sobre la estrategia de la compañía, por qué Apple parece preocuparse tanto por AR y por qué cree que va a llegar allí primero en una próxima fiebre del oro.

Qué es ARKit y cómo funciona

Comencemos con exactamente lo que ARKit es y hace. Vamos a revise minuciosamente las características y propósitos de alto nivel del kit de herramientas Si quieres aún más detalles, Apple ha hecho conversaciones y documentación sobre el tema disponible en su portal para desarrolladores.

La explicación más simple y corta de ARKit es que hace un Gran parte del trabajo pesado para los desarrolladores de aplicaciones en términos de trabajo con la cámara del dispositivo iOS, escaneando imágenes y objetos en el entorno y posicionamiento de modelos 3D en espacio real y haciendo ellos encajan.

O como lo dice Apple:

ARKit combina el seguimiento de movimiento del dispositivo, la captura de escena de la cámara, procesamiento de escena avanzado y comodidades de visualización para simplificar tarea de construir una experiencia AR. Puedes usar estas tecnologías para crear muchos tipos de experiencias AR utilizando la cámara trasera o cámara frontal de un dispositivo iOS.

Apple lanzó inicialmente ARKit con iOS 11 en 2017. Aplicación los desarrolladores podrían usar Xcode, el desarrollo de software de Apple entorno en Mac, para crear aplicaciones con él. ARKit principalmente hace tres cosas esenciales detrás de escena en las aplicaciones AR: seguimiento, comprensión de la escena y renderizado.

El seguimiento mantiene pestañas en la posición y orientación de un dispositivo en el mundo físico, y puede rastrear objetos como carteles y caras, aunque algunos de esos elementos rastreables no se admitían en la versión inicial de iOS 11.

La comprensión de la escena esencialmente escanea el entorno y proporciona información al desarrollador, a la aplicación o al usuario. En la primera versión, eso significaba planos horizontales y algunos otras cosas.

Representar significa que ARKit maneja la mayor parte del trabajo para colocar Objetos 3D contextualmente en la escena capturada por el dispositivo cámara, como poner una mesa virtual en el medio del usuario comedor mientras usan una aplicación de compra de muebles.

ARKit hace esto mediante el seguimiento del entorno en algunos formas. Revisemos qué admite la versión inicial en ese frente.

Seguimiento de orientación

En la configuración de seguimiento de orientación, ARKit utiliza el sensores internos del dispositivo para rastrear la rotación en tres grados de libertad, pero es como girar la cabeza sin caminar en cualquier lugar: los cambios en la posición física no se rastrean aquí, solo orientación en un entorno virtual esférico con el dispositivo en el origen El seguimiento de orientación es especialmente útil enfoque para aumentar objetos lejanos y lugares fuera del proximidad inmediata del dispositivo.

Seguimiento mundial

Hay más en el seguimiento mundial. Rastrea la cámara del dispositivo orientación de visualización y cualquier cambio en el físico del dispositivo ubicación. Entonces, a diferencia del seguimiento de orientación, entiende si el El dispositivo se ha movido dos pies hacia la derecha. También hace esto sin Cualquier información previa sobre el medio ambiente.

Además, ARKit utiliza un proceso llamado odometría visual inercial, que implica identificar características físicas clave en el entorno alrededor del dispositivo. Esas características se registran desde múltiples ángulos. a medida que el dispositivo se mueve y reorienta en el espacio físico (el movimiento es necesario; la rotación no proporciona suficiente información). Las imagenes capturados en este proceso se usan juntos para comprender la profundidad; Es similar a cómo los humanos perciben la profundidad de dos ojos.

En esta captura de pantalla de la sesión de video en línea de Apple para la aplicación desarrolladores, vemos una visualización de los mapas del mundo que pueden ser creado con ARKit. Apple

La información de profundidad se recodifica a través de la odometría visual inercial, que funciona de manera similar en algunos aspectos a los ojos humanos. Apple

Las aplicaciones ARKit miden constantemente la calidad del seguimiento para que se puede informar al usuario o desarrollador. ARKit

El estado de seguimiento se puede clasificar e informar al usuario. Apple

Esto genera lo que Apple llama un mapa mundial, que puede usarse para posicionar y orientar objetos, aplicarles iluminación y sombras, y mucho más. Cuanto más se mueve y reorienta un usuario, más se realiza un seguimiento de la información, y cuanto más precisa y realista sea la pueden hacerse aumentos. Cuando ARKit construye el mapa mundial, lo empareja con un espacio virtual de coordenadas en el que los objetos pueden ser metido.

El dispositivo necesita datos ininterrumpidos del sensor, y este proceso funciona mejor en entornos bien iluminados que tienen textura y que contienen características muy distintas; apuntando la cámara a una pared en blanco No ayudará mucho. Demasiado movimiento en la escena también puede disparar el proceso arriba.

ARKit rastrea la calidad del mapa mundial debajo del capó, e indica uno de los tres estados que se aconseja a los desarrolladores que informen a su vez a los usuarios de alguna manera:

  • No disponible: el mapa mundial aún no está disponible construido.
  • Limitado: algún factor ha impedido una adecuada mapa del mundo desde la construcción, por lo que la funcionalidad y la precisión pueden ser limitado.
  • Normal: el mapa mundial es lo suficientemente robusto que se puede esperar un buen aumento.

Detección de plano

La detección de plano utiliza el mapa mundial para detectar superficies en las que Se pueden colocar objetos de realidad aumentada. Cuando ARKit se lanzó con iOS 11, solo se detectaron y utilizaron planos horizontales, y variaciones como golpes y curvas podrían perturbar fácilmente los esfuerzos para coloque con precisión objetos 3D en la vista.

Usando estas tres técnicas de seguimiento, los desarrolladores pueden aprovechar ARKit para colocar fácilmente objetos 3D que han modelado en un plano en el vista de la imagen de la cámara en la pantalla del dispositivo.

Características agregadas en iOS 11.3

Apple lanzó ARKit 1.5 con iOS 11.3 a principios de este año. los la actualización hizo mejoras generales a la precisión y calidad de experiencias que podrían construirse con ARKit sin una significativa esfuerzo agregado del desarrollador. También aumentó la resolución de la vista basada en la cámara del usuario en su pantalla durante las experiencias de AR.

Planos verticales

Otras lecturas

Apple lanza iOS 11.3, la mayor actualización para iPhones desde iOS 11 lanzado por primera vez La versión inicial de ARKit solo podía detectar, rastrear y colocar objetos en superficies horizontales planas, por lo que ARKit 1.5 se agregó la capacidad de hacer lo mismo con superficies verticales y (para en cierta medida) superficies irregulares que no son completamente planas. Los desarrolladores pueden colocar objetos en la pared, no solo en el piso, y hasta cierto punto, los baches literales en el camino ya no eran figurativos golpes en el camino.

Reconocimiento de imagen

ARKit 1.5 agregó seguimiento de imágenes 2D básico, lo que significa que las aplicaciones ARKit podría reconocer algo como una página en un libro, un póster de película o Una pintura en la pared. Los desarrolladores pueden hacer fácilmente su Las aplicaciones introducen objetos en el entorno una vez que el dispositivo reconoció esas imágenes en 2D. Por ejemplo, un traje de Iron Man de tamaño natural. podría colocarse en el entorno cuando el usuario señala cámara del dispositivo en un póster de la película Avengers.

Lo que Apple agregará en iOS 12

Eso nos lleva a WWDC el 4 de junio de 2018, donde Apple anunció iOS 12 y algunas mejoras importantes y adiciones a ARKit que hacen la plataforma capaz de una gama más amplia de más realistas Aplicaciones y experiencias.

Los cambios permiten objetos virtuales que encajan en el entorno más convincente, experiencias AR multiusuario, y objetos que permanecen en la misma ubicación en el entorno a través de Múltiples sesiones.

Guardar y cargar mapas

Anteriormente, los mapas mundiales de AR no se guardaban en varios sesiones, y no eran transferibles entre dispositivos. Ese significaba que si un objeto se colocaba en una escena en un lugar particular ubicación, un usuario no pudo volver a visitar esa ubicación y encontrar que el La aplicación lo recordó. También significaba que las experiencias de AR siempre fueron solos en la mayoría de los aspectos que importaban.

En iOS 11.3, Apple introdujo la relocalización, que permitió a los usuarios restaurar un estado después de una interrupción, como si la aplicación fuera suspendido. Esta es una expansión significativa de eso. Una vez un mundo el mapa se adquiere en iOS 12, el usuario puede reubicarse en él más adelante sesión, o el mapa mundial se puede compartir con otro usuario o dispositivo utilizando el marco MultipeerConnectivity. Compartir puede suceder a través de AirDrop, Bluetooth, Wi-Fi u otros métodos.

ARKit entiende que el dispositivo está en la misma escena que estaba en otra sesión, o la misma que otro dispositivo, y puede determinar su posición en ese mapa mundial anterior.

Two users experiencing the same AR environment, from Apple's developer videos.Agrandar / Dos usuarios que experimentan el mismo entorno AR, de Apple videos de desarrollador.

Apple demostró esto al crear un juego AR para que los desarrolladores estudiar y emular llamado Swiftshot, que tenía múltiples usuarios interactuando con los mismos objetos 3D en múltiples dispositivos en una vez.

Pero los juegos multiusuario no son el único caso de uso posible. Entre otras cosas, guardar y cargar mapas podría permitir a los desarrolladores de aplicaciones crear objetos persistentes en una determinada ubicación, como un virtual estatua en una plaza de la ciudad, que todos los usuarios de dispositivos iOS verían en el mismo lugar cada vez que lo visitaban. Los usuarios incluso podrían agregar su propios objetos al mundo para que otros usuarios los encuentren.

Sin embargo, todavía hay algunas limitaciones. Volviendo a una escena eso ha cambiado significativamente en el mundo real desde la última la visita obviamente puede causar que la relocalización falle, pero incluso cambia Las condiciones de iluminación (como el día o la noche) pueden causar un fallo, también. Esta es una característica nueva notable en ARKit, pero todavía funciona. debe hacerse para aprovechar plenamente su potencial.

Like this post? Please share to your friends:
Leave a Reply

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: