Новинки в iOS 11: ARKit от Apple и визуальная инерциальная одометрия

Когда десять лет назад вышел первый iPhone технологии фотографирования и видео съемки в нем были самыми простыми. Сегодняшний iOS 11 вышел на новый уровень захвата изображения с помощью технологий Depth, AI Vision и машинного обучения. Параллельно в нем размещена новая платформа для дополненной реальности (AR), которая объединяет то, что видит камера, и графику, создаваемую устройством. Давайте попробуем разобраться, как это всё работает.


ARKit на Apple Park.jpg


AR - это новый шаг в развитии технологий, связанных с камерой

Осенью этого года iOS 11 представила серию новых интерфейсов прикладного программирования (API), связанных с камерой и изображениями. API позволяет сторонним разработчикам использовать собственный код Apple (называемый фреймворком или иногда «набором») для специализированной работы в своих приложениях.

Новый API-интерфейс Depth позволяет разработчикам создавать приложения, которые фигурально стоят на плечах гигантской работы Apple в разработке и калибровке двухъядерных камер iPhone 7 Plus и 8 Plus, которые могут работать в тандеме, создавая карты дифференциальной глубины. Беря за основу расстояние до камеры эта технология использует выборочную настройку частей изображений.

И с его сложной концепцией Vision и CoreML, Apple позволяет разработчикам использовать библиотеку встроенного интеллекта для обнаружения лиц, объектов, текста, ориентиров и штрих-кодов, которые попадают в поле зрения камеры, а так же при помощи существующих моделей машинного обучения определить основу этих объектов.

Еще одним важным фактором в интеллектуальной API обработке изображений является то, что iOS 11 поддерживает создание визуализации дополненной реальности в качестве платформы для сторонних разработчиков, используя новую инфраструктуру Apple ARKit.

Наиболее зрелищными примерами приложений ARKit являются игры, которые создают синтетический 3D-мир анимированной графики, которая накладывается на реальный мир. Данное наложение можно наблюдать на камере.


Дополненная реальность (AR).jpg

 

Существует также множество других вещей, которые можно сделать в AR, от управляемой навигации и исследования моделей до измерения и отображения реального мира. Например, можно построить план дома, просто нацеливая вашу камеру на его углы.

Помимо простого наложения 3D-графики поверх реальных изображений, AR использует комбинацию данных датчика движения и визуального ввода с камеры, чтобы пользователь мог свободно исследовать 3D-графику, отображаемую в пространстве, визуализируя сложные анимированные сцены под любым углом.


Стив Джобс представил Core Motion на iPhone 4

Предоставление платформы для разработки приложений AR сложнее, чем может показаться. ARKit основывается на десятилетнем опыте Apple по оптимизации и отслеживанию данных с датчиков движения, начиная с 3-х осевого акселерометра, встроенного в оригинальный iPhone в 2007 году. Это позволило реализовать наклоны в играх и жесты, такие как «встряска для отмены».

В 2010 году iPhone 4 стал первым смартфоном с 3-осевым гироскопом. В сочетании с датчиками наклона акселерометров и цифровым компасом это обеспечило 6-осевое движение и поворот вокруг собственной оси, позволяя создать новый уровень пространственной осведомленности в играх и служебных приложениях.

Стив Джобс продемонстрировал использование гироскопического позиционирования iPhone 4 в воздухе, сыграв около двух минут в игру Jenga на сцене WWDC в 2010 году, где его стек виртуальных блоков мог вращаться в тандеме с движением телефона, а не просто наклоняться из стороны в сторону, как это было раньше.


Jenga от Стива Джобса.jpg

Пять лет эволюции Core Motion

Разрабатываемые "яблочные" процессоры становятся всё более мощными и изощренными. В 2013 году для 64-битного iPhone 5s с поддержкой чипа A7 Apple представила новый маломощный M7-движок для эффективного мониторинга датчиков движения и цифрового компаса, что позволило собирать и сообщать данные Core Motion без постоянного подключения CPU.

Одно из самых очевидных и ценных применений данных движения связано с отслеживанием работоспособности. Сопроцессорное ядро ​​M8 в iPhone 6 улучшило эти показатели, добавив барометр для отслеживания изменений высоты, когда вы поднимаетесь по лестнице или движетесь по холмам.

Через некоторое время постоянно работающий, мощный энергосберегающий M9 Core Motion был подключен к мониторингу микрофона для ответа на команды Siri на iPhone 6s. Эта технология также нашла свой путь в Apple Watch, где основными функциями были Siri и фитнес-трекинг.

Core Motion + Camera vision = VIO

В 2015 году Apple приобрела компанию Metaio, которая была выведена из внутреннего проекта Volkswagen для разработки инструментов визуализации расширенной реальности. Наряду с предыдущими приобретениями, включая в 2013 году выкуп PrimeSense, а затем Faceshift, а также последующую покупку Flyby Media, Apple накапливала знания, необходимые для создания и управления новым 3D-миром датчиков движения и камер.


ARKit на iPad.jpg

 

Некоторые из изучаемых технологий уже были применены в одиночной камере AR. Новые же устройства на iOS 11 с чипом A9 (включающим сопроцессор M9 Core Motion) могут измерять данные датчика движения для использования в позиционном отслеживании в тандеме с информацией с камеры, используя технологию VIO (визуальная инерциальная одометрия).

VIO анализирует данные камеры («визуальные») для определения ориентиров, которые она может использовать для измерения («одометрия»), определяя как устройство движется в пространстве относительно ориентиров, которые оно видит. Данные датчика движения («инерциальные») используются для заполнения пробелов при предоставлении дополнительной информации, которую устройство может сравнить с той, что оно видит, чтобы лучше понять, как оно движется в пространстве (или как ему необходимо двигаться).

По сути, VIO позволяет системе создавать анимированную 3D-графику, которая может визуализировать жизнь в 6 плоскостях, следуя сложным движениям устройства по 6 осям: вверх/вниз, назад/вперед, в/из.


Акселерометр и гироскоп.jpg

16.10.2017

Другие новости

Эксперты предполагают, что Apple сможет выпустить лишь половину от запланированных поставок iPhone X в 2017 году

Эксперты предполагают, что Apple сможет выпустить лишь половину от запланированных поставок iPhone X в 2017 году

На днях некоторые источники в цепочки поставок Apple опубликовали не очень радостные отчеты.

25.10.2017
Apple Watch Series 3 отрезаны от сетей LTE в Китае, а виновато в этом правительство

Apple Watch Series 3 отрезаны от сетей LTE в Китае, а виновато в этом правительство

Покупатели серии 3 Apple Watch с LTE в Китае в настоящее время не имеют возможности подключения к беспроводной сети

20.10.2017
Гринпис поддержал усилия Apple по возобновляемым источникам энергии

Гринпис поддержал усилия Apple по возобновляемым источникам энергии

Гринпис в понедельник опубликовал свой последний в этом году отчет «Обзор экологичной электроники».

18.10.2017

Возврат к списку