Шлем дополненной реальности microsoft. Microsoft представила очки дополненной реальности HoloLens

Microsoft HoloLens, новый гаджет, представленный компанией на презентации Windows 10 , вызвал бурю положительных отзывов среди тех, кому удалось примерить его на себя. Гаджет представляет собой очки для создания дополненной реальности. Надев очки, вы сможете работать с виртуальными объектами, которые отображаются поверх реальных, видимых сквозь прозрачные линзы очков. Управляться в виртуальном мире можно будет при помощи жестов и голосовых команд.

На презентации Алекс Кипман и другие члены команды разработки Studio C представили примеры работы с очками, в числе которых был просмотр 3D-видеоролика и создание трёхмерной модели квадрокоптера в специальном редакторе. Разработчики рассказали, что созданные модели можно будет сразу отправлять на 3D-принтер. Заранее распечатанная модель квадрокоптера затем была продемонстрирована восторженной публике.

На самом деле устройство не создаёт голограмм, а просто использует стереоизображение для создания подобного впечатления вкупе с отслеживанием движений глаз. Для создания дополненной реальности устройству не потребуются дополнительные камеры, датчики, и даже подключение к компьютеру. Рабочая среда очков под названием Windows Holographic будет поддерживаться всеми устройствами, работающими на Windows 10.

Устройством уже заинтересовались в NASA, и вместе с Jet Propulsion Labs уже разрабатывается технология, которая позволит управлять марсианским Ровером при помощи дополненной реальности. Например, учёные смогут ходить по виртуальной поверхности Марса и отмечать заинтересовавшие их места поверхности, которые должен будет исследовать марсоход.

Разработчики уверены, что Windows Holographic и очки появятся в продаже одновременно с Windows 10. API системы будет включено в ОС, и платформа будет открытой для сторонних разработчиков как софта, так и железа.

Обозреватель ресурса arstechnica , которому удалось попробовать очки на себе, рассказал о необыкновенном ощущении «попадания в будущее». Дополненная реальность позволила ему увидеть наряду с реальными объектами башни из Minecraft, окна Skype и даже поверхность Марса. По его словам, виртуальные объекты видны ярко и чётко и выглядят почти непрозрачными, что создаёт ощущение их «реальности».

Виртуальная реальность – следующий шаг в развитии компьютерных технологий. Сегодня она популярна и востребована благодаря очкам Samsung Gear VR и Oculus Rift. Но Microsoft шагнула дальше и представила очки дополнительной реальности Microsoft HoloLens, обзор которых позволит вам понять, почему этот гаджет станет неотъемлемой составляющей современного мира.

Концепция

HoloLens – это очки дополнительной реальности. В этом их принципиальное отличие от конкурентов.

Одевая их, человек видит окружающий мир с «внедренными» в него голограммами, таблицами и другими объектами, которые кажутся трехмерными. Взаимодействовать с ними может только тот человек, который использует гаджет. Если группа из нескольких юзеров наденет очки, они погрузятся в один и то же мир дополнительной реальности.

Принцип работы HoloLens прост: голограммы, которые отображаются на стекле, воспринимаются мозгом как реальные предметы. Примерно такой же подход реализован в Google Glass, но в них объекты позиционировались как окна стандартных программ, а не настоящие предметы.

Технология

Очки Microsoft HoloLens – это компактный компьютер в виде шлема, одевающегося на голову. Он мобилен и не привязан к сторонним гаджетам: смартфону, ноутбуку, камере и проч. Отсутствует проводное подключение.

Устройство построено на основе собственного уникального процессора Holographic Processing Unit (HPU), имеет встроенную акустическую систему, камеру, видеоускоритель и сенсоры.

HoloLens оборудован двумя камерами, аналогичными тем, которые используются в Kinect: одна работает в обычном спектре, другая – в инфракрасном. Они анализируют и считывают окружающее пространство. Это – база устройства.

Голограммы выводятся на экран, представленный полупрозрачным стеклом, которое не мешает воспринимать настоящий мир. Такое взаимодействие и создает эффект дополнительной реальности.

Набор датчиков представлен гироскопом, магнитометром и акселерометром. HoloLens распознает жесты и следит за тем, куда смотрит человек. В зависимости от направления взгляда изменяется положение голограмм на экране. Помимо этого, устройство полностью совместимо с Cortana, поэтому поддерживает управление голосом.

Реалистичное взаимодействие с объектами дополнительной реальности обеспечивается двумя технологиями:

• Spatial Mapping (аналог Surface reconstruction) – технология пространственного сканирования, которая после обработки окружающего пространства преобразует его в группу треугольников. Эта информация записывается в память гаджета и используется в логике работы приложения. За счет этого виртуальные объекты полноценно взаимодействуют с голограммами.
• Spatial Audio – технология, отвечающая за реализацию эффекта присутствия. Если объект расположен в определенном месте помещения, звук исходит именно оттуда, где он находится. Благодаря открытому формату динамиков юзер не ущемлен в восприятии звуков из реальности: он полностью слышит все, что происходит вокруг него в настоящем мире.

Применение

1. Архитектура и строительство. Дизайн-проект нового здания можно представить в трехмерном виде, показать, что находится внутри помещения.
   
2. Образование. Педагог может наглядно продемонстрировать, как выглядит, работает механизм, конструкция. Особенно эта технология полезна в медицине, когда преподаватель сможет показать студентам работу внутренних органов человека.
3. Игровая индустрия. Это одно из главных направлений, для которого можно использовать очки дополнительной реальности.
   
4. Исследования. Ученые наглядно смогут увидеть исследуемую область. Это важно для реализации космических программ.

Внешний вид

По форме HoloLens похожи на Google Glass, но меньше аналогичных разработок от Oculus и Samsung. Дизайн очков проработан грамотно, поэтому они похожи на современное устройство, а не на маску, которая закрывает половину головы.

Для уменьшения веса в очках используется надежный пластик, а в передней части расположено прозрачное стекло. Крепится HoloLens на голове не как обычные очки, а охватывая голову, чтобы создать лучшую фиксацию. При этом пользователь поначалу может ощущать небольшой дискомфорт.

Техническая составляющая

Официально Microsoft не разглашает подробности о технических характеристиках устройства. Но поскольку первые модели уже поступили на руки разработчикам, некоторые из них стали известны.

HoloLens в отличие от других цифровых устройство имеет не два чипа (центральный и графический процессоры), а три. Разработчики дополнительно установили HPU (Holographic processing unit) – голографический процессор.

Центральный процессор – Intel Atom x5-Z8100 с тактовой частотой 1,04 ГГц, бъем оперативной памяти – 2 Гб, внутренний накопитель – 64 Гб, встроенный аккумулятор емкостью 16 500 мАч. Главная гордость Microsoft – графический чип, который, по заявлению разработчиков, обрабатывает большой массив данных, поступающих из окружающей среды.

Устройство работает под управлением 32-битной Windows 10. Не исключено, что в будущем очки дополнительной реальности получат более мощную техническую «начинку» и 64-разрядную ОС.

Управление

Управлять HoloLens можно тремя способами.

1. Физически. Управление осуществляется с помощью кнопок, расположенных по бокам гаджета. Они меняют громкость звука, яркость воспроизводимых объектов.
2. Голосом. Поскольку в устройство интегрирована Cortana, управлять им можно с помощью голосовых команд. Но, в отличие от голосового помощника для настольного ПК, ее функции расширены: пользователь с помощью голоса управляет голограммами на экране.
3. Жестами. Благодаря встроенным камерам устройство распознает жесты пользователя и выполняет определенную команду с голографическими объектами (поворот или перемещение).

При первом включении HoloLens его нужно откалибровать в соответствии со своим восприятием и активировать аккаунт Microsoft Account. Для упрощения этой процедуры используется Cortana, которая рассказывает о возможностях гаджета и учит юзера пользоваться жестами.

Существует два базовых жеста:

После этой процедуры перед пользователем открывается стандартное Start-меню, из которого происходит управление настройками, запуск программ, другие базовые действия.

Приложения для устройства распространяются через Windows Store, оптимизированного для HoloLens. Сейчас таких мало и большинство из них – это продукт Microsoft Studios. Они демонстрируют потенциал гаджета.

Помимо этого, юзер может запустить на экране устройства UWP приложения Windows 10. Они открываются в классическом оконном режиме. Для комфортной работы с ними понадобится стандартная периферия, но это не отражается на функциональности.

Функциональность

Учитывая функции устройства, в первую очередь HoloLens разработаны для корпоративного сегмента – партнеров Microsoft: NASA, Disney, Volvo и Universal. Им не нужно будет создавать сложные трехмерные модели, исследовать труднодоступные места, тратя большие суммы. Все это будет доступно с помощью очков дополнительной реальности.

Разработчики удачно продумали дизайн устройства, поэтому во время его использования не появляется дискомфорт. Что важно, линзы расположены на удаленном расстоянии от глаз, поэтому они не влияют на зрение человека.

Еще одно преимущество HoloLens – объекты, которые человек видит перед собой, остаются на том же месте и продолжают функционировать в фоне, если не находятся в зоне восприятия пользователя. Поэтому, когда он запустит Skype, прикрепит его к определенной части помещения и отвернется, после возвращения взгляда в исходную точку окно мессенджера останется на месте. При этом человек может просматривать браузер и параллельно общаться в Skype.

Недостатки

Поскольку технология HoloLens молодая и только развивается, она не лишена недостатков. Часть из них – технологические: пока что не созданы технологии, которые могли бы улучшить работу устройства.

1. Угол обзора. Одно из главных ограничений HoloLens – «скромный» угол обзора, который находится в пределах 120 на 120 градусов. На практике этот недостаток нивелируется через определенное время, когда человеческий глаз и мозг адаптируются к новым условиям.
2. Еще одно ограничение – способность каждого человека воспринимать информацию с помощью органов зрения. Это происходит со своей спецификой, в зависимости от организма, что тоже влияет на работу HoloLens.
3. Мощность «железа». Размеры HoloLens ограничены, поэтому установка внутрь компактного корпуса мощного «железа» невозможна по ряду причин, одна из которых – охлаждение. Система охлаждения в очках виртуальной реальности пассивная. Отведение тепла от компонент выполняется воздухом, который проходит через дужки очков, равномерно распределяясь по корпусу. Установка более мощного процессора повлечет увеличение тепловыделения и снижение комфортности использования гаджета.
4. Качество воспроизводимого изображения. Для полноценного восприятия дополнительной реальности необходимо, чтобы дисплей имел высокое качество, как и сами голограммы. Первое зависит от инженеров Microsoft и технологий, а второе – от разработчиков контента для HoloLens.

В то же время при использовании очков дополнительной реальности от Microsoft нет никаких побочных эффектов в отличие от Samsung Gear VR2 S6, когда поначалу человека подташнивает. С HoloLens такого не происходит даже на первых минутах использования устройства.

Microsoft HoloLens – уникальная разработка, которая имеет место быть. Но ее функциональность «упирается» в современные технологии с развитием которых разработчикам удастся сделать очки более производительными и массовыми.

Стоимость гаджета составляет 3 тысячи долларов и он выходит ограниченным тиражом, поэтому о глобальном использовании говорить пока рано.

В январе 2015 года, на волне популярности технологий виртуальной и дополненной реальности, корпорация Microsoft решила не оставаться в стороне от этой технологической гонки и анонсировала свои инновационные очки дополненной реальности MicrosoftHololens. Причём, по заверениям Microsoft, их очки дополненной реальности принципиально отличаются от всего того, что было создано ранее. Сотрудникам нашей компании посчастливилось протестировать их и сегодня мы подробно расскажем, что же такое инновационное изобрели в Microsoft.

Microsoft Hololens - принцип работы

Основным технологическим отличием чудо-очков Microsoft является использование голограмм. Как всё это выглядит? Когда Вы одеваете microsoft hololens , на дисплеи очков выводится картинка, которая проецируется в окружающее человека пространство, дополняя его. То есть вы будете видеть и само окружающее пространство, и некоторые новые объекты, которые не доступны взгляду остальных людей. Что именно будет выводиться в очках дополненной реальности, зависит от вашего же желания и возможностей самой системы. А система позволяет выполнять самые разные задачи: работать с Windows, смотреть фильмы, листать разные сайты, например, Youtube, vk, Facebook, использовать средства коммуникации такие, как Skype, играть в игры и различные приложения и т.д. В общем, есть куда развернуться и чем порадовать себя.

При этом все голограммы могут располагаться в разных частях пространства. Например, в один угол комнаты вы можете поместить видеоплеер и смотреть через него фильмы. В другом углу календарь с погодой и курсом валют. На пол спроецировать милую зверушку, которая будет бегать вокруг вас и выполнять все ваши команды и т.д. Многозадачность в Hololens работает отлично, что производит потрясающее впечатление. Звучит классно, не так ли? Но тут есть нюанс. И во многом обусловлено это техническими характеристиками системы, которые вносят некоторые технологические ограничения.

Главные технические особенности Microsoft Hololens

Инновационные очки Microsoft являются автономным устройством, одеваемым на голову, и позволяют активно работать без подзарядки примерно 2.5 часа, а в обычном режиме около 5.5 часов, что немного, если сравнивать с современными беспроводными гаджетами. При этом Hololens поддерживает как проводную, так и модную сейчас беспроводную зарядку. Внутри самих очков скрыт процессор Intel Atom X5-Z8100, 2Гб оперативной памяти, жёсткий диск на 64 Гб (10 из которых занимает Windows 10 и сопутствующие приложения), видеопроцессор с 1024 Мб видеопамяти и ранее не анонсированный голографический процессор (HPU), который и отвечает за воспроизведение голограмм в пространстве. Данный графический процессор является уникальной разработкой, которая пока что не применяется больше нигде. Этим в Microsoft гордятся особенно сильно. В передней части очков над линзами расположены четыре камеры, которые помогают видеть картинку дополненной реальности. На каждый глаз приходится по две камеры: одна из них инфракрасная, а другая – обычная, которые мы привыкли видеть в реальной жизни почти каждый день.

Конечно, не обошлось и без большого количества различных датчиков, которые находятся внутри устройства. Помимо уже стандартных для виртуальной и дополненной реальности гироскопа и акселерометра, тут имеется датчик магнитных полей, отвечающий за корректное поведение и расположение голограмм. Рядом с ушами смонтированы динамики, которые позволяют слышать реалистичный звук и, например, взаимодействовать с голосовым помощником Cortana. И даже горячий воздух от работы системы выводится не а бы как, а через дужки очков, что не вызывает никакого дискомфорта у владельца. В общем, в Microsoft постарались сделать устройство максимально удобным и комфортным для пользователя.

Microsoft Hololens – вид спереди

В комплект поставки Microsoft Hololens входит:

• очки дополненной реальности Microsoft Hololens,
• специальный пульт для управления голограммами (при желании голограммами можно управлять не руками, а с помощью пульта),
• зарядное устройство для очков Hololens,
• тряпочка для протирки стёкол очков,
• стильный кейс для переноски очков дополненной реальности Microsoft Hololens,
• инструкция по использованию.

Microsoft Hololens - внешний вид и комплект поставки

Ощущения от работы в Microsoft Hololens

А теперь о самом главном – тест-драйв очков и ощущения от него. Впервые одевая очки Microsoft Hololens, начинаешь понимать, что будущее уже действительно рядом. Сами очки одеваются очень удобно, без каких-либо сложностей. Видно, что дизайнеры постарались на славу. Нажимаем на кнопку запуска на одной из душек и … вуаля: Hololens начинает работать. В первую очередь нас приветствует голосовой помощник Cortana – по сути, аналог известнейшей Siri у Apple. Всё это настраивает на очень позитивный лад.

Одновременно с этим перед вами появляется окно, которое висит недалеко впереди вас. Это и есть та самая голограмма. В этот момент на лице появляется нескрываемая улыбка, так как ранее что-то подобное доводилось видеть только в кино. После несложной настройки очков вы уже можете использовать все функции устройства по-максимуму. Тут вам и Youtube, и Skype, и новый браузер Microsoft Edge, благодаря которому действительно удобно пребывать в интернете. Прямо с рабочего стола, который будет перед вами, теперь вы можете запускать и игровые приложения, и даже смотреть фильмы. Причём всё это можно делать и стоя, и сидя, и лёжа, и перемещаясь в пространстве. Теперь вы видите не только окружающее пространство, но и дополнительные объекты, которые сами и настраиваете. И, кстати говоря, за время работы в Hololensнами не было обнаружено ни одного глюка, зависания или притормаживания. Оптимизация явно на высочайшем уровне. Казалось бы, чудеса. И всё бы замечательно, но размер самого окна просмотра совсем не велик. Картинка в очках воспринимается примерно как 15 дюймовый экран с расстояния в 2 метра. Из-за этого поначалу приходится привыкать к такому размеру картинки, что немного мешает ощущению наступившего будущего. Для того чтобы видеть все открытые окна, расположенные в разных углах комнаты, вам нужно наводить на них взгляд. Только тогда они будут появляться в поле вашего зрения. Как заявляют в самой Microsoft, на данный момент увеличение угла обзора является очень не простой и дорогостоящей задачей, что существенно увеличило бы и без того не маленькую стоимость устройства. Вполне возможно, что через несколько лет этот вопрос будет решён.

И такая ситуация вполне понятна. Хоть устройство от Microsoft и производит фантастическое впечатление, но на сегодняшний день Hololens является в первую очередь отличным гаджетом для предпринимателей, профессионалов различных индустрий, разработчиков приложений, энтузиастов и фанатов высоких технологий. Вот им действительно есть куда развернуться с этими инновационными очками дополненной реальности. Но в недалеком будущем наверняка каждый человек сможет прикоснуться к этому чуду техники у себя дома

Microsoft Hololens - вид сбоку

Подводя итоги

Если говорить об итогах, то Hololens – это великолепное устройство, которое наверняка найдёт активное применение в мире. Действительно, благодаря этим инновационным очкам дополненной реальности появляется прекрасная возможность прикоснуться к будущему и начать творить в нём уже сейчас. Сегодня Hololensприменяют в рекламе, бизнесе, строительстве, медицине, маркетинге, образовании и других сферах. И сейчас очевидно, что Microsoft будет и дальше продвигать данную технологию. Ну а пока можно приглядеться и к другим современным инновационным устройствам таким, как

Шлем Microsoft HoloLens перестаёт быть невиданной редкостью. Его можно опробовать на выставках и презентациях, роликами с ним заполнены видеохостинги, растёт количество студий, создающих под него программное обеспечение - они прикладывают массу усилий к тому, чтобы сделать смешанную реальность ближе к людям. Однако до сих пор мало кто понимает, какие технические решения сделали возможным создание шлема .

На сегодняшний день мы знаем, что HoloLens - это принципиально новый компьютер на Windows 10 и мобильной вычислительной платформе Intel, который укомплектован визуальными датчиками, наделяющими его возможностями Kinect, но в гораздо более интересном мобильном варианте. Также в шлеме есть инерциальный блок определения местоположения, малоизвестный процессор типа Holographic Processing Unit (HPU) и проекционная система формирования изображения на линзах перед глазами пользователя.

Microsoft не скрывает информацию о своём ключевом устройстве будущего, но она также редко её афиширует, оставляя подробности разработчикам. А Голографика хочет, чтобы информацию о такой важной новинке мог найти любой желающий. Поэтому сегодня мы постараемся дать вам максимальное преставление о том, что скрыто под корпусом HoloLens, и как всё это работает.

Оптика

Начнём с того, на что сразу обратит внимание любой пользователь HoloLens. В отличие от шлемов виртуальной реальности, которые передают картинку через непрозрачные светодиодные или жидкокристаллические дисплеи и стеклянные линзы, которые искажают картинку для правильного восприятия зрительным аппаратом человека, в устройстве Microsoft установлены прозрачные волноводные линзы. Это линзы с волнообразной призматической структурой, которые правильным образом преломляют и отправляют в наши глаза картинки с расположенных по бокам микродисплеев. Картинка формируется на основе данных с датчиков местоположения шлема и окружающих объектов, и в результате мы видим перед собой «голограммы» - компьютерную графику, интегрированную в окружающую действительность, или смешанную реальность.

Рабочая цепочка оптической системы HoloLens выглядит следующим образом: микродисплей → визуализационная оптика → волновод → объединитель → дифракционные решётки (они производят расширение выходного зрачка). Пока просто набор слов, поэтому постараемся всё объяснить.

Начнём с конца. В оптике выходной зрачок - это виртуальная апертура оптической системы, и из системы могут выйти только лучи, проходящие через виртуальную апертуру. Ещё проще: это область с образом, видимая в окуляр. В нашем случае, входной зрачок - наш глаз, а выходным является проекция. Ключ к правильной работе всей системы, это расширение выходного зрачка через максимальное расширение области, доступной обзору человеческого зрачка с любой его позиции (англоязычный термин - «eye box»). Этого позволяет добиться регулировка линз в вертикальной и горизонтальной плоскостях. По словам Microsoft, у HoloLens самый большой eye box в отрасли.

Но это финиш, а старт расположен у проекторов, которые в Microsoft называют «световыми движками». HoloLens содержит LQoD-дисплеи, которые вы можете найти в обычном проекторе. Это два устройства с разрешением HD и соотношением сторон картинки 16:9 на дужке под инерциальным датчиком, о котором мы поговорим позже. Свет из проекторов должен пройти через объединитель - устройство, правильным образом комбинирующее проекцию и реальный мир.

Три Д (Датчики Дают Добро)

Когда дело касается дополненной, виртуальной или смешанной реальности, датчики положения и пространства имеют огромное значение. Нужно ли следить за положением головы, окружающими предметами и людьми, проходимым расстоянием или глазами - скорость и точность датчиков делают компьютерное вмешательство реалистичным или превращают погружение в кошмар.

Панель датчиков HoloLens содержит по две камеры распознавания окружающей среды справа и слева, времяпролётную (time of flight - ToF) камеру глубинного зондирования, датчик внешней освещённости и двухмегапиксельную камеру для фото или видео в HD-разрешении. Некоторые детали массива куплены у сторонних поставщиков, другие же изготовлены самой Microsoft.

Камеры зондирования окружающей среды служат основой для трекинга головы, а времяпролётная камера играет две роли: помогает с отслеживанием движений рук и реконструирует окружающие поверхности, чтобы размещать «голограммы» на физических объектах (например, именно это является одной из основных функций камер Intel RealSense 400-й серии в Project Alloy).

Датчики работают совместно с описанной выше оптической системой и датчиком инерциальной навигации, установленным прямо над переносицей. HoloLens обрабатывает положение пользователя меньше чем за 10 миллисекунд, за счёт чего изображение не плывёт, а виртуальные объекты не летят вслед за поворотами головы. На самом деле, немного летят, но и HoloLens - пока прототип.

Холодная голова

Мы давно знаем, что HoloLens работает на мобильной системе на чипе Intel поколения Cherry Trail, и у нас практически не было данных по инерциальному модулю и голографическому процессору (ГП), который в мире за стенами Microsoft именуется процессором компьютерного зрения (пример - Myriad).

Очевидно (и подтверждено), что устройство получило специальную материнскую плату без радиаторов и вентиляторов охлаждения. На ней есть твердотельный накопитель на 64 ГБ формата eMMC и 2 ГБ оперативной памяти LPDDR3 - по гигабайту на центральный и голографический процессор. Архитектура - x86, а операционная система - Windows 10.

SoC остаётся неизвестным, но всё семейство Cherry Trail получило по четыре 14-нанометровых ядра Airmont. Слайды Microsoft позволяют утверждать, что чип подключён по PCIe к двум устройствам: контроллеру 802.11ac Wi-Fi/BT 4.1 LE и процессору компьютерного зрения. При этом только одна из двух компоновок Cherry Trail имеет пару портов PCIe - версия Type 4 на 289 квадратных миллиметра. По крайней мере на бумаге, эта версия доступна с максимум 16 графическими исполнительными блоками восьмого поколения. Intel HD Graphics имеет аппаратное ускорение HEVC и H.264, что сводит к минимуму энергозатраты на воспроизведение медиа. А укладка памяти в SoC и HPU экономит место на материнской плате.

Также Cherry Trail может похвастаться обилием интерфейсов ввода/вывода, полезных для . Встроенный экономичный звуковой движок может кодировать и декодировать аудио для встроенных динамиков и с четырёх микрофонов. I²C-интерфейсы упрощают работу с датчиками температуры и освещённости. Поддержка MIPI CSI обеспечивает беспроблемное подключение к SoC камер. А SSD на 64 гигабайта подключается к кластеру управления внутренним хранилищем процессора через SDIO.

HPU

Голографический процессор версии 1.0 отвечает за сбор и обработку данных с различных камер HoloLens, чтобы отправить стройный обработанный код в центральный процессор. ГП произведён по 28-нанометровому техпроцессу TSMC. Его площадь составляет 144 квадратных миллиметра, большую часть из которых занимают 12 вычислительных узлов с 2 DSP-ядрами разработки Tensilica в каждом (24 ядра).

Microsoft использовала базовый набор инструкций Xtensa с примерно 300 расширениями для входного потока данных от различных подсистем шлема, которые комбинируются и выводятся на SoC в упрощённом формате. С самого начала в Рэдмонде не хотели загружать ни один вычислительный узел больше, чем на 50%, поэтому перегрузка HPU маловероятна и в будущем - всё сделано с запасом.

Компания также предъявила взыскательные требования к времени ожидания и рабочему циклу. Для их сокращения операции, которые не могут быть удовлетворительно произведены ядрами DSP, передаются на монофункциональные ускорители. Во многом это похоже на выделение транзисторов под конкретные задачи, такие как тесселяция или декодирование видео, в графике и . Microsoft реализовала автономные ускорителями и блоки аппаратных средств, тесно связанные с ядрами DSP для ускорения производительности критически важных операций. Эта связка производит порядка триллиона операций с пикселями в секунду, то есть в 200 раз больше, чем при программной обработке.

Наряду с 1 гигабайтом оперативной памяти LPDDR3 в HPU между узлами расположилось 8 мегабайт SRAM. Последовательные интерфейсы позволяют устанавливать связь между голографическим процессором и подсистемами шлема: например, CSI от MIPI Alliance используется для сбора входящих данных от камеры глубинного зондирования и четырёх камер распознавания среды, MIPI-DSI соединяет два дисплея, инерциальный датчик общается с HPU по SPI, а температурный - по I²C.

HPU и SoC от коммуницируют по шине PCI Express. Согласно спецификациям Atom Z8000, Cherry Trail предоставляет два корневых порта со скоростью до 5 гигатранзакций в секунду. Если данная информация соответствует имеющемуся в HoloLens, компоненты шлема передают друг другу код на скорости не больше 500 мегабайт в секунду. К сожалению, в не подтверждают ни одну из спецификаций центрального процессора.

Не пропускайте важнейшие новости о мире дополненной и виртуальной реальности - подписывайтесь на Голографику в