Oculus Quest Теперь Видит Мои Пальцы

Oculus Quest Теперь Видит Мои Пальцы

Я веду небольшую команду людей из Facebook, которые ведут меня вниз по лестнице, в широко открытый офис с высокими потолками в здании Facebook MPK 21 в центре Силиконовой долины. Открытые столы прорезают пространство. Воздух спокоен. В комнате тихо. В одном конце длинного открытого офиса, за мной, сидит человек, похожий на Марка Цукерберга.

На самом деле это Марк Цукерберг.

Мы направляемся в конференц-зал со стеклянными стенами, и я сажусь на диван в частном конференц-зале Цукерберга. Входит генеральный директор Facebook, пожимает мне руку и садится на стул в нескольких футах от меня. Цукерберг выглядит более расслабленным, чем я ожидал. Он напоминает мне друзей, которых я знал, которые руководили стартапами. Я ожидал чего-то необычного. Вместо этого наш разговор выглядит обезоруживающе нормальным. Я не помню, какую рубашку он носил. Это казалось невзрачным и удобным.

Тебе придется поверить мне на слово, потому что Facebook не позволил мне делать фотографии или видеоролики нашего разговора - даже после того, как я предложил опубликовать все это на Facebook.

Я здесь, чтобы послушать презентацию Цукерберга для Oculus, компании виртуальной реальности, которую он купил в 2014 году за впечатляющие 2 миллиарда долларов в рамках своего плана по расширению социальных сетей Facebook до интерактивного виртуального мира и помочь выполнить его миссию «помочь людям собраться вместе». Oculus обещает «новую главу в AR и VR» в этом году, спустя несколько месяцев после того, как первоначальные основатели компании VR вышли вместе со многими другими высококлассными руководителями, чьи магазины были куплены Facebook. Цукерберг начинает философствовать в первую минуту нашего 30-минутного разговора: «У людей много вопросов о том, куда все это идет, почему это делает Facebook».

Я ожидал новостей о футуристической гарнитуре с дополненной реальностью, похожей на Microsoft HoloLens 2 и Magic Leap, которые я опробовал. У этих посещений была привычная рутина: приглашаться в штаб-квартиру, осматривать помещения и испытывать что-то новое. Моя поездка в Facebook в понедельник, за два дня до Oculus Connect, прошла по аналогичной схеме.Но без части нового продукта.

Вместо того, чтобы поразить нас новой гарнитурой AR, Цукерберг использовал свое основное выступление на конференции разработчиков в среду утром, чтобы поговорить о VR, и, в частности, о гораздо более доступном оборудовании VR, которое Oculus уже продает. Потому что, хотя у Facebook еще нет готовой гарнитуры AR, большинство людей даже не знают, что такое AR, не говоря уже о том, чтобы купить гарнитуру стоимостью более 2000 долларов. Достаточно сложно заставить людей попробовать VR. Вот почему автономный Oculus Quest за $ 399 может оставаться самым доступным иммерсивным продуктом Facebook, по крайней мере, в следующем году.

Подробнее: Марк Цукерберг не разочаровывается в виртуальной реальности (Q & A)

Oculus Quest - «лучшее, что я пробовал в этом году», - написал я в своем обзоре. CNET удостоил ее нашей престижной награды «Выбор редакции», потому что это доступная беспроводная гарнитура VR, доступная каждому.

Команда Цукерберга рассказала мне, что Oculus Quest получит ключевые обновления в следующем году: он будет работать с ПК для воспроизведения контента на платформе Rift, подключенной к Oculus, с помощью кабеля USB-C с использованием новой технологии под названием Oculus. Ссылка.Я лично попробовал отследить трекинг, который появится «в начале следующего года» и позволит людям попробовать VR, не изучая, как использовать стандартные контроллеры. А новая социальная платформа в бета-версии в следующем году, получившая название Facebook Horizon, стремится стать следующей попыткой привнести многопользовательские возможности в Oculus с помощью игр и креативных инструментов.

Цукерберг совершенно ясно, что видение виртуальной реальности Facebook все еще находится в фокусе, даже после всех этих лет. Он дает мне стандартные предупреждения о том, что компания не должна быть там, где она должна быть, и как он знает, что гарнитуры должны становиться меньше, удобнее и проще в использовании. Но он также говорит мне, что виртуальная реальность - это всего лишь вступительный залог в долгосрочных амбициях Facebook, и что это мост в будущее, где мы будем общаться, используя дополненную реальность, которая смешивает компьютерные изображения с реальным миром.

Он также ясно, что Facebook - это компания - единственная компания, которая должна вести движение в будущее, в котором мы работаем, играем и взаимодействуем в этих виртуальных и расширенных мирах.А потом он слегка завуалированно копает конкурентов Apple, Google, Microsoft и, возможно, даже Magic Leap.

«Вероятно, все изменится, если мы поможем изменить это положение по сравнению с другими компаниями, которые могут над этим работать, и я думаю, что они более склонны выдвигать модель, которая более близка» ваше приложение, вот ваш контент, я собираюсь вытащить его из магазина », - говорит он. «Мы хотим помочь следующей вычислительной платформе больше взаимодействовать с людьми, а не только с приложениями и задачами».

Что касается того, когда это все произойдет - переход от VR к AR, от нишевого рынка к массовому потреблению - Цукерберг, который уже пять лет работает с Oculus, говорит мне, что потребуется больше времени, чтобы добраться до места, где «люди будут ожидать превосходства от работы, которую мы делаем».

«Я не думаю, что это вещь 2020 года. Но, надеюсь, это не вещь 2030 года». И даже тогда Цукерберг видит, что VR и AR все еще живут вместе. «Если вы думаете о том, как мы используем экраны, мы приносим с собой телефоны, но половину нашего времени с экранами занимают телевизоры.Я думаю, что VR - это телевидение, а AR - это телефоны. "

Помимо разговоров о более масштабных видениях будущего, мое время в Facebook было потрачено на демонстрацию отслеживания рук в Oculus Quest, простое и практичное программное дополнение, которое позволяет мне руки, чтобы окунуться в виртуальные миры без необходимости в контроллере. Хотя это может показаться неинтересным, но это, пожалуй, самый полезный шаг вперед в направлении создания впечатляющих, но все же отталкивающих очков виртуальной реальности Oculus в большем количестве рук.

В колодце Комната с освещением в Building MPK 21.8 от Facebook, команда инженеров вручает мне знакомый квест Oculus Quest. В начале 2020 года система слежения за руками без контроллера будет добавлена ​​к автономной виртуальной гарнитуре Facebook, оснащенной четырьмя обращенными наружу черно-белыми камеры на передней панели, которые также отслеживают движение всей комнаты и движения контроллера. Я провожу тест-драйв.

Как только будет запущена первая демоверсия - «Elixir», созданная разработчиками Magnopus и Oculus Studios - Я вижу свои руки как две бестелесные перчатки обезьяны, плавающие передо мной.Я могу двигать каждым пальцем. Я могу дать большой палец вверх, указать или сделать знак мира. Это почти то же самое, что держать в руках универсальные и заполненные кнопками контроллеры Oculus Touch от Oculus Quest, которые также имитируют движения рук, но новичкам может быть трудно это понять. На этот раз это только мои руки. Я смотрю на свои виртуальные пальцы. Это завораживает.

Я в волшебной лаборатории, похожей на мультфильм. Я опускаю руки в чан с желтой драконьей рвотой, и мои руки становятся желтыми и пестрыми. Я подхожу к огненной панели и кладу туда свои руки, и они загораются. Я могу ущипнуть свои огненные пальцы, выскакивая плавающие ошибки. Синяя ядовитая слизь дает мне гигантские руки осьминога, и я смотрю на свои гибкие, покрытые присоской пальцы щупалец.

Все это действительно работает, но я замечаю разницу между моими движениями и действиями, которые не происходят, когда вы используете контроллеры Oculus Quest. Инженеры Facebook говорят, что контроллеры Quest по-прежнему являются лучшим способом играть в игры, но ручное управление будет для тех, кто считает, что контроллеры сбивают с толку или хотят более непринужденный способ взаимодействия.Или, что более важно, для приложений обучения сотрудников для бизнеса.

Цукерберг сказал мне ранее, что цель компании с отслеживанием рук является частью ее стремления к «присутствию». То, что это означает, может даже не быть гарнитурой, как мы знаем это в будущем. Цукерберг считает, что присутствие в AR отличается от того, что доступно в AR сегодня. «Я думаю, что люди поставляют разные продукты, которые они будут называть AR, которые не имеют возможности фактически доставить человека сюда, который, как вы чувствуете, с вами. Вы можете получать уведомления, вы можете получить некоторые очки, которые могут быть симпатичными полезные и могут делать разные вещи. Но я думаю, что есть еще некоторые базовые технологические вещи, над которыми нужно поработать, на которых мы сосредоточены ».

Мое второе демо более пешеходное. Это симуляция проверки страховки от ущерба от воды для Farmers Insurance. Я хожу по виртуальной кухне в поисках мокрых пятен: заплесневелое место возле холодильника, капельница под раковиной. В каждом месте я протягиваю руку и нахожу всплывающую кнопку, которую я могу нажать, чтобы указать, думал ли я, что область была повреждена или нет.

Отслеживание рук было как в AR, так и в виртуальной реальности: я видел, как мои руки были привязаны к виртуальным мирам в захватывающих художественных инсталляциях Tribeca и в виртуальных достопримечательностях на основе местоположения, таких как The Void. Дорогие гарнитуры AR, такие как Microsoft HoloLens 2 за 3500 долларов, полагаются на ручное слежение вместо контроллеров. Facebook приобрела компании, специализирующиеся на технологии отслеживания рук VR, в том числе Nimble VR в 2014 году и Pebbles Interfaces в 2015 году, и обещала прорыв в области отслеживания рук на своих гарнитурах. Но я впервые вижу, как отслеживание рук работает на гарнитуре Oculus. Технология компьютерного зрения, отслеживающая руки, разработанная в лаборатории реальности Facebook, может распознавать 20 ориентиров или точек на руку.

Facebook планирует предложить обновление отслеживания рук вместе с комплектом разработки программного обеспечения для разработчиков приложений в следующем году, а отслеживание рук будет работать в программном обеспечении Oculus Home и в ОС VR, которые обеспечивают базовый просмотр. Управляя более отдаленными вещами, такими как указатель или пульт дистанционного управления, вы будете сжимать пальцы и перемещаться, как воздушная мышь.Ваши руки могут быть пультом дистанционного управления для просмотра веб-страниц, воспроизведения видео или изучения 3D-карт. Я могу предпочесть отличные контроллеры Oculus Touch, когда играю в такие игры, как Beat Sabre, но если бы я случайно подключился, чтобы посмотреть видео, или даже использовал приложение, такое как виртуальный художественный музей, я бы предпочел использовать свои руки.

Цукерберг соглашается, говоря, что он не ожидает, что все откажутся от своих контролеров. «Есть вещи, для которых людям нужен контроллер, потому что есть вещи, которые вы можете делать только тогда, когда получаете обратную связь. Но я думаю, что основным способом, которым люди захотят взаимодействовать с ним, являются руки».

Демонстрация отслеживания рук не идеальна. Помимо задержки, при попытке манипулирования более мелкими объектами не хватает точности, и для демонстрации требовалось лучше освещенное помещение, чем камеры Oculus Quest, которые используются для отслеживания помещения. Некоторые функции, такие как распознавание окклюзии при рукопожатии (распознавание, когда рука пересекается с другой рукой, как Apple начинает делать с объектами в AR), также еще не готовы, но над ними работают, согласно Дженни Сперлок из Facebook и Роберт Ван, который руководил разработкой по отслеживанию рук в Oculus Quest.

Oculus уже дал понять, что технология отслеживания Oculus Insight на основе камер в последних VR-гарнитурах Facebook - это начало того, что будет необходимо в будущей AR-гарнитуре Facebook. Может быть, затем узнаем другие объекты в комнате, используя эти камеры, и добавим больше реальных объектов в виртуальную реальность.

«Одним из преимуществ использования обычных 2D-монохромных камер Quest является то, что у нас есть эти преимущества размера, веса, мощности и стоимости», - говорит Ван. «Это более сложная проблема с компьютерным зрением, но она удерживает нас в довольно хорошей ценовой границе».

«VR - это такая новая технология, мы предпочли бы уменьшить трение, чем добавить вес гарнитуре», - добавляет Сперлок.

Странная вещь в Oculus заключается в том, насколько он сегодня в основном не социальный. Facebook, крупнейшая в мире социальная сеть с более чем 2 миллиардами активных ежемесячных пользователей, до сих пор не взломала социальную сеть Oculus. Такие приложения, как Rooms, Spaces и Venues, пытались объединить людей для обмена опытом в режиме реального времени в VR, но поддержка этих приложений в Facebook была фрагментирована платформой.

Новая социальная VR-платформа Facebook Horizon, запущенная в бета-версии в следующем году, выглядит второй (или третьей, или четвертой?) Виртуальной социальной сетью Facebook. Компания заявляет, что это станет ключом к превращению виртуальной реальности в устройство «критической массы». Ожидается, что число людей в США, использующих виртуальную реальность, вырастет до 57,1 миллиона в 2021 году по сравнению с 43 миллионами пользователей сегодня, согласно данным eMarketer. Что касается AR, eMarketer ожидает, что 85 миллионов человек в США будут использовать технологию дополненной реальности не реже одного раза в месяц к 2021 году - по сравнению с 68,7 миллионами в 2019 году.

Horizon будет креативным инструментом, согласно Цукербергу , позволяя встречи, а также игры и опыт. Цукерберг намекает пользователям Oculus Quest на возможность играть в лазертаг или настольный теннис или создавать другие игры на лету. Horizon звучит как крупномасштабная версия Facebook существующих социальных приложений, таких как Altspace, Rec Room и VRChat. Пока неясно, удастся ли ему добиться успеха в привлечении людей, но это может стать местом, где проверяется недавняя работа Facebook по созданию более совершенных виртуальных аватаров.

Facebook также анонсировала Oculus Link, обновление, которое выйдет в ноябре и может привязать автономную гарнитуру Quest к ПК, воспроизводя Rift-контент с вашего компьютера с помощью одного кабеля USB-C. Хотя мне не дали демонстрацию Oculus Link, это звучит как лучшее из мира мобильных устройств и ПК, так как Quest за 399 долларов стоит столько же, сколько и менее универсальная гарнитура Oculus Rift S.

Цукерберг объясняет, что хотя Oculus Link работает практически с любым кабелем USB-C (кабели USB-C 3.1 и новее), Oculus продаст более длинный кабель с более высокой пропускной способностью, который будет одновременно заряжать Quest.

То, что Facebook не готов сделать, - это начать разработку программного обеспечения в Quest, в которой есть библиотека приложений, которые были более тщательно курированы, чем более открытый Rift для разработчиков. Цукерберг предполагает, что отчасти это связано с проблемами обеспечения правильной работы программного обеспечения (он упоминает «тепловые оболочки») и обращается к Oculus Link как к способу получения VR-контента, который может не попасть в Quest.

Цукерберг по-прежнему не будет сообщать конкретные показатели продаж виртуальной реальности Oculus VR, но говорит, что «люди потратили более 100 миллионов долларов на VR-контент» в магазине Oculus, 20% которого приходится на 5- месячный Окулус Квест. По его словам, квест «продает так быстро, как мы их делаем».

«Существуют операционные ограничения в отношении того, насколько быстро это может расти в данный момент, и нам необходимо убедиться, что мы работаем», - добавляет он. «И мы сделаем. Просто спрос немного больше, чем мы думали». Тем не менее,

VR по-прежнему не привлекает достаточно толпы, чтобы сделать высокобюджетные игры и приложения AAA устойчивыми без поддержки Oculus. Цукерберг по-прежнему считает, что стремление к критической массе важно. Нужно привлечь больше людей к покупке гарнитуры VR.

«Я не думаю, что широкая публика сидит там в ожидании следующего устройства Oculus, так же, как они ожидают следующего iPhone», - говорит Виктория Петрок, главный аналитик eMarketer, которая специализируется на новых технологиях. ,

Несмотря на то, что Цукерберг сосредоточен на том, когда VR и AR станут зрелыми, многие наблюдатели Facebook, включая разработчиков, которых он должен убедить в создании возможностей VR и AR для потребителей и предприятий, задаются вопросом, а будут ли они. Учитывая все проблемы с конфиденциальностью, Цукерберг и Facebook были захвачены в течение последних двух лет - начиная со скандала с Cambridge Analytica, в результате которого было использовано более 70 миллионов данных пользователей Facebook в США в целях предвыборного маркетинга - самой большой проблемой остается то, как Facebook будет обрабатывать конфиденциальность данных и пользовательский контент (представьте поддельные новости в VR), когда метавселенная станет социальной.

Цукерберг не имеет там ответов: «Эти проблемы будут существовать, и я думаю, что будут новые проблемы», - говорит он, не вдаваясь в подробности. «По-прежнему остается много вопросов. Я не думаю, что на эти вопросы можно получить полный ответ - угрозы развиваются, и вам нужно работать над ними. Но я надеюсь, что к тому времени, когда эти экосистемы станут зрелыми, наши подходы к эти вопросы также будут достаточно зрелыми.«

Каждое видение научной фантастики о будущем VR / AR, которое я любил, представляло множество антиутопических способов, которыми усиленное отслеживание данных на гарнитурах в сочетании с их возросшей способностью создавать эмоциональные и, возможно, нереальные рассказы может ускорить наше самое большое страхи в интернете. Выслушав Цукерберга, я не вижу ни утешения, ни решений, исходящих сегодня от Facebook на этом фронте. Есть основания для беспокойства, говорит Фатиме Хатиблоо, главный аналитик Forrester. «Есть очень веские причины для беспокойства, что Компания Facebook находится на переднем крае развития здесь. "

Все панировочные сухари уже есть для возможной AR-гарнитуры Facebook или очков. Но Цукерберг, похоже, не торопится туда добраться. Он не предложил ответов, когда я спросил как все пойдет после того, как за последние несколько лет в Окулусе ушли многие руководители Facebook, решив вместо этого повторить, что «VR станет центральной частью этого». Я уже говорил, что виртуальная реальность будет больше, чем думают люди.«

Он видит уже работающее аппаратное обеспечение для виртуальной реальности как способ проработать будущее.» Конечно, мы проводим более долгосрочные исследования, которые теперь также сосредоточены на AR. Но я думаю, что приверженность VR, безусловно, все еще сильна, и это технологический путь, который мы собираемся использовать, чтобы туда попасть ».

В будущем я вижу отслеживание рук в Oculus Quest и бюджет. HoloLens только для виртуальной реальности от Microsoft. И, может быть, как Apple, работающая в области мобильных устройств, чтобы выяснить AR, Facebook будет использовать VR точно так же. Это, вероятно, правильный шаг для нового мира, который все еще странный и бездоказательный. Они собираются вместе кусочки, и все они помогают, потому что это такая новая арена, - говорит Туонг Нгуен, старший главный аналитик Gartner, об усилиях Oculus на сегодняшний день. - Я не думаю, что у кого-то еще есть ответ, но они все находят частичку ответа. "

Oculus Quest - это впечатляющая виртуальная гарнитура, которая будет улучшаться. Но с появлением новых технологий на горизонте еще многое предстоит сделать.Квест Oculus не навсегда, это просто аппаратное обеспечение на данный момент.

«Если бы AR можно было доставить завтра, то это не значит, что мы - компания, от которой вы ожидаете этого», - говорит Цукерберг. Но он верит, что работа Facebook в сфере виртуальной реальности и оптики проложит путь, когда наступит подходящий момент. Корреспондент CNET Квинни Вонг,

, участвовала в подготовке этого доклада.

.