LightSpace та інтерактивна кімната. Майбутнє за Microsoft

У Microsoft Research вже давно працюють над технологіями розпізнавання та взаємодії з навколишнім середовищем. Kinect є парадигмальним прикладом, але не єдиним. LightSpace — ще один із проектів у цій галузі дослідницького підрозділу Редмонда. Поєднуючи елементи розпізнавання поверхні з доповненою реальністю, а також завдяки камерам глибини та проекторам, LightSpace робить кожну поверхню в кімнаті та навіть вільний простір між ними інтерактивними.

Мета LightSpace — забезпечити взаємодію в повсякденному середовищі, використовуючи різні елементи як проекційні поверхні.система використовує столи або стіни для відображення графіки, що дозволяє користувачам використовувати руки та жести для керування проектованим вмістом. Хоча в демонстраціях використовуються лише стіл і стіна, LightSpace може розпізнавати більшу кількість поверхонь і використовувати їх як інтерактивний дисплей.

Взаємодія з будь-якою поверхнею

Система не тільки дозволяє розпізнавати кілька рук, ніби це мультисенсорний екран, але також додає нові взаємодії з тілом, дозволяючи переходи між різними поверхнями Наприклад, ми можемо переміщувати вміст від одного до іншого, просто поклавши руку на відповідний об’єкт і торкнувшись поверхні призначення. Таким чином LightSpace імітує переміщення вмісту нашими тілами з однієї частини кімнати в іншу.

Крім переміщення вмісту з однієї поверхні на іншу, система дозволяє витягувати його з них і тримати в руках, ніби це фізичний об’єкт.Для цього він проектує червону кульку на руку, яка представляє відповідний вміст. Користувач може транспортувати його таким чином через кімнату і навіть торгувати з іншими користувачами. Щоб повернути його на поверхню, просто піднесіть його ближче до неї, щоб він перенісся, знову відобразивши на ньому вміст.

Виявлення глибини, яке використовує система, також дозволяє генерувати представлення поза самими поверхнями Таким чином, як показано в демонстрації, ми можемо переміщатися між параметрами меню, піднімаючи або опускаючи руки вгору. Система визначає висоту, на якій вона змінюється між різними варіантами. Як і решта, це лише один приклад того, чого можна досягти за допомогою LightSpace.

Як це працює

Щоб зробити кімнату інтерактивною таким чином, система використовує кілька камер глибини та проекторівВони відкалібровані для визначення реального положення об’єктів і поверхонь у кімнаті, що дозволяє відображати на них графіки. Для цього кожна з камер записує глибину, на якій знайдено кожен об’єкт, розрізняючи стабільні об’єкти в кімнаті та інші мобільні, наприклад, самих користувачів. Кожен піксель перетворюється на реальну світову координату.

LightSpace використовує ці дані для створення тривимірної сітки елементів кімнати, визначення поверхонь, на які можна проектувати вміст. Модель кімнати використовуватиметься для розпізнавання взаємодії користувачів у навколишньому середовищі Камери, які використовувалися раніше, дозволять виявляти рухи користувача, розрізняючи їхні контури і точно визначити положення рук.

Таким чином система інтерпретує жести користувача для виконання кожної з реалізованих дій.Ми вже бачили деякі з них, як-от робота з вмістом на будь-якій поверхні, перенесення його з однієї поверхні на іншу або транспортування по самій кімнаті, ніби це був справжній об’єкт. Але система може реалізувати інші інструкції, дозволяючи більше дій на будь-якій поверхні.

Тут може проявити свою фантазію кожен. Мета — перетворити будь-яку поверхню на інтерактивний екран. Не потребуючи додаткових моніторів чи датчиків руху, LightSpace перетворює будь-яку кімнату на нове місце для роботи чи гри У щось більше майбутнього.

У Xataka Windows | Майбутнє за Microsoft Докладніше | Microsoft Research