OmniTouch

Однією з найбільших революцій в обчислювальній техніці стали сенсорні екрани. Вони принесли новий спосіб взаємодії з комп’ютером, або за допомогою спеціального покажчика, або за допомогою пальця. У 2011 році Microsoft пішла далі, представивши OmniTouch, проект, який зробив будь-яку поверхню доступною для дотику. Основна ідея полягає в тому, щоб встановити камеру та проектор на плечі, який проектує екран і зчитує натискання клавіш користувача. Можливості безмежні, дозволяючи нам перетворити нашу руку, стіну, простирадло чи будь-яку іншу поверхню на сенсорний екран.

Як працює OmniTouch: розпізнає натискання клавіш

Найважливішою частиною проекту OmniTouch є відстеження положення та глибини пальців, щоб знати, куди торкається користувач. Для цього в прототипі використовувалася чутлива до глибини камера PrimeSense. На відміну від звичайної камери, яка вимірює кольори, PrimeSense вимірює відстань кожної точки зображення від об’єктива камери. Точність 1 мм і мінімальний радіус дії 20 см є головними перевагами перед камерою Kinect, яка спочатку використовувалася в проекті.

"

Щоб визначити місцезнаходження пальців, OmniTouch спочатку знімає карту глибини (A). Потім розраховується карта нахилу>"

На (B) ви можете побачити, що карта переведена в кольори: червоний означає, що є менша глибина в позитивному напрямку осі X або Y (вгору або праворуч), а синій означає, що є менше глибини в негативному напрямку осі X або Y (вниз або вліво).Фіолетовий означає, що глибина майже не змінюється.

За допомогою цієї карти програмне забезпечення шукає вертикальні циліндричні ділянки, поверхні, які наближаються до камери, потім залишаються і, нарешті, віддаляються. Яким був палець, якщо провести ним з одного боку на інший, нічого собі. На кольоровій карті знайдіть червону ділянку, потім фіолетову ділянку, потім синю ділянку, усі на одній вертикальній осі.

Можливі кандидати фільтруються за висотою, щоб відфільтрувати все, що не може бути пальцем (наприклад, циліндр заввишки 2 міліметри не можна розпізнати як палець, тому його відкидають). На малюнку (C) ви можете побачити всі виділені частини пальців.

Після того, як це буде зроблено, усі вертикальні секції об’єднаються, щоб утворити палець (малюнок D). Пальці, які можуть бути занадто короткими, відкидаються, і передбачається, що, оскільки користувач є правшою, крайня ліва частина пальця є кінчиком.І вуаля, тепер ми знаємо, куди вказує користувач.

Тепер, як ми дізнаємося, що палець торкається поверхні? Вони називають це заливкою, але це буде більш звичним, якщо я скажу вам, що це як заповнення фарбою відром фарби.

Техніка проста: знайдіть середню точку пальця та почніть заповнювати пікселі вгору, ліворуч і праворуч, з допуском 13 міліметрів. Тобто вони заповнюють піксель, лише якщо різниця між його глибиною та серединою пальця становить менше 13 міліметрів.

Таким чином, якщо ваш палець нічого не торкається, будуть заповнені лише пікселі, які відповідають вашому пальцю. Якщо ви торкаєтеся руки, багато інших буде заповнено. На зображенні ви можете побачити, що станеться, якщо палець підняти (ліворуч) або торкнутися руки (праворуч). Коли пройдено певний запас заповнених пікселів, програмне забезпечення надішле торк або клацання у відповідному місці.

Як працює OmniTouch: проектування зображення

Хоча розпізнавання пальців є центральною частиною, ми не можемо забувати, що OmniTouch також має проектувати зображення на будь-яку поверхню. Для цього також використовується глибинна камера. Усі поверхні на зображенні визначаються за допомогою алгоритму зв’язаних компонентів, який дуже ефективно виявляє взаємопов’язані точки на зображенні.

Після того, як поверхні, менші за руку, відкинуто, ми переходимо до фіксації центру або опорної точки для проектування зображення. Ця точка допомагає визначити орієнтацію поверхні і, отже, дозволяє створити зображення, яке не виглядає спотвореним.

Наступним складним моментом є визначення розміру поверхні.Оскільки краї поверхонь не розпізнаються достатньо добре, OmniTouch використовує середнє значення та стандартне відхилення точок компонентів, щоб класифікувати їх на п’ять точок: рука, рука, ноутбук, стіна та стіл. Кожен з них має певний розмір і центр для зображення.

Програмне забезпечення генерує зображення для проектування з усіма даними, спотворюючи його так, щоб воно виглядало правильно на поверхні. Потім він передає зображення на проектор, який відображатиме зображення на будь-якій поверхні.

Точна технологія з багатьма можливостями

Тести, що використовуються для вимірювання точності OmniTouch.

Під час тестування OmniTouch виявилася дуже точною технологією. Точність розпізнавання клацання 96,5%, дуже хороший показник, тим паче, що це прототип.Що стосується розміру інтерфейсу, з кнопками діаметром 2 сантиметри розпізнаються 95% натискань клавіш.

Цей максимальний розмір необхідний для інтерфейсу, який проектується в руці. На інших віддалених поверхнях, наприклад на столі чи стіні, його можна зменшити до 15 міліметрів, що приблизно відповідає розміру кнопки на звичайному сенсорному екрані.

"

Що стосується можливостей, то вони безмежні. З прототипом була створена кафедра для малювання: на стіні ви малювали, а лівою рукою обирали кольори. Також використовується як хайлайтер>"

Але найцікавіше те, що вони згадують у кінці документа: можливості, які OmniTouch відкриває, коли ми перестаємо розглядати двовимірні поверхні, використовуючи переваги форм тіла, щоб змінити, як ми взаємодіємо з комп'ютером.

"

OmniTouch — справді захоплюючий проект як за технікою, так і за своїми можливостями. Незабаром ми знову поговоримо про нього в спеціальному випуску Майбутнє за Microsoft>"

У Xataka Windows | Майбутнє за Microsoft Докладніше | OmniTouch