Еволюція Kinect і справжня важливість досліджень Microsoft
Зміст:
Те, що Kinect важливий для Microsoft, є майже істиною. Пристрій захоплення Redmond виходить далеко за рамки простого методу керування їхньою консоллю відеоігор і став важливим елементом їхньої стратегії та еталоном для багатьох їхніх продуктів. Але це також відчутний зразок того, що може народитися в результаті поєднання відділу компанії з лабораторією ідей Microsoft Research.
Перший Kinect вже був прикладом цього. Через три роки саме той самий союз дозволив пристрою еволюціонувати до непередбачених меж, щоб супроводжувати випуск Xbox One.У всіх своїх розділах Kinect 2.0 представляє значне вдосконалення в порівнянні зі своїм попередником і протягом цього тижня Microsoft скористалася нагодою, щоб пояснити, як це було частиною процесу розробки гаджетів. який на шляху до того, щоб стати фундаментальною частиною взаємодії між людьми та машинами.
Kinect 1.0
Коли Microsoft представила Project Natal на E3 у червні 2009 року, багато хто побачив у ньому просту відповідь Редмонда на безсумнівний успіх Nintendo з Wii та її системою керування. Але під цим проектом із назвою бразильського міста ховався Kinect, пристрій, який виявився беззаперечним бестселером і з часом став значно більше, ніж очікувалося.
Хоча технологія, що лежить в основі першого Kinect, народилася з розробок програмного забезпечення студії Rare та технології захоплення зображень ізраїльської компанії PrimeSense, це буде поєднання команда Xbox із дослідженнями Microsoft Research, що дає змогу вийти на ринок
Пристрій у формі стрижня використовував інфрачервоний проектор і камеру, яка сканувала сцену та надсилала інформацію на мікрочіп, спеціально створений для зйомки руху об’єктів і людей у трьох вимірах. До них приєднався ряд мікрофонів, здатних розпізнавати голос користувача. Усі ці елементи разом дозволяли 3D-фіксацію руху, а також розпізнавання обличчя, жестів і голосу.
Для такого завдання специфікації Kinect не були чимось особливим. Камера мала роздільну здатність VGA і працювала на 640x480 за замовчуванням, хоча вона була здатна працювати на 1280x1024 пікселів за рахунок нижчої частоти оновлення. Включений мікрочіп виконав лише частину роботи з обробки інформації, залишивши значну частину завдання самій консолі.
Один із ключів до всієї системи знаходився в програмному забезпеченні, створеному Microsoft для інтерпретації всієї інформації, зібраної датчиками Kinect.Саме тут Microsoft Research відіграла і продовжує відігравати важливу роль, досліджуючи найрізноманітніші способи використання Kinect і співпрацюючи над SDK, який Microsoft зробив доступним онлайн з 2011 року. щоб будь-який розробник інтегрував його у свої продукти чи послуги.
Kinect 2.0
Велика різниця між новим Kinect і його попередником полягає в новій основній камері. Друге покоління пристроїв захоплення руху включає камеру з високою роздільною здатністю для вимірювання часу прольоту (TOF), яка дозволяє майбутній Xbox One Kinect знімати більше деталей за допомогою висока точність і більш висока роздільна здатність. Новий режим глибини, наданий цією TOF-камерою, дозволяє відтворювати сцену втричі точніше, ніж перший Kinect.
Це не єдина перевага використання цього типу камери.З його допомогою також досягається на 60% більше поле зору, що дозволяє реєструвати більший простір і дає змогу реєструвати більше людей одночасно та на меншій відстані від пристрою. За допомогою нової консолі на сцені можуть виходити до 6 осіб, які розпізнають і розрізняють усі їхні рухи. Це значний прогрес у порівнянні зі своїм попередником, який міг зафіксувати лише рух 2.
Друга велика зміна в новому поколінні Kinect походить від нового інфрачервоного датчика, який розпізнає об’єкти та людей в умовах дуже слабкого освітлення. Датчик тепер настільки потужний, що може ідентифікувати предмети в повністю темній кімнаті. Точність така, що він може розпізнавати людей і реєструвати тіла навіть без освітлення, видимого людським оком. При слабкому освітленні він розпізнає положення руки на відстані до чотирьох метрів, точно розрізняючи кожен палець.
Kinect 2.0 розрізняє повний скелет користувача, орієнтацію його кінцівок, м’язи тіла і навіть биття його серця.
Поєднання нових елементів дозволяє зафіксувати не тільки силует користувача, але й розрізнити його повний скелет, орієнтацію кінцівок, м’язи тіла з розподілом сили та ваги. впливають на них, і навіть серцебиття. Розпізнавання обличчя також значно покращилося, виявляючи навіть найменші деталі та жести та дозволяючи більш точну ідентифікацію. Щоб зрозуміти, що все це означає, просто перегляньте наступне відео.
Ця нова технологія також має покращений процесор Kinect, який дозволяє йому справлятися з величезною кількістю інформації, яку отримують усі нові датчики. Пристрій збирає до 2 гігабіт даних за секунду для зчитування середовищаУсю цю інформацію потрібно швидко обробляти та інтерпретувати, і для цього необхідно було очевидне вдосконалення технічних характеристик машини.
Але зміни компонентів недостатньо. Потужний сканер, яким став Kinect, вимагає програмного забезпечення, здатного інтерпретувати все, що він бачить, і для цього необхідно було здійснити важливу еволюцію коду, який його запускає. Саме тут досвід і знання Microsoft Research стали важливішими, ніж будь-коли, допомагаючи команді Xbox там, де виникали проблеми, і своєчасно надаючи правильні рішення. швидко та ефективно. Таким чином, Kinect 2.0 став продуктом співпраці, історія якої демонструє потенціал, який Microsoft приховує у своїй лабораторії ідей.
Процес еволюції
The Evolution of Kinect — це історія про те, як команда інженерів намагалася додати TOF-камеру на Xbox One.Ці типи камер випромінюють світлові сигнали, які відбиваються від об’єктів і збираються назад шляхом вимірювання часу, необхідного для проходження відстані. Для того, щоб вони працювали належним чином, розрізняючи відображення від об’єктів у кімнаті та навколишнього середовища, необхідна точність до 1/10 мільярда секунд. Такий рівень точності є єдиним способом надати достатньо інформації для адекватного обчислення форм і контурів об’єктів.
Звучить складно, і проблема в тому, що досягти цих рівнів із споживчим продуктом так само важко, як здається. У процесі розробки нового Kinect доводилося вирішувати різноманітні проблеми, які потрібно було вирішити за обмежений час. Kinect 2.0 має бути готовий до випуску Xbox One, запланованого на кінець 2013 року.
Саме за цих обставин Microsoft має туза в рукаві: Microsoft Research, ваш аналітичний центрКоманда Kinect використовувала величезні знання та технічний досвід співробітників Microsoft Research для вирішення різних проблем, які виникали з новою технологією, інтегрованою в пристрій. Саме тут роки інвестицій у дослідження та розробки почали приносити плоди завдяки співпраці між різними відділами компанії.
Виклик був непростим. Відрізнити об’єкти переднього плану від фону та звести до мінімуму розмиття камери – складне завдання. По-перше, невеликі об’єкти необхідно було точно виміряти в усіх сценаріях і за будь-яких умов освітлення. Треба було працювати до тих пір, поки не вдасться розрізнити пальці рук, не сплутавши їх з навколишнім середовищем. У результаті цієї роботи новий Kinect здатний виявляти об’єкти розміром до 2,5 сантиметрів, порівняно з 7,5 сантиметрами його попередника. Проблема розмиття потребувала додаткової роботи та оптимізації програмного забезпечення, але з часом інженери Microsoft змогли зменшити розмиття від руху з 65 мілісекунд на оригінальному Kinect до 14 мілісекунд на його наступнику.
Усі ці завдання вимагають обробки величезної кількості інформації. Дані, отримані камерами Kinect, збираються на піксельній основі, що означає, що кожен із 220 000 пікселів, підтримуваних датчиком Kinect, збирає дані незалежноДо цього ми повинні додати набагато більше інформації, яку збирають інші датчики. Складна проблема полягає в тому, щоб ідентифікувати та інтерпретувати всю цю інформацію, відокремити елементи та глибину, на якій вони знаходяться, а також усунути шум із зображення.
З Kinect Xbox One має обробляти 6,5 мільйонів пікселів на секунду
"Xbox One має обробляти 6,5 мільйона пікселів на секунду, і лише невелика частина обчислювальної потужності консолі може бути призначена для інтерпретації інформації, оскільки більшість потужностей має бути зарезервовано для ігор, скелетних відстеження або розпізнавання обличчя чи звуку. Для кожного пікселя потрібно було дуже мало обчислень, що вимагало очищення>Без неоціненної допомоги Microsoft Research команда Kinect ніколи б не досягла своєї мети вчасно"
Ефективне значення Microsoft Research
Спільна робота команди Kinect із співробітниками Microsoft Research не була чисто консультативною. Дослідники Microsoft взяли на себе багато роботи і створили цілу інфраструктуру та програмне забезпечення для вирішення проблем, пов’язаних із розвитком пристрою. Знання обох команд у відповідних областях дозволили просуватися швидше, ніж окремо.
Ключовою була швидкість, з якою вони інтегрувалися, і здатність надавати рішення за короткий проміжок часу. Але вся ця робота не обмежується виведенням продукту на продаж. Додатковою перевагою є те, що розробникам доступні вдосконалення інженерів Redmond, що дозволяє працювати з більшою кількістю режимів перегляду та набагато чистішими даними.
Kinect розкриває весь потенціал, який приховує Microsoft як компанія і який виявляється, коли її відділи працюють інтегровано.Кілька дослідників Microsoft Research брали активну участь у розробці Kinect 2.0, працюючи над проектом, який матиме негайний вплив на ринок. Для тих із нас, хто вимагав більшої участі Microsoft Research у продуктах Redmond, це гарна новина.
Kinect також є відчутною демонстрацією того, що Microsoft Research — це набагато більше, ніж лабораторія ідей, це фундаментальний капітал для майбутнього Microsoft .
Через | Офіційний блог Microsoft | TechCrunch
