Використання нейромереж стає все більшзвичним в різних сферах діяльності людини. Розробники з Массачусетського технологічного інституту планують використовувати можливості штучного інтелекту для систем спостереження, здатних з відеозапису і даними сканування радіохвилями розпізнавати дії людини знаходиться за непроникним перешкодою, наприклад за стіною.
Представлений вченими алгоритм має два блоки. Початкові дані надходять з відеокамери або радіо сканера в нейросеть, де створюється анімаційна скелетообразная тривимірна модель тіла людини. Далі у другому модулі програма шляхом аналізу розпізнає найпоширеніші руху людини: розмова по телефону, потиск руки, поплескування по плечу або обмін предметами.
При обробці даних отриманих з відеокамеривикористовувалися відкритий алгоритм AlphaPose і програма, котра трансформує плоскі скелетообразние моделі в тривимірні. У разі поганого освітлення або наявності непроникного для відеокамер перешкоди використовувалися радіо сканери, що працюють в режимі прийому-передачі на частоті від 5,4 до 7,2 ГГц. Такі передавачі оснащуються двома антенами, розташованими в вертикальному і горизонтальному напрямку. Використовуючи прийом відбитих сигналів алгоритм формує тривимірні скелетообразние моделі.
При навчанні штучного інтелектувикористовувалися кілька наборів даних (датасета), що дозволяють за радіосигналами створювати певні моделі, використовувався і відкритий датасета розпізнавання дій PKU-MMD.
При тестуванні версії використовуєрадіохвильові сканери розробники досягли точності в зоні прямої видимості рівня 87,8%, що можна порівняти з роботою відеоспостереження при нормальному освітленні. При цьому радіо сканер показав більш високу достовірність, ніж відеоспостереження при поганому освітленні. Тим часом при спостереженні за допомогою сканера через стіну точність дещо знизилася і склала 83%.
Така система спостереження може бути ефективновикористана в системах управління розумним будинком, де деякі власники не бажають встановлювати відеокамери з міркування збереження особистого простору.