Мультимодальна система безконтактної автоматизації середовища на базі компʼютерного зору та мікроконтролерної периферії

Abstract

У роботі представлено систему безконтактної автоматизації середовища, що поєднує технології комп’ютерного зору та мікроконтролерної периферії. Система реалізує розпізнавання жестів користувача на основі аналізу 21 ключової точки кисті з використанням фреймворку MediaPipe та забезпечує безконтактне керування виконавчими пристроями через платформу Arduino. Система орієнтована на створення безбар’єрного середовища та підвищення рівня гігієни в медичних установах, із перспективою подальшого розвитку на основі методів машинного навчання. Розвиток сучасних технологій характеризується поступовою відмовою від традиційних контактних пристроїв на користь безконтактних методів взаємодії. В умовах цифровізації традиційні пристрої керування, такі як кнопки та сенсори, є критичними зонами бактеріального забруднення. Паралельно з цим постає питання інклюзивності цифрового середовища для осіб із порушеннями моторики.