通过手势引导的2-D显示设备上的形状的视觉呈现

NIT Kurukshetra，IIT Roorkee和IIT Bhubaneswar的研究人员开发了一种新的基于Leap Motion控制器的方法，可以改善显示设备上二维和三维形状的渲染。在arXiv上发表的一篇论文中概述的这种新方法跟踪手指运动，同时用户在传感器视野内执行自然手势。

近年来，研究人员一直在尝试设计创新的非接触式用户界面。这样的接口可以允许用户即使在他们的手脏或不导电时也与电子设备交互，同时还帮助人们部分身体残疾。低成本传感器的出现增强了探索这些可能性的研究，例如Leap Motion，Kinect和RealSense器件所使用的传感器。

“我们希望开发一种能够为学习粘土艺术的学生提供引人入胜的教学体验的技术，甚至是学习基本字母的孩子，”进行这项研究的研究人员Debi Prosad Dogra博士告诉TechXplore。“了解儿童从视觉刺激中学习得更好的事实，我们利用着名的手部动作捕捉设备来提供这种体验。我们想设计一个框架，可以识别教师的手势并在屏幕上呈现视觉效果。设置可以是用于需要手势引导的视觉渲染的应用程序。“

Dogra博士及其同事提出的框架有两个不同的部分。在第一部分中，用户从Leap Motion设备的视野内可用的36种类型的手势中执行自然手势。

“传感器内的两个红外摄像机可以记录手势序列，”Dogra博士说。“提议的机器学习模块可以预测手势类，渲染单元在屏幕上呈现相应的形状。”

分析用户的手部轨迹以提取3-D中的扩展Npen ++特征。表示用户在手势期间的手指运动的这些特征被馈送到用于训练的单向从左到右的隐马尔可夫模型(HMM)。然后，系统在手势和形状之间执行一对一的映射。最后，使用MuPad界面在显示器上呈现与这些手势对应的形状。

“从开发人员的角度来看，拟议的框架是一个典型的开放式框架，”Dogra博士解释说。“为了增加更多的手势，开发人员只需要从一些志愿者那里收集手势序列数据，并为新课程重新训练机器学习(ML)模型。这个ML模型可以学习一个广义的表示。”

作为他们研究的一部分，研究人员创建了一个由10名志愿者记录的5400个样本的数据集。他们的数据集包含18种几何形状和18种非几何形状，包括圆形，矩形，花形，圆锥形，球形等等。

“特征选择是典型机器学习应用的重要部分之一，”Dogra博士说。“在我们的工作中，我们已经扩展了3-D中现​​有的2-D Npen ++功能。已经证明扩展功能可以显着提高性能.3-D Npen ++功能也可以用于其他类型的信号，例如正文 - 检测，活动识别等。“

Dogra博士及其同事用五重交叉验证评估了他们的方法，发现它的准确率达到了92.87%。它们扩展的3-D特征优于现有的3-D特征，用于形状表示和分类。将来，研究人员设计的方法可以帮助开发智能显示设备的有用的人机交互(HCI)应用程序。

“我们的手势识别方法非常普遍，”Dogra博士补充道。“我们将这项技术视为聋人和残疾人沟通的工具。我们现在希望利用该系统来理解手势并将其转换成书面形式或形状，以协助人们进行日常生活对话。随着先进的机器学习的出现像递归神经网络(RNN)和长期短期记忆(LSTM)这样的模型，时间信号分类也有很多范围。“