StorySign应用程序将儿童书籍中的文本转换为手语

2019-06-05 17:55:18 编辑：来源：

导读华为AI的一个研究人员和工程师团队提出了一种独特的方式来帮助聋儿学习阅读手语 - 通过使用AI和增强现实来解读印刷书籍。他们还有一种方

华为AI的一个研究人员和工程师团队提出了一种独特的方式来帮助聋儿学习阅读手语 - 通过使用AI和增强现实来解读印刷书籍。他们还有一种方法可以帮助聋儿在阅读中获得乐趣。

该应用程序的想法是对许多父母在试图向他们的聋哑孩子读书时感到沮丧的回应 - 在大多数此类情况下，听力家长试图将他们的聋儿包括在一项自动通过的活动中对于没有听力障碍的人。为了解决这个问题，华为的研究人员发现了使用人工智能帮助孩子读书的想法。AI / AR系统嵌入在名为StorySign的应用程序中，可以在手机或平板电脑上运行 - 父母或孩子将手机放在页面上，并在文本旁边叠加化身并通过签名解释单词。

随着故事的进展，应用程序突出显示正在签名的单词，帮助孩子理解单词与用于表示它们的符号相关联。研究人员报告称，他们还开展了大量工作来开发儿童可能涉及的化身。他们与Aardman Animations合作创建了一个名为Star的化身，它不仅仅展示手势 - 还使用身体和面部表情来传达情感，帮助孩子更好地理解书中材料的背景特性。有一点需要注意的是，该应用程序仅适用于某些儿童书籍，全部由Penguin Random House出版。

该应用程序是在欧洲聋人联盟和英国聋人协会的支持下开发的。它是免费的，适用于10个欧洲国家的10种语言的Android和Apple产品。开发人员说，如果该应用程序受到欢迎，它将在更多地区和更多语言中提供。

标签：应用程序