CISL研究人员展示了AI辅助的普通话汉语学习辅助工具

IBM Research和Rensselaer Polytechnic Institute(RPI)正在合作开发一种新方法来帮助学生学习普通话。该策略将AI驱动的助手与沉浸式教室环境(以前从未用于语言教学)配对。这个名为“认知沉浸式房间”(CIR)的教室使学生感觉就像在的饭店，花园还是太极拳课上，他们可以在这里与AI聊天代理练习讲普通话。CIR由认知与沉浸系统实验室(CISL)开发，CISL是IBM Research与RPI之间的研究合作。

当学习一种新的语言时，尤其是与普通话一样难的一种语言时，重要的是，学生有很多机会讲和练习他们的会话技巧。通过文化浸入自然地习得一种新语言可能比非浸入式实践更有效。然而，大多数新的普通话学习者无法进行体验式学习。这就是我们开发CIR的原因。

沉浸式游戏化教室环境

CIR汇集了几种最先进的技术，例如语音转文本，自然语言理解和计算机视觉，可实现沉浸式和自然的多模式对话。该会议室包括一个360度全景显示系统，一个音频系统，多个摄像头，多个Kinect设备和多个麦克风，以及支持AI技术的计算机系统，其中一些位于会议室中，而其他位于云中。

我们的目标是将认知，沉浸式技术与游戏玩法元素相结合，使学生能够体验文化环境，练习日常任务并获得智能代理的帮助。通过“ 普通话项目”，我们在CIR中使用IBM Watson作为对话代理，以在学生学习语言时吸引他们。我们的方法涉及针对英文和中文的IBM Watson语音识别和自然语言理解技术。

通过沉浸式学习外语的最大障碍之一是学生担心会被母语使用者判断。但是，在CIR中，学生可以与虚拟对话伙伴一起练习词汇和发音，而无需承受真实环境的压力。

许多语言学习研究人员正在使用虚拟现实或增强现实技术，但是我们正在研究人类规模的，身临其境的游戏环境，在这种环境下，学生无需穿戴特殊的设备即可四处走动。这反映了人机交互的广泛趋势，因为我们在日常生活中对信息的参与变得更加身临其境，而我们与智能机器的交互也朝着伙伴关系转变。

我们的系统于2017年秋末在RPI校园的中文1课中进行了测试。今年秋天，我们将继续使用AI作为中文1、2和3课的教学工具，目的是提供合并中文的新课。 2019年夏季为1-3。

作为IBM AI Horizo​​ns Network的一部分，CISL创建并使用了以下技术：上下文感知系统，音调轮廓分析，人与AI代理之间自然语言对话中的中英文语言切换，多用户多模式交互，决策过程中的推理和计划以及自动生成叙事，可视化和声音化的多模式故事讲述。

CIR是CISL中的四个用例之一。该实验室还致力于增强团体情报，以在董事会等现实环境中进行关键决策。将来，这些新的认知和沉浸式系统可能会从根本上改变人们的生活和工作方式。CIR的早期原型还为用户交互研究提供了机会，使我们能够发现并应对语言学习中的新挑战。