计算机科学家开发了一种系统来合成计算机动画的逼真声音

计算机生成图像的进步为生活带来了生动逼真的动画，但是与我们在屏幕上模拟的内容(例如两个物体碰撞)相关的声音通常是录音。现在，斯坦福大学的研究人员开发出一种系统，可以自动为各种动画现象提供准确的声音。

“计算能够为人类模拟现实是一个圣杯。我们可以使用物理和计算机图形为场景制作动画并进行视觉渲染，但是，对于声音，它们通常都会被制作出来，”Doug James教授说道。斯坦福大学的计算机科学。“目前没有办法为复杂的动画内容生成逼真的同步声音，例如自动溅水或撞击物体。这就填补了这个空白。”

研究人员将作为ACM SIGGRAPH 2018的一部分介绍他们在这个声音合成系统上的工作，这是计算机图形学和交互技术的领先会议。研究人员说，除了活跃电影和虚拟现实世界外，该系统还可以帮助工程公司在物理生产之前对产品的声音进行原型设计，并希望鼓励设计更安静，更少刺激。

詹姆斯实验室和计算与数学工程研究所(ICME)的研究生 Jui-Hsien Wang表示：“我花了数年时间试图解决偏微分方程 - 它控制声音的传播方式。” 该论文的第一作者。“这实际上是一个你不仅可以解决这个问题的地方，但是一旦你完成它就可以听到它。这对我来说非常令人兴奋，而且很有趣。”

通过几何和物理运动，系统可以计算出每个物体的振动，以及如何像扬声器那样激发声波。它计算由快速移动和振动的表面抛出的压力波，但不会复制室内声学。因此，虽然它不能在宏伟的大教堂中重现回声，但它可以解决诸如撞击钹，颠倒的碗旋转到停止，玻璃填满水或虚拟人物用扩音器说话等场景中的详细声音。

与动画相关的大多数声音依赖于预先录制的剪辑，这需要大量的手动操作来与屏幕上的动作同步。这些片段也受限于存在的噪音 - 它们无法预测任何新的东西。产生和预测声音的其他系统与詹姆斯及其团队的声音一样准确，仅在特殊情况下工作，或者假设几何体不会变形很多。对于每个单独的对象，它们还需要很长的预计算阶段。

“我们基本上只是一个渲染按钮，具有最少的预处理功能，可以在一个声波模拟中将所有物体放在一起，”詹姆斯实验室的研究生，该论文的共同作者Ante Qu说。

由此方法产生的模拟声音非常详细。它考虑了动画中每个物体产生的声波，但也根据它们与场景中其他物体和声波的相互作用来预测这些波的弯曲，反弹或减弱情况。

未来的挑战

在目前的形式中，该集团的流程需要一段时间来创建成品。但是，现在他们已经证明了这种技术的潜力，他们可以专注于性能优化，例如在并行GPU硬件上实现他们的方法，这应该会大大加快。

而且，即使在目前的状态下，结果也值得等待。

“我们用系统生成的第一个水声是我们模拟过的最好的水声之一 - 水是计算机产生的声音中的巨大挑战，”詹姆斯说。“我们认为我们可能会有所改善，但它比以前的方法要好得多，甚至开箱即用。这真的很引人注目。”

尽管该乐队的作品忠实地呈现各种物体的旋转，摔倒和撞击声，但更复杂的物体和相互作用 - 如斯特拉迪瓦里小提琴的回响音 - 仍然难以实际模拟。该组织表示，将不得不等待未来的解决方案。