Nvidia探索了如何训练模型来绘制新世界

这是一个你可以思考的单词串：AI交互式图形。Nvidia是主要行为。GPU brainiacs完全支持图形行业的下一章“AI”。当您根据视频素材将神经网络系统带入虚拟世界的桌面时，会发生令人敬畏的事情。

创建逼真的数字场景通常需要很多(和很多)耐心。“现在我们可以将工作卸载到人工智能算法上，”威尔奈特在麻省理工学院技术评论中看到Nvidia正在研究的内容时说道。

Nvidia正在宣布它所说的第一个交互式AI呈现虚拟世界，并将其称为“AI突破”。研究小组由负责深度学习的副总裁Bryan Catanzaro领导。“我们实际上正在教授模型如何基于真实视频进行绘制，”他在麻省理工学院技术评论中说。

研究科学家王廷春表示，这些框架是由人工智能技术提供的。换句话说，该团队已经训练了一个神经网络，在对现有视频进行训练后渲染3D环境。

突破从某人的问题开始。在Nvidia，假设问题是，如果我们能够根据现实世界的视频训练AI模型来绘制新世界怎么办?因此，它现在已经完成了显示这种图像生成的技术。

目标用户是开发人员和艺术家。他们的想法是为汽车，游戏或虚拟现实创建交互式3D虚拟世界。

选择城市环境视频来训练神经网络。

“我们得到了不同城市的驾驶序列，”王廷春说。然后他们使用另一个分段网络，从那些序列中提取高级语义。

UE4引擎帮助生成彩色布局 - 不同的对象被赋予不同的颜色。网络又将表示转换为图像。

[UE4指虚幻引擎4 的边缘将其描述为“用于标题例如Fortnite，PUBG，战争机器4，和许多其他流行的引擎”。虚幻引擎4网站称它是“ 由游戏开发者为游戏开发者制作的一整套游戏开发工具。”]

Nvidia在加拿大蒙特利尔的NeurIPS会议上展示了它的进展，该会议专注于人工智能研究。

是的，但是，除了gee-whiz因素之外，重点是什么?内容创建很昂贵，这种AI路线可以节省资金并节省时间。新的Atlas观察到“为了让虚拟世界更加身临其境，艺术家需要用建筑物，岩石，树木和其他物体填充它们。快速创建和放置所有这些虚拟物体会增加相当高的开发时间和成本。 “

对于游戏开发或其他应用程序，Nvidia探索了一种方法，允许开发人员通过使用从现实世界中学习的AI来以较低的成本创建。新闻稿指出，由于输出是综合生成的，“可以轻松编辑场景以删除，修改或添加对象。”

The Verge的James Vincent向读者介绍了Nvidia的研究成果：

“问题是，如果深度学习算法以每秒25帧的速度为世界生成图形，它们如何保持对象看起来一样?Catanzaro说这个问题意味着系统的初始结果是'痛苦的'看看“颜色和纹理”每一帧都会改变。该团队为系统提供了短期记忆，因此它可以将新框架与以前的框架进行比较。因此，它可以创建与屏幕上的内容一致的新框架。

Nvidia新闻稿称“这项研究处于早期阶段”。