英伟达新型AI模型将静态图像变为3D模型 可用于训练自动驾驶汽车

   2022-06-24 盖世汽车资讯0
核心提示:盖世汽车讯 英伟达又为浅层图形增加了深度。在将2D图像转换为3D场景、模型和视频之后,该公司将重点转向了编辑。据外媒报道,当地时间6月22日,该家GPU巨头公布了一种新型AI方法,能够将静态图片转变成创造者可以轻松修改的3D物体。英伟达的研

盖世汽车讯 英伟达又为浅层图形增加了深度。在将2D图像转换为3D场景、模型和视频之后,该公司将重点转向了编辑。据外媒报道,当地时间6月22日,该家GPU巨头公布了一种新型AI方法,能够将静态图片转变成创造者可以轻松修改的3D物体。英伟达的研究人员研发了一种反向渲染产品——英伟达3D MoMa,能够让用户将一系列静态照片重建成有关一个物体甚至一个场景的3D计算机模型。与更为传统的摄影制图法相比,该工作流程的主要益处在于其能够输出干净的3D模型,还能够通过3D游戏和视觉引擎导入和输出。

英伟达新型AI模型将静态图像变为3D模型 可用于训练自动驾驶汽车

英伟达新型AI模型(图片来源:英伟达)

据报道,其他摄影制图程序能够将3D图像转变为3D模型,而英伟达的3D MoMa技术则更进一步,通过创建物体的网格、材料和照明信息,并将其输出为与现有3D图形和建模工具可兼容的格式,而且都能够在较短的时间内完成。英伟达表示,3D MoMa能够在一个小时内,采用单个的英伟达Tensor Core GPU生成三角网格模型。

英伟达的技术可帮助训练机器人和自动驾驶汽车,或者用于更轻松地为游戏和动画创造3D场景。

英伟达图形研究副总裁David Luebke表示:“通过将反向渲染问题的每一个部分当作GPU加速可微组件来打造,英伟达3D MoMa渲染工具采用现代AI机器以及英伟达GPU的原始计算能力来快速生成3D物体,而且创作者可以在现有的工具中不受限制地对输入、编辑和扩展该3D物体。”

英伟达表示,该项技术是首批将超快神经网络训练和快速渲染结合的模型之一。英伟达此前在博客中提到,即时NeRF 可以在几秒钟内学习一个高分辨率的3D场景,还能够在几毫秒内渲染该场景的图像。而3D MoMa则比NeRF还要快上1000多倍。

NeRF是什么?

据英伟达所说,NeRF采用神经网络基于2D图像来表现和渲染3D场景。收集数据输入到NeRF有点像一个红毯摄影师试图从各个角度捕捉明星的穿着,该神经网络也需要从场景周围以及的多个镜头位置拍摄几十张照片。

在包含人或其他移动元素的场景中,此类镜头捕捉得越快,越好。如果在2D图像捕捉过程中有太多的移动过程,AI生成的3D场景就会很模糊。因此,NeRF基本就可以弥补这一点,其训练了一个小的神经网络,通过预测3D空间的任何一点向任意方向辐射的光的颜色来重建该场景。该技术甚至可以在遮挡物周围工作,即物体在某些图像中被柱子等障碍物遮挡时。

该技术可用于训练机器人和自动驾驶汽车,通过捕捉2D图像或视频片段,来了解真实世界物体的尺寸和形状。其还可用于建筑和娱乐,快速生成真实环节的数字化表现形式,而且创作者可以在此基础上修改和构建。除了NeRF外,英伟达的研究人员还在探索如何将此种输入编码技术用于加速多种AI应用,如强化学习、语言翻译以及通用深度学习算法。

《智能网联汽车产业分析月刊》

本文来源:盖世汽车资讯

 
标签: 自动驾驶
反对 0举报 0 评论 0
 

免责声明:本文仅代表作者个人观点,与爱美生活网(本网)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们留言联系,本网站将在规定时间内给予删除等相关处理.

点击排行