浙大相芯联合实验室两篇论文入选SIGGRAPH Asia 2019

第十二届亚洲计算机图形学与交互技术交流大会在澳大利亚布里斯班会议展览中心拉开帷幕。由国际图形与互动技术组织(ACM SIGGRAPH)主办的SIGGRAPH Asia图形和互动技术展览及会议是世界上影响最广、规模最大,同时也是最权威的一个集科学、艺术、商业于一身的CG及互动技术展览及会议。据悉,今年SIGGRAPH Asia的论文入选名单已经公布,其中,来自“浙江大学—相芯科技智能图形计算联合实验室”的两篇论文入选,论文内容涵盖基于视频的3D动态头发建模、对未知几何与材质进行高效高质量扫描等一系列最新研究成果。

人工智能和计算机图形学的融合与创新,是相芯科技一直努力的方向。2018年7月,相芯科技与浙江大学成立了联合实验室,双方在智能图形计算方向开展了深入合作,深耕于智能图形技术创新。从2018年开始,浙大相芯联合实验室每年都有论文入选SIGGRAPH Asia。

此次SIGGRAPH Asia 2019,浙大相芯联合实验室入选两篇论文分别为《Dynamic Hair Modeling from Monocular Videos using Deep Neural Networks》(基于深度神经网络的单目视频动态头发建模)和《Learning Efficient Illumination Multiplexing for Joint Capture of Reflectance and Shape》(基于深度学习的高效、高精度三维物体扫描)两项新技术亮相SIGGRAPH Asia 大会,突破了数据驱动的全自动高质量发型建模和智能采集装置扫描复杂三维物体建模两大难题,推动了相关研究领域的发展。

(动态头发模型与输入的视频帧)

过去,动态头发重建的挑战主要来自头发运动和几何形状的高度复杂性。当前最新技术要求在受控环境中使用多个摄像头和灯光阵列。复杂的硬件设置(21个GoPro摄像机和6个LED阵列)将建模过程限制于专业用户。在《Dynamic Hair Modeling from Monocular Videos using Deep Neural Networks》这篇论文中,浙大相芯联合实验室引入了一种基于深度学习的全新框架,用于对单眼视频中的动态头发进行建模。该视频不需要通过专业的相机来采集数据,可以由商用摄像机捕获或从网络上下载。通过这项技术生成的动态头发模型和输入的视频极为相似。

这项技术,使得普通用户也能完成动态头发视频的采集,创作自己的动态发型在社交媒体使用。硬件成本的降低和高逼真的动态效果,使得数字化动态形象在电影、广告、社交媒体拥有更加广泛的应用空间。

(使用浙大相芯联合实验室自主研发的智能采集装置扫描复杂三维物体的结果)

同时对未知几何与材质进行高效高质量扫描重建有很高的挑战性,是计算机图形学和视觉领域的一大公认难题。《Learning Efficient Illumination Multiplexing for Joint Capture of Reflectance and Shape》这篇论文提出了一种高效高精度几何与材质联合采集框架,能对整个软硬件系统进行端到端联合优化。

通过浙大相芯联合实验室的这项图形学绘制技术,可高效的从真实世界中获取复杂三维物体的数字化模型和高质量的材质,甚至还可以还原出物体在任何视角和光照条件下的高真实感外观。在例如文物数字化保护、电子商务展示、电影视觉特效和电子游戏等领域中将有着广泛的应用前景。

这两篇论文将为智能图形技术领域带来实际应用价值。基于视频的3D动态头发建模、对未知几何与材质进行高效高质量扫描两项技术突破了计算机图形学的技术瓶颈,所覆盖到的行业将会得到效率和效果的改变,并且可以有效降低制作成本。

在智能图形技术与各行各业相互融合、相互渗透的背景下,依托雄厚研发实力,相芯科技与浙江大学还将继续深耕于智能图形技术创新,为消费级应用提供内容创作工具、平台和解决方案,为更多领域提供3D内容生成与互动的行业解决方案。