Home 创客 3-Sweep,那些从清华走出来的那些不为人知的黑科技
3-Sweep,那些从清华走出来的那些不为人知的黑科技

3-Sweep,那些从清华走出来的那些不为人知的黑科技

0
2

3D-Object-Manipulation-in-a-Single-Photograph-using-Stock-3D-Models

之前本站(oszine.com)曾介绍过一款可以将照片中的二维图像编程三维动画的应用,相关研究成果在SIGGRAPH 2014得到展示,这款软件主要利用网上存储的大量3D模型与照片中的特定物体进行匹配以将其转换成3D数据,并对其进行移动、缩放、旋转等3D建模软件中实现的操作。

3D-Object-Manipulation-in-a-Single-Photograph-using-Stock-3D-Models2

3D-Object-Manipulation-in-a-Single-Photograph-using-Stock-3D-Models3

如同在上面图片看到的一样,这款软件可以非常自然地将汽车移动翻滚,让一个沙发随意移动拜访,让纸飞机晃动翅膀飞走。就像下面即将介绍的这项技术一样,研究员期望通过简易直观的图形化软件让非3D建模达人也能非常方便的操作,更为重要的是,那些花费大量时间用Solidworks、Rhino、3Ds Max建模软件的专业人士在这类工具的帮助下省去巨大的工作量。

3sweep3

这里重点介绍的技术,3-Sweep,是由来自山东烟台的陈韬在内的清华大学和以色列特拉维夫大学组成的研究小组开发完成,早在SIGGRAPH 2013就得到展示,且不需要完善的3D模型库即可实现。

由于很多人造物体是由直线和圆滑的曲线组成,在模型建造中这可以看成有线和面挤出而成。比如杯子就是一个由圆环挤出的圆柱体,上面的把手则是椭圆由一条弯曲的线挤出而成。一旦这些物体的外形通过这种方式定以后,然后将原始的纹理投影到模型表面即可形成相当复杂的模型外观。当然就像最初提到的一样,这项技术的初衷并不是为了将所有物体进行3D模型化处理,而是把建造一些特定物体的模型变得十分容易简单。在一些非规则物体上则有些捉襟见肘,比如一个牙膏,开始为圆柱体,到结尾则成了一个一条线,其它诸如用鱼眼等畸变严重的镜头拍摄的图像也是无法实现,此外还有物体的隐藏部分。

3sweep4

当把这项技术专注应用在家具环境中,确实得心应手,从灯具到水龙头,从蜡烛架到望远镜,都可以实现随意编辑,甚至设定文理。

3-Sweep,那些从清华走出来的那些不为人知的黑科技

看似简单的事情,技术实现确实非常复杂,熟悉Photoshop的朋友应该清楚,如何把一个特定物体从场景中截取出来,并提供一个干净的背景既耗时又耗力,没有几个小时的处理很难完成。对于3-Sweep其技术难点不止于此,如何从图片中提取文理,建造模型,将文理投影在模型上,在只有一张照片的情况下,难度可想而知。

当然,作为本文的主人公,其成就还不止于此,早在2009年的SIGGRAPH Asia陈韬与几位同学一起演示了一款称为“auto-magic”的图像处理应用,你只需要画一个十分简单的草图和简单的文字描述,就可以自动生成一张真实的图片。

3-Sweep,那些从清华走出来的那些不为人知的黑科技

最左侧为手绘示意图,其次为最终生成的效果图,右侧分别是效果图中的不同元素的取材。手残如小编一样的学渣也深深地感受到了希望……

同样,将网络上的图像数据库根据人物姿态、动作、性别进行分类,然后再来把手绘的魔术……

精彩还在继续,不单单满足于静态图像,还要有动态视频!把飞驰的游艇移到夕阳下,为主持人前面增加一个旋转的陀螺…

毕业于清华的陈韬现已在美国哥伦比亚数字视频和多媒体(DVMM)实验室攻读博士后,在视频图像处理领域继续深入钻研。正是有了众多默默钻研的科学家们,诸如Hololens这类大家眼中的黑科技才会成为现实进入大众的生活当中,陈韬也只是众多科学家中冰山一角,我们期望能发现更多这样的大咖,让黑科技背后的技术离我们走得更近一些!

发邮件hi@oszine.com请向我们介绍各个领域的那些黑科技吧。

plantpark 不会跑步的码农不是好编辑