把现实世界的物体粘贴到数字世界:AR Copy Paste

888
最后编辑于 2020年07月02日 科技

目前增强现实AR(Augmented Reality)的应用,还都集中在往现实世界搬运数字内容,比如像Pokemon GO那样在视频中添加一个小宠物,或者为视频中的物体增加文字或图片说明等等。

但总有奇奇怪怪的人,他们的想法与众不同。法国的两位创意十足的程序员,Cyril Diagne 和 Jonathan Blanchet,就开发了一个AR + ML原型,允许从周围环境中剪切元素并将其粘贴到图像编辑软件Photoshop当中。虽然目前该产品还是个原型产品,有很多性能问题,不怎么实用,但毕竟,把现实世界中的物体"取下来",放到数字世界中,是一种崭新的玩法。

1024.com
1024.com
Image credit: Cyril Diagne

技术上,Cyril Diagne使用了机器学习BASNet来自动识别并切割出现实世界中的物体,实现复制功能。另外,使用OpenCV SIFT的技术,检测手机镜头对准的将要粘贴的Photoshop页面中的位置,并同步复制的物体,实现粘贴功能。

Cyril Diagne把这个拷贝粘贴的代码开源到了GitHub上面,供大家使用和研究。也许不久,就可以往Sketch、Word、PPT、甚至在线文档中粘贴你家的小猫小狗了。

视频演示:
AR Copy Paste

AR Copy Paste的网站:
https://arcopypaste.app/

AR Copy Paste的开源代码:
https://github.com/cyrildiagne/ar-cutpaste

登录注册后才能评论。