斯坦福学生公布了按照音乐节奏播放视频、让视频随音乐跳舞的VisBeat源代码

最后编辑于 2018年12月13日 开发

这个世界上牛人太多了,不服不行。

刚看到Abe Davis发布在他网站上的演示视频的时候,我震惊了。这不是抖音,这是抖频。

1024.com介绍过给音乐配视频的应用Coub,俄罗斯的视频共享网站Coub

1024.com还介绍过给视频配音乐的抖音和Dubsmash,Dubsmash是音乐短视频应用的开创者

本来以为音乐和视频的搭配玩法就这样了,不会再有什么新鲜的了,可是,VisBeat出现了。

VisBeat的核心是给视频提出了一个视觉节奏的概念(monkey的理解就是视频帧的播放节奏)。通过使视频的视觉节奏与音乐节奏对齐,也就是说将视频的播放节奏扭曲成音乐的播放节奏,以音乐带动视频,视频快慢取决于音乐。这样的视频播放,会产生各种慢动作和快动作,看起来像是在跳舞。

这既不是给音乐配视频,也不是给视频配音乐,而是音乐操控了视频。这是一种新的玩法。

VisBeat是用Python开发的,不过估计很快就有模仿VisBeat的App出来。呵呵。

VisBeat的开发者,是来自斯坦福大学的博士后Abe Davis和教授Maneesh Agrawala,这是两个牛人。

VisBeat的程序演示Demo,点击中间蓝色按钮可以选择舞蹈视频或音乐,然后点"Press To Remix"可以播放合成的Remix:
abedavis.com/visualbeat/demo

VisBeat在Github的Python开源代码:
github.com/abedavis/visbeat

Abe Davis在Youtube上对VisBeat的介绍:
Visual Rhythm and Beat

Abe Davis和Maneesh Agrawala的关于VisBeat的研究论文:
www.abedavis.com/files/papers/VisualRhythm_Davis18.pdf

登录注册后才能评论。