用NanoBanana让敦煌壁画动起来我找到了AI的新意义
最近网络上 nanobanana 的各种玩法还在层出不穷的出现,只能说面对一个可塑性极强的大模型,网友的想象力就是无穷无尽的!
最近看到两位虚实老师的文章,启发特别大,分别是落小山和阿颖
落小山老师的文章:
我用AI复活了敦煌壁画里的人,也找到了AI创作的秘密。
落小山老师文章主要说如何利用 AI 技术修复残破的敦煌壁画,这个出发点特别好,对于文物保护有着非常大的指导意义。
AI产品阿颖老师的文章:
用 Nano Banana 做爆款视频的终极攻略。
而阿颖老师则是利用 AI 把著名绘画作品具象化,具体来说就是让纸片上的人物动起来,还保持了非常高的原作一致性。
受这两位老师的启发,我决定做一个关于敦煌壁画的尝试,首先利用 Nano Banana 大模型进行壁画画质的修复以及视频分镜的处理,然后再利用 AI 视频大模型,无论是首尾帧还是单纯的图生视频,让敦煌壁画动起来,这样似乎更能让我们领略千年前古代先人们的高超技艺!
先来看一个我做的小视频,利用 nanobanana 超强的一致性能力,生成相同画风的不同图片,然后再利用 AI 视频大模型生成视频,还是很丝滑的。
下面就跟着萝卜哥来看看实操的过程吧~
我这里使用的都是 Google Gemini,如果你有 Pro 会员,那么可以无限制使用 Nano Banana 大模型,如果是免费用户,那么一天只能用三次好像,超过了就用 Google 的 AI Studio 吧,那个平台是免费的,还有很多其他可以使用的平台,大家可以阅读这篇文章自行选择哈
90%的人不知道,那些可以稳定使用 Nano Banana 的地方,最后一个完全免费!
我们打开 Gemini 网站,上传一张敦煌壁画图片,可以选择从网络上下载,也可以去敦煌官方网站找
https://www.dha.ac.cn/whzy/whzt/yddh/dhsk/mgk.htm
最开始我给的提示词很简单,然后效果就是这样的,这也说明再牛逼的大模型,也需要我们给与足够的说明文字(Prompt),否则得到的结果也不会太好。
于是我改变策略,让大模型先整体全面的分析图片,然后再选择最佳的修复方式,这次从分析信息中看着还挺靠谱的,结果给出的图片还是多了一个头。。。
帮我修复这张敦煌壁画,先分析整幅壁画的信息,然后再采用最适合的方式修复
没办法,我继续尝试给出明确标识,在人物头部花了一个红框,然后明确告诉大模型只有这个地方有头部
这次 nanobanana 比较好的理解了我和整体图片的意图,并且给出了很不错的初步修复图片
现在的问题是修复后的色彩不够浓烈,可以继续让大模型填充
最后生成的是下面这张图片,我还是挺满意的,虽然说脸部也莫名的颜色比较深,但是整体感觉已经出来了。
接下来我们就可以根据这张修复好的图片,生成一系列图片
正坐图片
侧立图片
变换背景
站在指定事物下
接下来就是更加有趣的事情了,我们利用即梦的智能多帧功能,把生成的图片串联起来
这样一个完整丝滑的视频就完成啦
下面我们再来看几个前后修复的例子
修复前
修复后


还有下面这幅壁画,破损比较严重
我通过 Gemini 修复了很多轮,最后的效果也只是这样,背景还是有些失真的。
修复前
修复后


修复前
修复后


修复前
修复后


萝卜哥在这方面不是专业的,只能通过自己的一点理解来尝试着修复这些经典画作,下面我们还是把这些修复后的图片连接成视频
然后再制作视频的时候,我发现有些图片是竖屏的,当我想要统一拓展成横屏的时候,直接使用 Gemini 就不太好用,而这个时候更加专业的 Agent 工具的优势就显现了。
比如 lovart,它在处理图片拓展方面,表现要比原生的 Nano Banana 大模型好很多。
版权声明:
作者:小火箭shadowrocket
链接:https://www.shadowrocket888.top/214.html
来源:小火箭官网
文章版权归作者所有,未经允许请勿转载。


共有 0 条评论