用NanoBanana让敦煌壁画动起来我找到了AI的新意义

最近网络上 nanobanana 的各种玩法还在层出不穷的出现,只能说面对一个可塑性极强的大模型,网友的想象力就是无穷无尽的!

最近看到两位虚实老师的文章,启发特别大,分别是落小山和阿颖

落小山老师的文章:

我用AI复活了敦煌壁画里的人,也找到了AI创作的秘密。

落小山老师文章主要说如何利用 AI 技术修复残破的敦煌壁画,这个出发点特别好,对于文物保护有着非常大的指导意义。

AI产品阿颖老师的文章:

用 Nano Banana 做爆款视频的终极攻略。

而阿颖老师则是利用 AI 把著名绘画作品具象化,具体来说就是让纸片上的人物动起来,还保持了非常高的原作一致性。

受这两位老师的启发,我决定做一个关于敦煌壁画的尝试,首先利用 Nano Banana 大模型进行壁画画质的修复以及视频分镜的处理,然后再利用 AI 视频大模型,无论是首尾帧还是单纯的图生视频,让敦煌壁画动起来,这样似乎更能让我们领略千年前古代先人们的高超技艺!

先来看一个我做的小视频,利用 nanobanana 超强的一致性能力,生成相同画风的不同图片,然后再利用 AI 视频大模型生成视频,还是很丝滑的。

下面就跟着萝卜哥来看看实操的过程吧~

我这里使用的都是 Google Gemini,如果你有 Pro 会员,那么可以无限制使用 Nano Banana 大模型,如果是免费用户,那么一天只能用三次好像,超过了就用 Google 的 AI Studio 吧,那个平台是免费的,还有很多其他可以使用的平台,大家可以阅读这篇文章自行选择哈

90%的人不知道,那些可以稳定使用 Nano Banana 的地方,最后一个完全免费!

我们打开 Gemini 网站,上传一张敦煌壁画图片,可以选择从网络上下载,也可以去敦煌官方网站找

https://www.dha.ac.cn/whzy/whzt/yddh/dhsk/mgk.htm

最开始我给的提示词很简单,然后效果就是这样的,这也说明再牛逼的大模型,也需要我们给与足够的说明文字(Prompt),否则得到的结果也不会太好。

小火箭

于是我改变策略,让大模型先整体全面的分析图片,然后再选择最佳的修复方式,这次从分析信息中看着还挺靠谱的,结果给出的图片还是多了一个头。。。

帮我修复这张敦煌壁画,先分析整幅壁画的信息,然后再采用最适合的方式修复

小火箭

没办法,我继续尝试给出明确标识,在人物头部花了一个红框,然后明确告诉大模型只有这个地方有头部

小火箭

这次 nanobanana 比较好的理解了我和整体图片的意图,并且给出了很不错的初步修复图片

小火箭

现在的问题是修复后的色彩不够浓烈,可以继续让大模型填充

小火箭

最后生成的是下面这张图片,我还是挺满意的,虽然说脸部也莫名的颜色比较深,但是整体感觉已经出来了。

小火箭

接下来我们就可以根据这张修复好的图片,生成一系列图片

正坐图片

小火箭

侧立图片

小火箭

变换背景

小火箭

站在指定事物下

小火箭

接下来就是更加有趣的事情了,我们利用即梦的智能多帧功能,把生成的图片串联起来

小火箭

小火箭

这样一个完整丝滑的视频就完成啦

下面我们再来看几个前后修复的例子

修复前

修复后

小火箭

小火箭

还有下面这幅壁画,破损比较严重

小火箭

我通过 Gemini 修复了很多轮,最后的效果也只是这样,背景还是有些失真的。

小火箭

修复前

修复后

小火箭

小火箭

修复前

修复后

小火箭

小火箭

修复前

修复后

小火箭

小火箭

萝卜哥在这方面不是专业的,只能通过自己的一点理解来尝试着修复这些经典画作,下面我们还是把这些修复后的图片连接成视频

然后再制作视频的时候,我发现有些图片是竖屏的,当我想要统一拓展成横屏的时候,直接使用 Gemini 就不太好用,而这个时候更加专业的 Agent 工具的优势就显现了。

比如 lovart,它在处理图片拓展方面,表现要比原生的 Nano Banana 大模型好很多。

版权声明:
作者:小火箭shadowrocket
链接:https://www.shadowrocket888.top/214.html
来源:小火箭官网
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>