Chatgpt+DALL E 3实现输入一个关键词自动生成风格一致、故事连贯的多副画面。可用于短视频或绘本制作。


本文中的所提到的一键生成短视频工具,已经实现,欢迎大家查看这篇文章了解

https://www.digilifeform.com/88/

如需体验请联系微信(laozhangblockchain)

内容比较干,比较长,大家先点赞收藏了再看。文中涉及到的提示词,我都放在文章底部了。

全文高能,预计一时半会看不完,一边看一边还要实操的话更加如此。


Chatgpt+DALL E 3实现输入一个关键词自动生成风格一致、故事连贯的多副画面。可用于短视频或绘本制作。

我先问大家一个问题:

如果我们要做一个短视频或者其他需要故事剧情,画面一致,故事连贯的这种图文素材,我们要怎么做。

通常我们是不是这样:

1、用chatgpt 先根据网上找的生成短视频的脚本提示词,生成多个分镜头的脚本和字幕 ;

2、使用midjourney或stable diffusion工具,生成图片。

3、使用剪映等工具剪辑生成视频。

这里我们是不是遇到的困难是,多个画面如何保持里的人物角色等内容一致,并且能够充分表达脚本里描述的细节。我们会发现,要经过反复的垫图,调整提示词,调整参数才能逐步达到预期的效果。

很多时候也达不到效果,尤其是midjourney并不能淋漓尽致的按照自然语言去画图,都是需要反复调整给他的所谓咒语。所以这就是为什么知乎上那么多所谓的咒语整理多少多少的文章都比较高赞和收藏量。

现在今天这篇文章,就是利用dall-e 3的超强文字理解能力,集合我训练和尝试了n次才成功的提示词,自动根据一个关键词,就能生成上面说的多幅风格一致,故事连贯的画面。

我先放几组照片大家看看

第一组:我给的关键词是:猫和老鼠

输出的图片如下:

可以看出这一个沙发的颜色和房间背景变化还是很大,这是早期测试的图片,风格虽然整体一致,但是核心角色的颜色不同。但是剧情已经出来了。猫和老鼠发现了奶酪,老鼠要去吃,猫扑过来,老鼠跑回洞里,最后老鼠举白旗投降。

这一个沙发的颜色和房间背景变化还是很大,这是早期测试的图片

第二组,我给的主题关键词是:办公桌椅

生成的图片如下:

当然这些都是基于生成 脚本生成的,为了便于浏览体验,具体的脚本提示词放在文章尾部。

左边:创新的人体工学设计;右边:保护你的腰部
左边:"高效的办公空间;右边:办公的新定义

再来几组

大家发现没有,后面,尤其是以后最后一张,4副画面,两个主要角色:猫和老鼠,背景风格,都开始高度相似接近了。已经可以构成一个完整剧情的多幅画面。

最重要的是,这些基本上实现了自动化生成了。

兴不兴奋,意不意外。。。

本文涉及到的工具

gpt4 dall e 3 文字生成和画图功能

其实就是一个chatgpt的plus会员

就有了gpt4 和 dall e 3的功能。

目前chatgpt在测试把画图 文字 插件代码等融合起来 以后就不用切换了。暂时还需要两处切换。

(还没有GPT4账号的,可以加我laozhangblockchain (注明dalle)或私信我,共同交流探讨。)

这里说一下很多看官可能会想,我用这种方式难道比midjourney生成图片更好吗?其实逻辑在于,你如果用midjourney的话,你需要去结合chatgpt在不停的做手工的动作,要尝试更换各种可能的prompt提示,以及各种的垫图尝试。就是产生满意的一个作品的耗时是比较久的。

而我今天带给大家的是我已经基本跑通的,只需要输入一个关键词,就能够输出有创意的,符合dall e 3模型的分镜头脚本,并自动生成对应的多副风格一致,且故事保持连贯性的画面。

想想看这是不是很性感呢?

而且今天分享给大家在文章底部的提示词是通用的,换句话讲你输入一个产品名称 比如“千斤顶” 这种生冷的机械产品名,还是输入一个“猫和老鼠的故事”,他都支持。

(而且偷偷的告诉大家,我正在研究再一次提升智能程度,把这些多幅风格一致,故事连贯的照片自动剪辑生成短视频,并且匹配上跟这个脚本相应的背景音乐和转场特效。这些背景音乐都是原创,用ai来生成的。)

本文主要是分这几个部分

  1. 如何通过应该关键词或者任何一个主题、需求,产生有创意的故事说明,多个镜头的脚本,字幕,以及根据脚本的内容自动给一个适合的背景音乐标签。
  2. 如何根据故事说明生成一个参考图片
  3. 如果根据参考图片和每段脚本生成对应的画面

这里的难点是

保持多个生成的画面风格一致,并且按照脚本里的剧情连贯。

如何可以各种关键词、主题的需求都通用

好了开始第一个内容

1.如何通过应该关键词或者任何一个主题、需求,产生有创意的详细的故事说明,多个镜头的脚本,字幕,以及根据脚本的内容自动给一个适合的背景音乐标签。

大家注意到,正常来说 故事说明 背景音乐都不是产生画面需要的内容。故事说明其实是为了生成参考图片使用的。背景音乐标签,我这里主要是为了后面的全自动生成短视频准备的。大家拿来生成绘本,或是做短视频素材,本身是不需要的。

A.有创意的详细故事说明

这里有几个关键词

创意

这个就不多说了,大家只需要给出提示,让chatgpt产生有趣的或者给你想要的方向的故事脚本即可。

例如:极富创造力,擅长写出跌宕起伏的短剧本剧情 等。

(文章底部会有我的详细的提示词,这里为了便于大家浏览,就不展开具体提示内容。以下同)

批量的

就是批量产生多个分镜头剧情。

这里有几个原因,第一就是你本身一个绘本或者短视频的素材就需要多个镜头,那自然是一次性的把一个故事的所有的镜头生产完。另外就是批量一次性的多个镜头去批量生成多个照片,能够增强画面的一致性连贯性。

这个基本上大家应该都掌握了,之前咱们用prompt生成短视频脚本的时候,通常都是在为一个故事,生成多个分镜头。

详细的

现在重点来了

因为我们要产生多张画面风格一致故事连贯的照片。而dall e 3这个模型呢,他其实并不是很容易能够做到这一点。要想做到,我们就一定要让他在每一次生成一张照片的时候呢,都尽可能非常详细的描述这个画面的场景,各种场景上的物体,包括人物和角色,甚至他们的头发,衣服,着装,肤色,年龄等。

例如:

上面这段就是给个主题或者关键词,自动生成的含有丰富细节描写的脚本的一部分。为什么是一部分,等后面,具体实操的时候,讲。

让我们看看出图效果:

这里不能不说,dall e 3 太强大了,细节表现的淋漓尽致。你看客厅墙上贴的奶油色复古壁纸胖呼呼黑白相间的猫,深红色沙发,光滑并闪亮的毛皮,杏仁形的黄色眼睛。前面的木质咖啡桌,光泽皮毛的老鼠,粉红色耳朵,发光的眼睛,肯奶酪,装饰的古董,带流苏的黄铜地灯,传统的壁炉,还烧着火,金黄色的光芒,白色的窗帘,大窗户,月光之夜。

神了有没有,绝了有没有。几乎是全部 细节都画出来了。。。。。

而midjourney是无法对这种丰富的内容淋漓尽致的绘画展现的。

所以有关“详细的”这个关键词,大家get到重点了吗。就是一定要为每一个脚本非常详细的进行通用部分的描写(所谓的通用,就是比如,这个猫和老鼠 场景下,猫 和老鼠 两个主要角色,你每个画面里肯定都有的,你得保持一致,或者基本一致吧,否则你的剧情都走不下去了。因为那是另外一只猫和老鼠了。)。这里“非常详细的描写”,没有上限,理论上你描写的越细,多幅画面的风格一致性和故事连贯性越好。

当然这些还不够,我们要的是,一个关键词或主题,自动生成4个镜头的详细脚本,还要有故事性和创意,并且自动生成照片。

我们继续往下看。

seed

这个玩过midjourney 和stable diffusion的伙伴都不陌生吧。

在dall e 3里面,这个seed同样好使。seed中文译过来就是种子,就是我们要给多幅画面赋予同一个种子。

seed并不是代表一个固定的画面,我们是通过几个画面使用同一个seed来实现画面的一致性。

具体种子怎么样,下面示例中具体演示。

通用

啥是通用,就是我们固定一个提示词,可以适用于所有用户输入的主题、关键词,或是个性化需求,都能得到相对满意,符合风格一致性,故事连贯性,有点创意的多幅画面。

目前我测试的情况来看,适用性还是比较强的,欢迎大家参与一起多人交流,看看各行各业,各种动态的静态的,各种人物角色,各种产品等等,是否都能够支持的很好。可以加我laozhangblockchain (注明dalle)或私信我。

总结下,第一个关于详细故事说明包括了:

创意,批量的,详细的,seed,通用 这5个关键词。

如果 有点懵,很正常,下面看 实操会直观些。

现在开始下一个

B.多个镜头的脚本

就是我们需要为每个镜头生成脚本。我们这里是生成4段镜头的脚本。

因为dalle 3目前能支持的一次性输出就是4个图片。(有时候会只能2张,需要分两次输出)

而4副画面相对而言,这个数量不多不少,既可以构成一个简短的故事情节,又不至于因为镜头太多,导致画面失控,达不到一致性。

这里要重点强调的是,我们生成的4个镜头的脚本,前面半截都要使用跟,上面第一段说到的详细的故事描述的内容完全一致只是在后半截,做剧情的拓展。我先举例,后面讲原因。例如:

镜头一:一直猫和老鼠在一个房间里,中间有一块奶酪; 他们互相看着对方

镜头二:一只猫和老鼠在一个房间里,中间有一块奶酪;老鼠趁着闭上眼睛那一刻,快速的冲到了奶酪前吃了一口;

镜头三:一只猫和老鼠在一个房间里,中间有一块奶酪;猫突然睁开眼睛向老鼠扑去,老鼠拼命的往前跑;

镜头四:一只猫和老鼠在一个房间里,中间有一块奶酪;猫停在洞口 前,老鼠钻进了洞,并向猫示威;

上面4个镜头里,各位重点来了,睁大眼睛仔细听:

“一只猫和老鼠在一个房间里,中间有一块奶酪;”这一段就是上面我特别说的“详细的故事描述”部分,这个部分要在每一个镜头的前半截,接着才是剧情。

为什么这样?

哪位同学举手回答下。。。。

对,就是这样,我们需要为每个镜头 有一段非常详细而又具体的包括了各种角色,背景环境,各种背景环境出现的物品等的描述,以实现各个画面的一致性。就是这样。。。

那个我补充下哈,应该除了前面半截一样的固定详细描述,后半截是设计的剧情以外,中间要加一个关于固定的种子描述,我举个例子给大家看(睁大眼睛找到 use the same see 66,这个要考):

那个,好像我又留下了很多新的疑问,为什么有中文,为什么有英文,为什么还有标题,为什么还有music。

慢慢看,下面继续分解。

不过 我要 考下 你:

既然我们的目的最终是生成4个画面,为什么在第一个 环节我们要讲那么多的 生成一个“详细的故事说明”,然后才到了4个镜头的脚本?who can answer me?

没想明白加我的(laozhangblockchain 注明dalle)或 私信我的,一律打屁股。

我们真的往下继续了哈

C.字幕

其实字幕呢,真的就是非必须了,不过你会发现在我上面的示例图片中,很多图片上会有文字,比如下面这组:

大家也看到了,在上面输出的4个脚本示例里,我不但让ai输出 了字幕,还输出了中文和英文两个版本的字幕,why?

中文字幕:为了后面做 短视频需要;

英文字幕:为了让生成的画面,有 一些文字的背景说明,或是在两个角色对话的场景下,生成气泡聊天的效果图。类似于下图这样:

你说,我要是做的是中文的短视频,我 要英文的字幕干嘛,为什么不用中文的字幕放到图片里。

我也想啊,dalle 3 现在还不能支持,生成中文的文字在图片里,貌似现在所有的工具都不能支持中文文字出现在画面里,都 类似于鬼画符一类的东西,看起来跟乱码似的,类似于这样:

D.背景音乐的标签

这个也是非必须的,因为大家如果用来做短视频,自己在剪映等剪辑工具里都可以找到音乐。

我这里是让ai自动根据脚本的情绪来从我给的几十个音乐情绪标签里匹配最合适的一个。

这个是为了,我正在做的 全自动生成剪辑视频做的准备。

这些标签,我会自动去ai那里生成对应的背景音乐,确保没有侵权。抖音里的音乐我是不敢下载了的用的。

这是我当前使用ai自动生成的全部背景音乐的标签:

好了,我们总结下,以上全部内容就是,我们的第一部分

如何通过应该关键词或者任何一个主题、需求,产生有创意的详细的故事说明,多个镜头的脚本,字幕,以及根据脚本的内容自动给一个适合的背景音乐标签。

一个完整的输入提示词,和输出结果如下图(太长了,文字版放在最后。):

然后就是输出的结果示例:


接下来要开始的就是第二个部分

如何生成参考图片

首先我们问两个问题

什么是参考图片,为什么需要参考图片?

其实参考图片很重要,我们知道在这之前我们用midjourney一类的去生成连贯风格一致的照片,其实就需要不停的垫图。大家可以理解为,这里我表达的参考图片,就是类似于在midjourney里的垫图。

就是在之前的详细描述+共同的种子+批量一次性,然后现在在加一个参考图。

参考图怎么生成呢

参考图使用,我们在第一个部分提到的 根据主题或需求产生的“详细的故事说明”里。

大家仔细看上面的内容,会发现,在4个分镜头的脚本前面,是有一段“description”的。这个就是用来生成参考图的。这段内容同时也是 后面4个分镜头脚本里,前面半截公用的内容。我们看下截图:

这一段就是用来生成参考图片的。

我们看下具体的提示词:

再看一个示例:

这里我就不再具体解释提示词的内容了,都比较直白,我这里只是抛砖引玉,告诉大家这个逻辑,就是通过通用的一段非常详细的对角色,人物 、动物、背景环境物品的描写,生成参考图片。

现在已经有很多小伙伴使用我教的这个方法,进行再优化(还是那句话,天花板在你能够对 这个所谓的通用详细描述详细到什么程度,你足够足够足够的详细,出来的就 足够足够的接近一致。反正这个详细的内容 也不需要你动手写,你用gpt4调教ai写给你就行)

欢迎大家加我(laozhangblockchain 注明dalle)跟他们一起讨论交流,大家是怎么基于这个逻辑持续创造完善提示词的

好了现在进入 最后的重点了

如何基于参考图片和第一部分生成的脚本生成风格一致,故事连贯的4个画面

我们回忆一下,我们上面讲了两个部分

一个是通过提示词自动生成了 详细的通用描述、4段镜头的脚本

一个是根据详细描述生成了参考图片

那么现在就是把上面生成的参考图片和脚本一起,给到新的一段提示词引导,产生我们最后要的4副风格一致,故事连贯的画面了。

怎么做呢,先上提示词:

来我们看看出图的结果

我们看到第四个图还不是特别理想,有改进空间。其实就是去分析看看第四个图片的描述。

下面是第四个部分

实际以一个案例具体完整截图或视频方式把整个流程再讲一遍

如果以上大家都还没有搞懂的,那么你就跟着这最后一步,具体操作就行。可以先不理解。反正提示词直接可以copy来用,你只需要开头输入一个关键词或主题就行。多简单。

我们那许仙和白娘子来试试吧,这个对人物和背景都要求比较高。我们看看实现的怎么样

分三步哈

第一步 生成描述和脚本

提示词来啦

1、目标:按照我给的【主题】,为短视频设计一个有创意的脚本,包括四个镜头描述、对应字幕、一个短视频封面标题,以及选择一个适合的背景音乐标签。
2、内容:
脚本应具有强烈的画面感。
每个镜头都需要相应的描述和字幕。
从以下全部预定义的音乐标签中选择一个最合适的标签:
[Ambient, Bass, Breakbeat, Chill, Chill Hop, Classical, Disco, Downtempo, Drumnbass, Dub, EDM, Folk, Funk, Electronica, Hiphop, House, Latin Pop, Lofi, Jazz & Funk, Pop, Reggaeton, Rock & Metal, Synthwave, Techno, Trance, Trap, Beautiful, Calm, Dreamy, Energizing, Erotic, Indian Meditation, Heroic, Joyful, Sad, Scary,Tense]
3、特别注意:请无输出任何涉及政治、暴力、色情、宗教相关的内容;
4、角色和场景的描述:
A.请首先为四个画面中的角色和场景进行非常详细的描述,确保每个镜头中的角色和场景风格保持一致。
B.角色的描述应包括头发、肤色、衣服、年龄、性别等细节,如果是动物则要包括对毛发,品种,眼睛的颜色等细节描写,对于周围的环境背景的描述应包括在什么地方、什么场景或房间、什么建筑物,有哪些具体的物体,他们的名称、形状、颜色等进行细节描写。
C.为角色和场景定义一个共同的种子为66。每个镜头描述的开头都应使用这个详细描述,并根据剧情的变化进行调整。
5、输出格式:JSON;
6、JSON格式输出示例(直接按示例输出,不要有任何其他解释或者说明):
{
   "description":"In a rustic wooden kitchen with moss-green cabinets and a worn-out beige tiled floor, a ginger tabby cat named Whiskers lounges lazily atop a smooth mahogany table. Whiskers has thick, striped fur, shimmering green eyes, and a white patch on his chest. Nearby, a young mouse named Pip, with sleek brown fur and bright blue eyes, peeks out from behind a ceramic blue teapot. Pip's tiny paws clutch a crumb of cheese. In the background, an old grandfather clock with golden hands and numbers ticks softly, its rich brown oak structure standing tall against a pastel yellow wall. A window with white lace curtains reveals a sunny day outside, with children playing in the distance.Use the same seed 66."
   "scenes": [
      {
         "scenes1": In a rustic wooden kitchen with moss-green cabinets and a worn-out beige tiled floor, a ginger tabby cat named Whiskers lounges lazily atop a smooth mahogany table. Whiskers has thick, striped fur, shimmering green eyes, and a white patch on his chest. Nearby, a young mouse named Pip, with sleek brown fur and bright blue eyes, peeks out from behind a ceramic blue teapot. Pip's tiny paws clutch a crumb of cheese. In the background, an old grandfather clock with golden hands and numbers ticks softly, its rich brown oak structure standing tall against a pastel yellow wall. A window with white lace curtains reveals a sunny day outside, with children playing in the distance.Use the same seed 66.Both Whiskers and Pip suddenly spot a large chunk of cheese in the center of the room, and tension fills the air instantly.",
         "subtitle_CN": "字幕1",
         "subtitle_EN": "字幕1"
      },
      {
         "scenes2": "In a rustic wooden kitchen with moss-green cabinets and a worn-out beige tiled floor, a ginger tabby cat named Whiskers lounges lazily atop a smooth mahogany table. Whiskers has thick, striped fur, shimmering green eyes, and a white patch on his chest. Nearby, a young mouse named Pip, with sleek brown fur and bright blue eyes, peeks out from behind a ceramic blue teapot. Pip's tiny paws clutch a crumb of cheese. In the background, an old grandfather clock with golden hands and numbers ticks softly, its rich brown oak structure standing tall against a pastel yellow wall. A window with white lace curtains reveals a sunny day outside, with children playing in the distance.Use the same seed 66.Seizing the moment while Whiskers closes his eyes, Pip swiftly moves closer to the cheese, ready to grab a bite.",
         "subtitle_CN": "字幕2",
         "subtitle_EN": "字幕2"
      },
      {
         "scenes3": "In a rustic wooden kitchen with moss-green cabinets and a worn-out beige tiled floor, a ginger tabby cat named Whiskers lounges lazily atop a smooth mahogany table. Whiskers has thick, striped fur, shimmering green eyes, and a white patch on his chest. Nearby, a young mouse named Pip, with sleek brown fur and bright blue eyes, peeks out from behind a ceramic blue teapot. Pip's tiny paws clutch a crumb of cheese. In the background, an old grandfather clock with golden hands and numbers ticks softly, its rich brown oak structure standing tall against a pastel yellow wall. A window with white lace curtains reveals a sunny day outside, with children playing in the distance.Use the same seed 66.With wide, alert eyes, Whiskers watches as Pip bravely takes a nibble and then dashes away.",
         "subtitle_CN": "字幕3",
         "subtitle_EN": "字幕3"
      },
      {
         "scenes4": "In a rustic wooden kitchen with moss-green cabinets and a worn-out beige tiled floor, a ginger tabby cat named Whiskers lounges lazily atop a smooth mahogany table. Whiskers has thick, striped fur, shimmering green eyes, and a white patch on his chest. Nearby, a young mouse named Pip, with sleek brown fur and bright blue eyes, peeks out from behind a ceramic blue teapot. Pip's tiny paws clutch a crumb of cheese. In the background, an old grandfather clock with golden hands and numbers ticks softly, its rich brown oak structure standing tall against a pastel yellow wall. A window with white lace curtains reveals a sunny day outside, with children playing in the distance.Use the same seed 66.The chase is on! Whiskers pursues Pip but halts abruptly at a tiny hole, unable to squeeze through.",
         "subtitle_CN": "字幕4",
         "subtitle_EN": "字幕4"
      }
   ],
   "videoTitle": "短视频封面标题",
   "musicTag": "Downtempo"
}
现在我给你的【主题】是:许仙和白娘子

来看看效果,生成的json格式,为什么是JSON格式,

一个原因是,这个对于chatgpt下一步使用来说,他比较好理解。我给他的的内容。

一个原因是,我正在把这个流程 做成全自动化生成短视频,我也需要一个稳定固定输出的格式,便于我获取数据。

{
"description": "In an ancient Chinese temple courtyard, adorned with intricately carved stone pillars and red wooden beams, a young scholar named Xu Xian stands, his raven-black hair tied neatly in a bun, wearing a blue scholar's robe with delicate embroidery. His fair complexion contrasts with his dark eyes, which reflect a mix of surprise and admiration. Beside him, a beautiful woman named Bai Niangzi stands gracefully. She has snow-white skin, long jet-black hair cascading down her back, and is dressed in a pristine white gown that flows like water. Her eyes, the color of clear sapphires, are filled with a mysterious allure. The courtyard is filled with pink peach blossom trees, their petals occasionally drifting down with the gentle breeze. The distant sound of temple bells can be heard. Use the same seed 66.",
"scenes": [
{
"scenes1": "In an ancient Chinese temple courtyard, adorned with intricately carved stone pillars and red wooden beams, Xu Xian reads an old parchment with intense concentration. Bai Niangzi approaches silently, her white gown flowing behind her, and as she gets closer, Xu Xian looks up, their eyes meeting in a moment of mutual recognition. The pink peach blossoms create a romantic ambiance around them. Use the same seed 66.",
"subtitle_CN": "相逢何必曾相识",
"subtitle_EN": "When destiny calls, no introductions are needed."
},
{
"scenes2": "In the same courtyard, Bai Niangzi gracefully performs a dance, her movements fluid and enchanting. Xu Xian watches, utterly captivated, as the peach blossom petals swirl around Bai Niangzi, enhancing her ethereal beauty. Use the same seed 66.",
"subtitle_CN": "花间舞,缘分起",
"subtitle_EN": "Dancing amidst blossoms, fate awakens."
},
{
"scenes3": "In the courtyard, beneath a peach blossom tree, Xu Xian and Bai Niangzi sit side by side, sharing stories and laughter. A gentle wind rustles the leaves, and a petal lands on Bai Niangzi's hair, which Xu Xian tenderly removes. Their hands touch, and a spark of emotion is evident. Use the same seed 66.",
"subtitle_CN": "桃花下,情深浅",
"subtitle_EN": "Beneath the blossoms, love's depth is tested."
},
{
"scenes4": "As night falls, the temple courtyard is bathed in moonlight. Xu Xian plays a flute, the melancholic tune echoing in the stillness. Bai Niangzi, with tears in her sapphire eyes, stands at a distance, a conflicted expression on her face, hinting at the secrets she holds. The moonlight casts a silvery glow on the scene, making it surreal. Use the same seed 66.",
"subtitle_CN": "月光中,秘密浮现",
"subtitle_EN": "In the moonlight, secrets emerge."
}
],
"videoTitle": "桃花缘",
"musicTag": "Ambient"
}

现在进行第二步:生成参考图

提示词如下:

背景信息:
我已经为短视频准备了一个脚本。现在,我想要根据脚本中的描写来生成相应的画面。

任务描述:
作为一个绘图专家,我需要你为脚本中描述的内容创作画面。

要点:

1、请仔细理解脚本中的内容。
2、请使用漫画的风格绘图。
3、画面中如有任何文字,请使用英文表达。
4、请直接给出绘图,不要回复任何其他内容或解释。
我给你的脚本如下:
{
"description": "In an ancient Chinese temple courtyard, adorned with intricately carved stone pillars and red wooden beams, a young scholar named Xu Xian stands, his raven-black hair tied neatly in a bun, wearing a blue scholar's robe with delicate embroidery. His fair complexion contrasts with his dark eyes, which reflect a mix of surprise and admiration. Beside him, a beautiful woman named Bai Niangzi stands gracefully. She has snow-white skin, long jet-black hair cascading down her back, and is dressed in a pristine white gown that flows like water. Her eyes, the color of clear sapphires, are filled with a mysterious allure. The courtyard is filled with pink peach blossom trees, their petals occasionally drifting down with the gentle breeze. The distant sound of temple bells can be heard. Use the same seed 66.",

我们看看输出的效果:

哈哈 这个风格

我应该给他一个西湖背景的要求就好了,我喜欢那个场景。

现在进行第三步:根据参考图和脚本生成 风格一致,故事连贯最终4副画面的成品。

提示词:

背景信息:
我已经为短视频准备了一个脚本。现在,我想要根据脚本中的4个镜头来生成相应的画面。

任务描述:
作为一个绘图专家,我需要你为脚本中描述的4个镜头创作画面。

要点:

1、请仔细理解脚本中的每个镜头内容。
2、请使用漫画的风格绘图。
3、脚本中包括“description”、和4个“scenes”以及对应的 subtitle_EN,请忽略subtitle_CN.
3、画面中如有任何文字,请使用英文表达。
4、请直接给出绘图,不要回复任何其他内容或解释。
5、出图比例为竖版。
我给你的参考图片链接和脚本如下:
https://files.oaiusercontent.com/file-9mwMwbSSmxvw0Emwha9v5k99?se=2023-11-01T05%3A29%3A10Z&sp=r&sv=2021-08-06&sr=b&rscc=max-age%3D31536000%2C%20immutable&rscd=attachment%3B%20filename%3Df726cb85-cdfc-4380-b695-f3ccaadbb775.webp&sig=91n8ub844aWKgo0gn9nThEl7ewJtV/TAVJXNAYYQV9g%3D
{
"description": "In an ancient Chinese temple courtyard, adorned with intricately carved stone pillars and red wooden beams, a young scholar named Xu Xian stands, his raven-black hair tied neatly in a bun, wearing a blue scholar's robe with delicate embroidery. His fair complexion contrasts with his dark eyes, which reflect a mix of surprise and admiration. Beside him, a beautiful woman named Bai Niangzi stands gracefully. She has snow-white skin, long jet-black hair cascading down her back, and is dressed in a pristine white gown that flows like water. Her eyes, the color of clear sapphires, are filled with a mysterious allure. The courtyard is filled with pink peach blossom trees, their petals occasionally drifting down with the gentle breeze. The distant sound of temple bells can be heard. Use the same seed 66.",
"scenes": [
{
"scenes1": "In an ancient Chinese temple courtyard, adorned with intricately carved stone pillars and red wooden beams, Xu Xian reads an old parchment with intense concentration. Bai Niangzi approaches silently, her white gown flowing behind her, and as she gets closer, Xu Xian looks up, their eyes meeting in a moment of mutual recognition. The pink peach blossoms create a romantic ambiance around them. Use the same seed 66.",
"subtitle_CN": "相逢何必曾相识",
"subtitle_EN": "When destiny calls, no introductions are needed."
},
{
"scenes2": "In the same courtyard, Bai Niangzi gracefully performs a dance, her movements fluid and enchanting. Xu Xian watches, utterly captivated, as the peach blossom petals swirl around Bai Niangzi, enhancing her ethereal beauty. Use the same seed 66.",
"subtitle_CN": "花间舞,缘分起",
"subtitle_EN": "Dancing amidst blossoms, fate awakens."
},
{
"scenes3": "In the courtyard, beneath a peach blossom tree, Xu Xian and Bai Niangzi sit side by side, sharing stories and laughter. A gentle wind rustles the leaves, and a petal lands on Bai Niangzi's hair, which Xu Xian tenderly removes. Their hands touch, and a spark of emotion is evident. Use the same seed 66.",
"subtitle_CN": "桃花下,情深浅",
"subtitle_EN": "Beneath the blossoms, love's depth is tested."
},
{
"scenes4": "As night falls, the temple courtyard is bathed in moonlight. Xu Xian plays a flute, the melancholic tune echoing in the stillness. Bai Niangzi, with tears in her sapphire eyes, stands at a distance, a conflicted expression on her face, hinting at the secrets she holds. The moonlight casts a silvery glow on the scene, making it surreal. Use the same seed 66.",
"subtitle_CN": "月光中,秘密浮现",
"subtitle_EN": "In the moonlight, secrets emerge."
}
],
"videoTitle": "桃花缘",
"musicTag": "Ambient"
}

我们这个过程需要等待一会,等dalle 3出图

效果如下 :

啊不对,哈哈 ,有时候 就是这样,dalle 3 因为网络和服务的原因,还不是很稳定,我们需要点击regenerate重新生成。有时候要重新生成好几次,实在不行就切换一个新话题,重新给提示词生成。或是刷新页面。

相逢何必曾相识,花间舞,缘分起
桃花下,情深浅;月光中,秘密浮现

怎么样,其实我可以再生成一次,或者多次取更理想的。

我评价下,这次生成的,因为他不需要一个连贯的着装和场景,所以可以看到人物的背景因为脚本设计的背景风格不同,本身就不同。问题倒不大,不过第一幅画面没有能做到竖版的满屏效果。

这里我要说下的就是,竖版有时候会 这样,另外还有 一个情况,就是竖版有时会打横才能看。

整体我觉得标准的正方形大小,dalle 3支持的最好,我们可以看下正方形的,就是把上面竖版的提示词去掉即可:

相逢何必曾相识,花间舞,缘分起
桃花下,情深浅;月光中,秘密浮现

好啦,总算全部写完了

需要跟dall-e 3研究出图一致性的其他小伙伴一起交流探讨的可以加我laozhangblockchain(注明dalle)或私信我。

回头我录个视频 给小白。敬请关注我,点赞下,再收藏吃灰。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注