python实现ai大模型多镜头生成视频笔记

python实现ai大模型多镜头生成视频笔记

大家都知道一个长视频都是由一个脚本和镜头串联而成，如果要生成视频，就需要画面与声音，ai大模型可以帮我们写脚本和每个镜头的画面文本，然后我们通过ai文生图和ai文生视频大模型来生成各个分镜头，对每个镜头根据文字描述生成对应的声音，最后底部加上相应的字幕，这样一个完整的视频就生成了，今天我们来用python试试如何由ai生成一个故事视频。

一、故事内容生成分镜头

我们把我们整个视频的大致内容告诉ai大模型，让他生成这个故事的分镜头和文字旁白，可用api来让大模型生成分镜头的json脚本，这个是给第二部的各个分镜头画面生成使用的。（以下仅仅演示）

{
  "title": "修仙之路",
  "scenes": [
    {
      "scene_number": 1,
      "scene_description": "苍茫大地，一座高山屹立在云海之中，山巅一座古老的道观若隐若现。",
      "shots": [
        {
          "shot_number": 1,
          "camera_angle": "广角镜头",
          "description": "镜头缓缓向前推进，穿越云海，逐渐逼近山巅的道观。",
          "narration": "传说中，凡人若能得道，便可踏入修仙之路，逍遥天地。"
        },
        {
          "shot_number": 2,
          "camera_angle": "俯视镜头",
          "description": "俯视道观，展示其雄伟与古老，古松环绕，云雾缭绕。",
          "narration": "这座古观，历经千年风霜，见证了无数修士的崛起与陨落。"
        },
        {
          "shot_number": 3,
          "camera_angle": "中景镜头",
          "description": "道观内，一位白发苍苍的道士盘坐在蒲团上，眼中透着智慧与沧桑。",
          "narration": "然而，在这片宁静之地，隐藏着一个即将被揭开的天大秘密。"
        }
      ]
    },
    {
      "scene_number": 2,
      "scene_description": "一处幽静的山谷，草木葱茏，灵气四溢。",
      "shots": [
        {
          "shot_number": 1,
          "camera_angle": "广角镜头",
          "description": "镜头从山谷的一端慢慢移动，展示四周的美景，直至焦点落在一位少年身上。",
          "narration": "这位少年，名为李云，自幼天资卓越，心怀修仙大志。"
        },
        {
          "shot_number": 2,
          "camera_angle": "近景镜头",
          "description": "李云手握长剑，闭目凝神，感受四周的灵气流动。",
          "narration": "今天，他将在这片山谷中，迎来命运的转折点。"
        },
        {
          "shot_number": 3,
          "camera_angle": "特写镜头",
          "description": "李云的眼睛突然睁开，目光锐利如剑，随即挥剑一斩，灵气随之爆发。",
          "narration": "灵气化剑，天地震动，修仙之路，始于此刻。"
        }
      ]
    },
    {
      "scene_number": 3,
      "scene_description": "道观内，李云跪拜在白发道士面前，神情肃穆。",
      "sh...

点击查看剩余70%