StoryDiffusion 3 步跑通AI 故事图生成让漫画主角不再变脸【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusion做漫画或绘本时最常见的翻车场景是同一个主角在每一格里换了张脸读者根本认不出还是不是同一个人。StoryDiffusionStory 图像扩散解决的就是这个问题你输入几段剧情文字它会一次性生成多张主角长相、画风保持一致的故事图还能自动排成带旁白的漫画页。效果速览输入一段读报 → 进森林 → 找到宝藏屋的剧情输出下面这样一整页红发主角从第一格到最后一格始终是同一个人场景、汽车、老虎各自独立成格旁白直接写在画面里。从零跑起来克隆仓库git clone https://gitcode.com/GitHub_Trending/st/StoryDiffusion cd StoryDiffusion建环境并装依赖建议 Python 3.10需要 PyTorch 2.0conda create -n storydiffusion python3.10 -y conda activate storydiffusion pip install -r requirements.txt启动低显存入口README 官方推荐在 24GB 显存的 Tesla A10 30GB 内存上实测可跑预期 20GB 以上显存即可工作python gradio_app_sdxl_specific_id_low_vram.py浏览器会自动打开 Gradio 网页界面一个本地可视化表单不用写代码。首次启动会从 HuggingFace 自动下载模型权重并缓存到data/目录之后就不用再下了。不想跑网页也可以直接打开 Comic_Generation.ipynb按单元格顺序执行。能力逐项拆解角色一致性自注意力多格共用一张脸自注意力是扩散模型里让图像各区域互相参考的机制。StoryDiffusion 在生成时把前面几格主角的特征复制给后面的格子整条序列共用同一张脸。它即插即用热插拔兼容所有 SD1.5 和 SDXL 底模。效果可以直接在上面的漫画页里验证主角穿同一套西装从家中一路走到森林深处。参考图锁脸上传照片定主角在界面里切换到 Using Ref Images上传真人照片支持双人系统用 PhotoMaker 技术把照片长相注入生成结果文字描述里加上触发词img如man img即可。适合我想让我自己/朋友当主角的需求。内置风格模板一键换画风utils/style_template.py 里预置了 9 套风格日本动漫、数字/油画、皮克斯迪士尼 3D、照片写实、美漫、线稿、黑白电影、等距小房间等默认是日本动漫。每套模板自带正负向提示词你只管写剧情不用学提示词。漫画排版自动拼图加旁白选中 Four Pannel 或 Classic Comic Style 后单张分镜会自动拼成一整页漫画并把每行提示词印成对应格子的旁白字体文件在 fonts/Inkfree.ttf。想改旁白文字在提示词行尾加##后面的内容才是旁白。剧情里想插一个没有角色的空镜比如只拍老虎行首写[NC]即可。关键参数怎么选参数作用建议提示词行数前 2~4 行是定脸的角色帧其余行才是剧情帧官方建议至少 5~6 行少于 3 行无法启动一致性模块一致性强度sa32 / sa64控制后面各格参考前面主角的力度0~1默认 0.7角色越容易跑脸调得越高id_length定脸帧的数量默认 2范围 2~4角色特征复杂时调到 3~4另外两个实用项Seed 固定后整组结果可复现方便对比参数采样步数默认 50嫌慢可以降到 30 左右。它适合谁、不适合谁漫画爱好者先出草稿分镜再手动精修省掉逐格重画主角的活。教育工作者给孩子故事、教学演示快速配连贯插图。内容创作者做条漫、图文连载的底稿。不适合需要商业级照片写实且逐像素一致的场景——它的一致性主要体现在插画风格的角色上人脸精度有限另外代码授权为非商用生成内容本身是 Apache-2.0商用项目请注意这条边界。准备好后先打开 update.md 查看更新日志如双人支持、[NC]空镜等改动再按上面的 3 步跑一遍本地 demo从 Japanese Anime 风格开始试最稳妥。【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusion创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 StoryDiffusion 3 步跑通：AI 故事图生成，让漫画主角不再变脸
StoryDiffusion 3 步跑通AI 故事图生成让漫画主角不再变脸【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusion做漫画或绘本时最常见的翻车场景是同一个主角在每一格里换了张脸读者根本认不出还是不是同一个人。StoryDiffusionStory 图像扩散解决的就是这个问题你输入几段剧情文字它会一次性生成多张主角长相、画风保持一致的故事图还能自动排成带旁白的漫画页。效果速览输入一段读报 → 进森林 → 找到宝藏屋的剧情输出下面这样一整页红发主角从第一格到最后一格始终是同一个人场景、汽车、老虎各自独立成格旁白直接写在画面里。从零跑起来克隆仓库git clone https://gitcode.com/GitHub_Trending/st/StoryDiffusion cd StoryDiffusion建环境并装依赖建议 Python 3.10需要 PyTorch 2.0conda create -n storydiffusion python3.10 -y conda activate storydiffusion pip install -r requirements.txt启动低显存入口README 官方推荐在 24GB 显存的 Tesla A10 30GB 内存上实测可跑预期 20GB 以上显存即可工作python gradio_app_sdxl_specific_id_low_vram.py浏览器会自动打开 Gradio 网页界面一个本地可视化表单不用写代码。首次启动会从 HuggingFace 自动下载模型权重并缓存到data/目录之后就不用再下了。不想跑网页也可以直接打开 Comic_Generation.ipynb按单元格顺序执行。能力逐项拆解角色一致性自注意力多格共用一张脸自注意力是扩散模型里让图像各区域互相参考的机制。StoryDiffusion 在生成时把前面几格主角的特征复制给后面的格子整条序列共用同一张脸。它即插即用热插拔兼容所有 SD1.5 和 SDXL 底模。效果可以直接在上面的漫画页里验证主角穿同一套西装从家中一路走到森林深处。参考图锁脸上传照片定主角在界面里切换到 Using Ref Images上传真人照片支持双人系统用 PhotoMaker 技术把照片长相注入生成结果文字描述里加上触发词img如man img即可。适合我想让我自己/朋友当主角的需求。内置风格模板一键换画风utils/style_template.py 里预置了 9 套风格日本动漫、数字/油画、皮克斯迪士尼 3D、照片写实、美漫、线稿、黑白电影、等距小房间等默认是日本动漫。每套模板自带正负向提示词你只管写剧情不用学提示词。漫画排版自动拼图加旁白选中 Four Pannel 或 Classic Comic Style 后单张分镜会自动拼成一整页漫画并把每行提示词印成对应格子的旁白字体文件在 fonts/Inkfree.ttf。想改旁白文字在提示词行尾加##后面的内容才是旁白。剧情里想插一个没有角色的空镜比如只拍老虎行首写[NC]即可。关键参数怎么选参数作用建议提示词行数前 2~4 行是定脸的角色帧其余行才是剧情帧官方建议至少 5~6 行少于 3 行无法启动一致性模块一致性强度sa32 / sa64控制后面各格参考前面主角的力度0~1默认 0.7角色越容易跑脸调得越高id_length定脸帧的数量默认 2范围 2~4角色特征复杂时调到 3~4另外两个实用项Seed 固定后整组结果可复现方便对比参数采样步数默认 50嫌慢可以降到 30 左右。它适合谁、不适合谁漫画爱好者先出草稿分镜再手动精修省掉逐格重画主角的活。教育工作者给孩子故事、教学演示快速配连贯插图。内容创作者做条漫、图文连载的底稿。不适合需要商业级照片写实且逐像素一致的场景——它的一致性主要体现在插画风格的角色上人脸精度有限另外代码授权为非商用生成内容本身是 Apache-2.0商用项目请注意这条边界。准备好后先打开 update.md 查看更新日志如双人支持、[NC]空镜等改动再按上面的 3 步跑一遍本地 demo从 Japanese Anime 风格开始试最稳妥。【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusion创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考