包含标签 文生图

• 
  智谱开源了文生图CogView4-6B模型，支持中文提示词之本地部署（Windows篇） 在文生图这个领域里，甭管是开源的Stable Diffusion 3.5，还是闭源的在线绘图平台Midjourney，一度都是不支持中文提示词。 连prompt都不支持中文，就别提想要在图中写入中文。 虽然SD3.5、Midjourney等优秀绘画模型不支持中文提示词，但国内各大厂商一直致力于中文提示词。 CogView4-6B是智谱AI（Zhipu AI）推出的文生图模型，通过结合文本与图像的跨模态生成技术，在中文场景下展现出显著优势。 本地部署 那么，接下来，我们就在本地电脑部署下CogView4-6B这款开源的绘画模型，看看效果是否真有其官方宣传的那么好。 创建虚拟环境 首先，我们创建个python虚拟环境，你可以使用anaconda或miniconda来创建虚拟环境。我还是使用python3自带的venv模块搭建的虚拟环境。 我电脑使用的python版本为python 3.10.9，当然你也可以使用python 3.11。 python -m venv CogView4-env cd CogView4-env\Scripts activate clone 推理代码及下载模型 git clone https://github.com/THUDM/CogView4 cd CogView4 # 根据自身网络条件 选择以下任一方式来下载模型。 # modelscope git clone https://www.modelscope.cn/ZhipuAI/CogView4-6B.git # Huggingface.co git clone https://huggingface.co/THUDM/CogView4-6B 安装项目所需依赖 其实，如果按照官方的，也就是执行以下这行命令，是无法启动项目的。 pip install -r inference/requirements.txt 按照requirements.txt的依赖来安装torch是CPU版本，并不支持GPU，所以我们需要uninstall这个不带GPU版本的torch以及torchao。 如果你电脑的显存低于12G的话，那么需要设置set MODE=1。 然而，在Terminal下载torch的CUDA版本，下载速度总是那么不尽如人意。 那么，我们可以直接去https://download.pytorch.org/whl/torch 下载 对应的whl文件。 我们直接在Terminal直接pip install torch-xxx.whl。 卸载CPU版的torchao，安装带有CUDA版本的torchao。 运行 inference/gradio_web_demo.py 当我们安装好了CUDA版的torch和torchao后，再次执行python inference/gradio_web_demo.py。 会为我们自动在默认浏览器打开一个页签，如下图。 我这里使用了官方的prompt，只是把Happy New Year改成了新春快乐，看看是不是能真正的写上中文字。 为了出图快点，我只修改了图片的width和height，其他都是默认的，然而，生成的图片，图中的中文文字却崩了。

  •   2025-03-07
  •   
  •   

     [AI]
• 
  保持角色一致性的绘本生成AI开源项目之Story-Adapter本地部署Windows篇 在人工智能领域，生成一致且连贯的故事绘本一直是一个具有挑战性的任务。Story-Adapter作为一个开源项目，旨在解决这一问题，为用户提供无需训练即可生成长篇故事视觉化的工具。本文将指导您如何在Windows系统上本地部署并运行Story-Adapter。 项目简介 Story-Adapter项目提出了一种无需训练的迭代框架，用于长篇故事的可视化生成，特别关注在生成过程中保持角色的一致性。通过利用现有的文本到图像生成模型，Story-Adapter能够根据输入的故事文本，生成一系列连贯且一致的图像帧，适用于绘本创作、动画制作等领域。 项目地址：https://github.com/UCSC-VLAA/story-adapter 环境准备 从项目的README.md中有关于本地安装的必要条件： Python 3.10.14 PyTorch 2.2.2 CUDA 12.1 cuDNN 8.9.02 虽然官方是通过anaconda来创建python项目的虚拟环境，这也官方推荐的，可以说是所有开源AI 项目的友好方式。 然而我却不使用anaconda，而使用python自带创建虚拟环境的方式。 python -m venv story-adapter-env #创建 story-adapter-env 虚拟环境 cd story-adapter-env\Script activate #激活虚拟环境 1. 安装Python 前往Python官方网站下载适用于Windows的最新版本Python安装包。在安装过程中，务必勾选“Add Python to PATH”选项，以便在命令提示符中直接使用Python命令。 我安装的是python 3.10.9。 2.安装Git 访问Git for Windows下载并安装Git。安装完成后，您可以在命令提示符中使用git命令。 3.安装CUDA 如果您的计算机配备了NVIDIA GPU，并希望利用GPU加速，请前往NVIDIA官方网站下载并安装适用于您GPU型号的CUDA Toolkit。 克隆项目代码 执行以下命令以克隆Story-Adapter项目代码： git clone https://github.com/UCSC-VLAA/story-adapter.git cd story-adapter 此操作将在当前目录下创建一个名为story-adapter的文件夹，包含项目的所有代码。 安装依赖项 pip install-r requirements.txt-i https://pypi.tuna.tsinghua.edu.cn/simpe/ 下载模型 在下载模型，请提前准备好网络（你应该懂的什么是网络吧）。 按照官方的指引来下载对应的模型，及存放的位置。 Download the checkpoint downloading RealVisXL_V4.0 put it into “./RealVisXL_V4.0” downloading clip_image_encoder put it into “.

  •   2025-02-16
  •   
  •   

     [AI]
• 
  本地部署 Stable Diffusion 3.5（最新 ComfyUI记录篇） 当你在看到文章标题，以及发布时间时，想必你是不会继续浏览下去的，这一点，是可以理解的，换做是我，也会做出同样的抉择。 既然如此，而又为什么又要写这篇文章呢？ 其一，之所以没能在Stable Diffusion3.5发布时，在本地电脑部署它，那是因为彼时的老破电脑是不足以安装它的。 其二，赤巨资购买了可以把玩Machine Learning的高配电脑，这才想要在新电脑中部署Stable Diffusion3.5这个文生图大模型，故此，将本地部署过程记录下。 模型大小的区别 Stable Diffusion3.5发布三个不同参数的模型，分别是Medium、Large Turbo、Large。 Stable Diffusion 3.5 Large：该基础型号拥有 80 亿个参数，质量卓越，响应迅速，是 Stable Diffusion 系列中最强大的型号。该型号非常适合 1 百万像素分辨率的专业用例。 稳定扩散 3.5 Large Turbo：稳定扩散 3.5 Large 的精简版仅需 4 个步骤即可生成高质量图像，且具有出色的快速依从性，速度比稳定扩散 3.5 Large 快得多。 Stable Diffusion 3.5 Medium： 该模型拥有 25 亿个参数，采用改进的 MMDiT-X 架构和训练方法，可在消费级硬件上“开箱即用”，在质量和定制易用性之间取得平衡。它能够生成分辨率在 0.25 到 2 百万像素之间的图像。 可以从Hugging Face下载 Stable Diffusion 3.5 Large 【点击下载】 推荐16G以上显存 Stable Diffusion 3.5 Large Turbo 【点击下载】 推荐8G以上显存 安装 下载最新 ComfyUI 我们可以在github.com下载ComfyUI官方打包版，ComfyUI v0.3.13 当然咯，你也是可以下载源码，进行编译。 下载适合自己电脑显存的模型 在Huggingface.co下载Stable Diffusion3.

  •   2025-02-03
  •   
  •   

     [AI]