本地部署Qwen2.5-VL-7B-Instruct多模态视觉大模型（Windows篇）

于 2025-02-23 发表条评论次阅读

收录于 AI

Qwen2.5-VL是阿里云推出的开源多模态大模型，支持图像理解、视频分析、文档结构化处理等功能。

较上一个版本Qwen2-VL有质的飞越，Qwen2.5-VL通过动态分辨率适配和窗口注意力机制，显著降低显存占用并提升推理速度，72B模型在单卡A100上推理速度提升30% 。

身在AI这股浪潮中，只要本地电脑硬件条件允许的话，我都会尝试着去部署优秀的开源大模型。

说到开源大模型，相对而言的就是闭源大模型，我们在脑海中很自然地浮现出国外的OPENAI，以及国内的百度，也就是李彦宏所说的“开源大模型，对个人是没有好处”（好像是这么说的吧）。

由于DeepSeek的冲击，据说百度将要开源大模型了，这李彦宏不是妥妥的打了自己的脸了吗？很想隔空问李彦宏一句话，难道你的脸不痛吗？

克隆Qwen2.5-VL代码及安装必须依赖

git clone https://github.com/QwenLM/Qwen2.5-VL.git

使用Python3自带的venv库，创建虚拟环境。当然你也可以使用anaconda或miniconda工具进行创建python虚拟环境。

python -m venv qwen-vl-env
cd qwen-vl-env\Script
activate

之后回到Qwen2.5-VL代码的根路径下，进行必须依赖安装。

cd Qwen2.5-VL
pip install -r requirements_web_demo.txt

当然，为了可以使用GPU来推理，还需安装与你的CUDA版本匹配的pytorch

pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu121

其实pytorch依赖是包含在requirements_web_demo.txt文件中，那是CPU版本的。

而对于windows用户来说，以下这步也是多余的。

pip install qwen-vl-utils

下载模型

Qwen2.5-VL开源三个不同参数的大模型，分别是3B、7B、72B。

Huggingface模型地址：https://huggingface.co/collections/Qwen/qwen25-vl-6795ffac22b334a837c0f9a5

Modelscope魔塔社区：https://modelscope.cn/collections/Qwen25-VL-58fbb5d31f1d47

运行官方的gradio demo示例

可不知是什么原因，我运行python web_demo_mm.py却出现错误，报的错误都是与gradio相关的错误信息，致使我一度怀疑，是不是需要更新gradio的依赖呢。

然而，事与愿违，报错还是一如既往报错，它可不会因为你更新了gradio依赖，就停止报错了。

所以呢，我就运行官方不带gradio的示例，结果却成功，这让我异常兴奋。

import torch
from modelscope import snapshot_download
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

# default: Load the model on the available device(s)
# model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
#     "Qwen/Qwen2.5-VL-7B-Instruct", torch_dtype="auto", device_map="auto"
# )
model_dir = "E:/AI_project/Qwen2.5-VL/Qwen/Qwen2.5-VL-7B-Instruct" #snapshot_download("Qwen/Qwen2.5-VL-3B-Instruct")
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    model_dir,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# We recommend enabling flash_attention_2 for better acceleration and memory saving, especially in multi-image and video scenarios.
# model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
#     "Qwen/Qwen2.5-VL-7B-Instruct",
#     torch_dtype=torch.bfloat16,
#     attn_implementation="flash_attention_2",
#     device_map="auto",
# )

# default processor
# processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")
processor = AutoProcessor.from_pretrained(model_dir,max_pixels = 1280*28*28)

# The default range for the number of visual tokens per image in the model is 4-16384.
# You can set min_pixels and max_pixels according to your needs, such as a token range of 256-1280, to balance performance and cost.
# min_pixels = 256*28*28
# max_pixels = 1280*28*28
# processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                #"image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
                "image": "E:/AI_project/Qwen2.5-VL/01-21-2025_09_58_PM.png",
                #"image": "E:/my_data/temp_img/20250222200343.jpg"
            },
            {"type": "text", "text": "描述这张图。"},
        ],
    }
]

# Preparation for inference
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to(model.device)

# Inference: Generation of the output
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)