MLLM模型部署框架概述

深度学习已经从CNN模型时代发展到大模型LLM时代到如今的MLLM与VLM时代，原有CNN为主的深度学习部署框架已经无法满足LLM与VLM模型部署的需求，最近今年主流的LLM与VLM部署框架主要包含vLLM、TensorRT-LLM、llamacpp、Ollama、LMDeploy、LMStudio等。

vLLM

vLLM（Vectorized Large Language Model） 是由加州大学伯克利分校提出的一种高性能大语言模型推理框架，专为提升 LLaMA、ChatGLM、Phi-3 等主流开源模型的推理效率而设计。

它通过一种名为 PagedAttention 的核心技术，在保持生成质量的同时大幅提升推理速度和资源利用率。

vLLM优势

随着大语言模型参数规模的不断增长（如DeepSeek满血版本达到 671B 参数），传统的推理框架（如 HuggingFace Transformers）在处理大规模模型时面临以下几个瓶颈

1) 显存占用高-推理过程中需要缓存所有 Key/Value 向量，显存消耗大2) 批处理效率低-传统 batch 处理方式难以充分利用 GPU 并行能力3) 服务延迟高-在并发请求下响应时间不稳定

官方地址：

https: //github.com/vllm-project/vllm

安装方式（不支持WINDOWNS系统）：

pip install vllm –i https: //pypi.tuna.tsinghua.edu.cn/simple

TensorRT-LLM

TensorRT LLM 是一个用于优化大语言模型推理的开源库。它提供了业界领先的优化技术，包括自定义注意力内核、动态批处理、分页KV缓存、量化（FP8、FP4、INT4 AWQ、INT8 SmoothQuant等技术）、投机性解码等功能，能够在NVIDIA GPU上高效执行推理任务。

基于PyTorch架构，TensorRT LLM提供了一个高级Python LLM API，支持从单GPU到多GPU或多节点部署的广泛推理场景。该API内置支持多种并行策略和高级功能，并与NVIDIA Dynamo、Triton推理服务器等更广泛的推理生态系统无缝集成。

官方地址：

https: //github.com/NVIDIA/TensorRT-LLM

支持CUDA12.8以后版本，WIN10安装支持。

llamacpp

llama.cpp的主要目标是通过最简配置，在本地及云端各类硬件上实现LLM推理，并达成顶尖性能表现。它的一大优势是纯C/C++实现，无任何第三方框架依赖，同时支持LLM模型与VLM模型，但是对最新模型的支持能力与版本更新速度没有vLLM、TensorRT-LLM框架好。同时llamacpp支持各种CPU跟GPU算力，支持WIN、乌班图、苹果等系统。

原生支持Apple芯片（通过ARM NEON、Accelerate和metal框架优化）支持x86架构的 AVX、 AVX2、 AVX512及AMX指令集 支持RISC-V架构的RVV、ZVFH、ZFH、ZICBOP和ZIHINTPAUSE指令集支持 1.5位至 8位整数量化技术（涵盖 1.5位、 2位、 3位、 4位、 5位、 6位及 8位），实现更快推理并降低内存占用

采用定制CUDA内核支持NVIDIA GPU运行LLM（通过HIP支持AMD GPU，通过MUSA支持摩尔线程GPU）；提供Vulkan和SYCL后端支持；支持CPU+GPU混合推理模式，可部分加速超过显存容量的超大规模模型。

官方代码库：

https: //github.com/ggml-org/llama.cpp

Ollama与LMStudio

Ollama

一款极简主义的本地模型运行工具，支持 macOS、Linux 和 Windows。它将复杂的模型文件封装成可一键拉取的“Model Library”，用户通过命令行即可快速下载并运行如 Llama 3、Qwen 等开源模型。Ollama 内置了量化支持和 OpenAI 兼容的 API 服务，方便开发者集成到应用中。其核心优势在于“开箱即用”，极大地降低了非技术用户接触大模型的门槛，是个人学习、本地原型验证的理想选择。

LM Studio

一个功能全面的图形化本地模型运行器，专为 Windows 和 macOS 设计。它内置了模型浏览和搜索功能，用户可直接从 Hugging Face 等源下载并管理 GGUF 格式的模型。其特色在于提供了一个类似聊天客户端的 GUI，支持多会话、多模型并行加载，以及模型热切换。LM Studio 还内置了兼容 OpenAI 的本地服务器。它的优势在于无需记忆命令，通过直观界面即可完成模型加载、配置与对话，适合追求操作便捷性的普通用户。

总结

LLM模型部署框架根据场景可分为四类：个人开发首选Ollama，支持量化模型一键部署；资源受限设备推荐llama.cpp，通过CPU优化实现极致轻量；企业高并发服务采用vLLM，其PagedAttention技术可提升吞吐量；多模态VLM部署可选用LMDeploy，原生支持视觉语言模型，或RamaLama，通过容器化简化依赖管理。NVIDIA环境可选TensorRT-LLM实现硬件极致性能。

2026年 大模型与多模态VLM模型在工业缺陷检测领域的优势在于真正意义上的“零样本”，无需针对特定任务训练，灵活度高，可应对开放词汇描述的新缺陷。工业支持急速五分钟换型、四张参考样本准确率可以达到99%。系统化学习多模态与VLM视觉语言模型，扫码下面的视频教程