PaddlePaddle · VL OCR

PaddleOCR-VL

文档 OCR / 版面;低显存。

许可 Apache-2.0Q4 ~4GB舒适 8GB视觉 / OCR本地优先

部署预估(启发式)

默认推荐卡 RTX 4060 8GB · 量化 FP16 · ctx 4k · 并发 1

适配放不下
需 / 有效显存17.9/8G
吞吐 tok/s~15.3
引擎Ollama / llama.cpp / llama-server

单卡仍不够(约需 17.9GB):更小量化 / 降上下文,或加卡 TP、换大显存。首选 ollama。

下载与部署入口

无官方 Ollama slug 时:从 HF GGUF 下载后用 llama.cpp / LM Studio,或 ollama create 自定义。

参数VL OCR
默认量化FP16
默认上下文4K
发布2025

推荐引擎

  • vLLM(高吞吐 OpenAI 兼容)
  • TGI

标签:OCR · 视觉 · 家族 Embedding / VL / OCRRAG 与多模态本地必备。

入门阅读:本地部署 · 显存对照 · 量化

同家族

PaddleOCR-VL · 开源下载与本地部署 · GrokCode 倍率榜