零基础入门:MinerU 和 PyTorch、CUDA的关系
2025-5-22
| 2025-5-21
字数 1312阅读时长 4 分钟
type
status
date
slug
summary
tags
category
icon
password
💡
一句话总结
MinerU 是一个用 PyTorch 跑模型的程序,PyTorch 支持多种加速方式(如 CUDA、MPS),让它跑得快就需要依赖这些加速工具。
PyTorch官网安装教程(可根据系统情况选择不同版本:https://pytorch.org/get-started/locally/

一张图看清楚它们的关系:

notion image

01 先解释一些名词在 MinerU 中的作用:

🔧 PyTorch:是跑深度学习模型的库,有 CPU 和 GPU 版本,简称 torch。MinerU 用它跑公式、OCR、表格等模型,✅ 必须安装。
⚙ torchvision:是 PyTorch 的辅助库,用于图像处理、模型加载等。MinerU 在图像类模型或视觉任务中会用到,✅ 建议安装。
💻 NVIDIA 显卡驱动(Driver):是控制和管理 NVIDIA 显卡硬件的软件层,它是 CUDA 与 GPU 正常通信的基础。如果使用 NVIDIA GPU,✅ 必须安装。
💾 CUDA-Toolkit:是 NVIDIA 提供的一整套 GPU 编程工具,包含 CUDA、cuDNN、编译器等,能提供开发和运行 GPU 应用的完整支持,避免手动配置底层。若用 pip 安装 PyTorch,❌ 可不单独安装。
💿 CUDA:是 NVIDIA 显卡的加速平台,依赖显卡驱动,必须配合 NVIDIA 显卡使用。它能让 PyTorch 用 NVIDIA GPU 跑得更快,使用 NVIDIA GPU 时必须安装,❌ CPU 用户则不需要。
📦 Anaconda:是 Python 科学计算平台,集成大量依赖库,便于管理环境。用它安装 PyTorch 等依赖更方便,也可避免系统冲突,❌ 推荐新手或团队开发使用。
🔖 MPS:是 Apple macOS M 系列芯片的 Metal 加速接口,Mac 上用来调用 Apple 芯片 GPU,❌ 只在 macOS 上使用。
💡
小科普
CUDA 主要适用于安装了 NVIDIA 显卡的 Linux 和 Windows 系统;MacOS 用 MPS 加速。
 

02 只想 MinerU 运行(不求快):

MinerU 运行依赖 PyTorchtorchvision,你可以只装 PyTorch torchvision 的CPU 版本
然后再安装 MinerU,详见:https://github.com/opendatalab/MinerU/blob/master
接下来就可以使用 MinerU 解析 pdf 文件了。
 

03 想要 MinerU 加速运行:

要根据你所使用的平台和硬件选择合适的方式:
1. Windows(装有 NVIDIA 显卡)的加速方式:
注意!需要您的显卡是2017年后生产的带有 Tensor Core 的显存 6 GB以上,可进行以下流程,并测试CUDA 推理加速效果:
  • 安装 NVIDIA 显卡驱动:它们通常包括了支持 CUDA 的相关软件包
  • 安装 CUDA Toolkit:(需要安装符合 Pytorch 要求的 CUDA 版本,MinerU 目前支持Pytorch的版本为 11.8/12.4/12.6/12.8)
  • 安装 python Anaconda (如果已安装,可以跳过本步骤)
  • 覆盖安装支持 CUDA 的 PyTorch torchvision (请根据CUDA版本选择合适的index-url,具体可参考torch官网)
  • 修改配置文件:将【用户目录】中配置文件 magic-pdf.json device-mode 的值改为 "cuda"
 
2. Ubuntu 22.04 LTS加速方式:
  • 检测是否已安装 NVIDIA 显卡驱动
  • 如果看到类似如下的信息,说明已经安装了nvidia驱动,可以跳过下一条安装步骤(⚠️CUDA Version 显示的版本号应 >= 12.4,如显示的版本号小于12.4,请升级驱动)
  • 安装 NVIDIA 显卡驱动
  • 如没有驱动,则通过如下命令安装专有驱动
安装完成后,重启电脑
  • 安装 Anaconda(如果已安装Anaconda ,可以跳过本步骤)
  • 最后一步输入 yes ,关闭终端重新打开。
  • 安装 MinerU
  • 修改配置文件
  • 修改【用户目录】中配置文件 magic-pdf.json 中 device-mode 的值
 
3. MacOS(M 系列芯片)的加速方式:
  • 安装 Anaconda
  • 修改配置文件:MacOS 支持 MPS 加速(苹果自家的加速后端),只需要安装 MinerU 后,在 magic-pdf.json 配置文件中将 device-mode 参数设置为 "mps" 来启用 MPS 加速
 

04 🧩总结

  • PyTorch 是 MinerU 运行必须安装的核心库
  • CUDA、MPS 是 MinerU 的加速方式,因平台和硬件不同而异
  • MinerU 间接利用这些加速方式来提速模型运行
 
 
  • 工具
  • 效率革命!GitHub爆火的开源神器MinerU:PDF、网页、电子书一键转MarkdownMinerU 一个服务化的可多GPU并行处理的方案
    Loading...