MIG功能,本质上和NV的vGPU逻辑一致,只不过是软件层面方便用户榨干显卡性能提高训练效率(之前有看到对比测试MIG实例对比vGPU实例的训练性能测试,MIG会快一些,可能是少了虚拟化层面的损耗,当然这个不是我们的重点)。MIG不需要vGPU GRID驱动,所以不需要难以获取的企业vGPU驱动,但同时也意味着不能像vGPU一样通过VFIO映射到虚拟机里,只能以驱动作为媒介通过向软件暴露多个CUDA设备实现,使用tensorflow或者pytorch都可以看到多个CUDA设备。以下是一个简单的引导。
![Nvidia N卡 MIG功能 入门教程-MLEN](https://mrleaves-web-1309172379.cos.na-ashburn.myqcloud.com/2024/07/image-1024x768.png)
1. 用前须知
- 使用MIG功能前,首先要确定显卡是否支持该功能,该功能并没有二进制文件破解,所以必须要显卡本身支持。MIG功能,Nvidia官方支持列表:NVIDIA Multi-Instance GPU User Guide :: NVIDIA Data Center GPU Driver Documentation(如果不支持,但想要类似的功能,可以尝试使用二进制破解补丁过的GRID vGPU驱动,然后把显卡SRIOV成多个虚拟GPU设备。)
- 想清楚是否需要该功能,该功能的效果主要是分配计算性能(计算块)和内存资源(多少GB)来创建虚拟显卡设备,并不能直通到虚拟机,而且资源都是独享的,所以不能超量分配(虚拟化的vGPU是共享资源的)。
- 搞清楚软件/驱动等兼容性,有四个关键的版本兼容:Python版本,驱动版本,CUDA工具箱版本,Pytorch/Tensorflow版本(Pytorch版本兼容性列表如下Start Locally | PyTorch)。简单解释一下:Pytorch/Tensorflow需要特定Python版本,只有特定CUDA的lib,所以必须要提前看好,最好找到之前有人踩过的版本,比如Pytorch官方有写的应该是11.8,12.1,12.4三个版本,而CUDA版本又依赖驱动版本,所以驱动版本也需要考虑到。
- 学会使用Anaconda3,主要是Anaconda比较好切换和配置环境,可以查看anaconda官网的教程来安装,这里就不赘述。关键词放在这里:conda create –name <my-env>,conda activate <my-env>
官方教程:Managing environments — conda 24.7.2.dev7 documentation - 系统版本:免费用户推荐Ubuntu 22.04 LTS(撰文日期2024年7月),付费用户推荐RHV或者Ubuntu Pro,或者直接去官方企业后台找客服帮你装驱动。安装的时候大概率是要关闭X server的GUI,以及完全卸载当前驱动,所以Ubuntu对于小白,一般使用系统更新里面的第一个测试过的驱动即可,具体版本要看个人需要,也可以自己装openkernel本地compile。
2. 安装驱动
安装驱动有多种方式,Ubuntu是最简单的,可以直接使用软件更新里的第三方驱动里面实现。以下为通用教程。
- 官网下载对应版本驱动:Official Drivers | NVIDIA,自己对于软件版本选择Linux的对应发行版本,也要选择对应的CUDA-ToolKit版本
- 本地运行驱动程序前,更新系统和所有的包,安装必要的运行库,安装必要的Linux Header,可能用到的指令如下:
# 更新所有包
sudo apt update
sudo apt upgrade
# 删除不需要的包
sudo apt autoremove
# 安装对应的Linux Header
sudo apt-get install linux-headers-$(uname -r)
# 删除现有驱动程序或者默认驱动
sudo apt remove --purge '^nvidia-.*'
# 移除 X server GUI (移除后可以用Ctrl+Alt+F2切换到CLI)
sudo apt remove --purge xserver-xorg
# 可能会用到的安装DKMS(GRID vGPU驱动一般需要用这个)
sudo apt install nvidia-dkms-${DRIVER_BRANCH}${SERVER}
3. 安装软件
如果是使用Anaconda,一般会使用自己的CUDA lib,但如果要在系统上直接安装,可以去官网下载最新版CUDA Toolkit 12.5 Update 1 Downloads | NVIDIA Developer,一般官网是给rpm或者deb安装包文件或者是run(除非你想每次用.run卸载,你可以用.run,卸载的时候加–uninstall的flag)。以下会以Anaconda为例(NV官方库nvidia :: Anaconda.org):
- 创建并且激活一个能分辨的Conda Env(高手可以oneline + package install),比如
conda create –name newenv python=3.10
(创建新的环境+python3.10)
conda activate newenv - 在对应的Env里面安装对应的环境和驱动,如笔者当时用的是12.1就是如下指令:
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
(Start Locally | PyTorch,选conda会给你指令) - 部分情况你可能需要使用Nightly版本,也就是,Preview版本。
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch-nightly -c nvidia
如果稳定版不工作,或者Driver太新,都可以试试。
4. 启动MIG模式
MIG模式启动后,显卡会无法被CUDA使用,但仍然会被检测到。必须要手动设置实例后,CUDA会检测到所有的MIG实例。
# 显示所有设备和信息
nvidia-smi
# 显示详细信息(详细信息非常长,但是具体显卡支持的功能都会显示)
nvidia-smi -q
# 显示index 0设备的信息(看到MIG是关闭的,新驱动底下还会有MIG和线程信息)
# 如下是一张A100 40G的默认预设
nvidia-smi -i 0
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 450.80.02 Driver Version: 450.80.02 CUDA Version: 11.0 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 A100-SXM4-40GB Off | 00000000:36:00.0 Off | 0 |
| N/A 29C P0 62W / 400W | 0MiB / 40537MiB | 6% Default |
| | | Disabled |
+-------------------------------+----------------------+----------------------+
# 启动设备0的MIG模式(一旦启动,只能手动关闭,重启也会是这个模式)
sudo nvidia-smi -i 0 -mig 1
Enabled MIG Mode for GPU 00000000:36:00.0
# 关闭设备0的MIG模式(防止呆逼)
sudo nvidia-smi -i 0 -mig 0
# 显示MIG实例的预设(每个显卡不一样,比如笔者的A100 80G,19号是8g.10gb)
# (意思是8个计算块的性能+10GB的显存上限,+me是媒体引擎也就是编解码器,以此类推)
# 如下是一张A100 40G的默认预设
sudo nvidia-smi mig -lgip
+-----------------------------------------------------------------------------+
| GPU instance profiles: |
| GPU Name ID Instances Memory P2P SM DEC ENC |
| Free/Total GiB CE JPEG OFA |
|=============================================================================|
| 0 MIG 1g.5gb 19 7/7 4.75 No 14 0 0 |
| 1 0 0 |
+-----------------------------------------------------------------------------+
| 0 MIG 1g.5gb+me 20 1/1 4.75 No 14 1 0 |
| 1 1 1 |
+-----------------------------------------------------------------------------+
| 0 MIG 1g.10gb 15 4/4 9.62 No 14 1 0 |
| 1 0 0 |
+-----------------------------------------------------------------------------+
| 0 MIG 2g.10gb 14 3/3 9.62 No 28 1 0 |
| 2 0 0 |
+-----------------------------------------------------------------------------+
| 0 MIG 3g.20gb 9 2/2 19.50 No 42 2 0 |
| 3 0 0 |
+-----------------------------------------------------------------------------+
| 0 MIG 4g.20gb 5 1/1 19.50 No 56 2 0 |
| 4 0 0 |
+-----------------------------------------------------------------------------+
| 0 MIG 7g.40gb 0 1/1 39.25 No 98 5 0 |
| 7 1 1 |
+-----------------------------------------------------------------------------+
# 根据预设创建MIG实例
(9是预设9,3g.20gb是手动设置,-C创建计算资源,不加这个nvidia-smi看不到,CUDA也看不到)
sudo nvidia-smi mig -cgi 9,3g.20gb -C
# 根据预设创建MIG实例,以此类推你可以
(比如这个指令,在我的A100上创建7个19号instance,在笔者的设备上刚好ME够分,内存也够)
sudo nvidia-smi mig -cgi 19,19,19,19,19,19,19 -C
# 创建完成你就可以在nvidia-smi里面看到所有MIG设备了
# 注:重启会消失,你可以在systemd里面创建一个服务,开机自动分配(不会,问ChatGPT)
# 不用试Persistence Mode了,变Legacy了,而且我也试过了,没什么用,官方让用systemd service。
5. 额外信息
更多详细的官方信息,可以看NVIDIA Multi-Instance GPU User Guide :: NVIDIA Data Center GPU Driver Documentation。其实这个功能类似vGPU,但没vGPU那么难折腾,甚至nvidia-smi的显示方式都类似开了vGPU模式的lspci的设备信息。看每个人用途吧,MIG貌似是对部分计算用途有所帮助,在Tensorflow和Pytorch的代码里面都会识别出多个CUDA设备。看到该文章的人可以少走点弯路。方便的话点个赞或者收藏一下就行。
(转载教程署名即可,有问题可以TB找我,谢谢老板)
评论 (0)