# apt 离线源（本地镜像源）搭建经验分享

内网服务器、隔离环境（air-gapped）、CI 构建机经常处于无外网状态，这时 `apt install` 拉不到包。解决办法是在一台能联网的机器上把官方源镜像到本地，再用 HTTP 或 `file://` 让离线机访问。本文记录这套「离线源」从搭建到使用、以及 Ubuntu 新版本和 Kali 等系统的差异做法，照着做基本能一次配通。

## 一、背景与准备

**什么是 apt 离线源**：apt 源本质上就是「一堆 `.deb` 安装包 + `Packages` 索引文件 + `Release/InRelease` 签名文件」。客户端执行 `apt update` 拉索引，`apt install` 按索引去拉对应的 `.deb`。所谓离线源，就是把这一整套东西复制到本地（局域网服务器或 U 盘），让离线机从本地地址取，而不是从 `archive.ubuntu.com` 取。

**两个角色**：
- **源服务器**（能联网）：负责镜像官方源，提供 HTTP 或本地目录。
- **客户端**（离线/内网）：改自己的源地址指向源服务器。

**什么时候需要**：
- 服务器完全无外网（工控、内网堡垒机）。
- 局域网内有多台机器，不想每台都去公网拉，节省带宽。
- CI/CD 构建节点需要稳定、可复现的包版本。

**前置条件**：
- 一台能联网的同架构机器做源（本文以 amd64 为例，arm64 同理改架构参数）。
- 客户端与源服务器的**发行版版本、架构要一致**（给 Ubuntu 24.04 配 22.04 的源会 404）。
- 源服务器上有足够磁盘：Ubuntu 全组件镜像可能上百 GB，按需裁剪。

## 二、方案选型

| 方案 | 适合场景 | 是否自带签名 | 难度 |
|---|---|---|---|
| **apt-mirror** | 想完整镜像官方源、懒得管细节 | 保留上游签名 | 低 |
| **aptly** | 要精简、要快照、要自签名、要可控 | 支持自签名/GPG | 中 |
| **dpkg-scanpackages** | 只放自己/少量 `.deb`，极简本地源 | 无（需 `trusted=yes`） | 低 |
| **apt-offline** | 没有源服务器，单台离线机临时装包 | 沿用官方签名 | 低 |

下文按「完整镜像（apt-mirror）→ 可控镜像（aptly）→ 极简源（dpkg-scanpackages）」三种服务端做法讲，客户端配置单独一节（含 Ubuntu 新旧标准差异），最后给真正断网场景的 `file://` 与 `apt-offline` 做法。

## 三、服务端：用 apt-mirror 搭建完整离线源（Ubuntu 示例）

适合「把整个 Ubuntu 源搬回家」的场景，命令最少。

```bash
# 1) 在源服务器上安装 apt-mirror
sudo apt update
sudo apt install -y apt-mirror

# 2) 编辑配置 /etc/apt/mirror.list
sudo cp /etc/apt/mirror.list /etc/apt/mirror.list.bak
```

`/etc/apt/mirror.list` 关键配置（以 Ubuntu 24.04 = noble 为例，只镜像 amd64 主用组件，避免爆盘）：

```bash
############# config ##############
set base_path    /srv/apt-mirror
set mirror_path  $base_path/mirror
set skel_path    $base_path/skel
set var_path     $base_path/var
set defaultarch  amd64
set postmirror_script $var_path/postmirror.sh
set run_postmirror 0
############# mirrors ##############
deb http://archive.ubuntu.com/ubuntu noble main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu noble-updates main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu noble-security main restricted universe multiverse
clean http://archive.ubuntu.com/ubuntu
```

```bash
# 3) 执行镜像（首次拉取很大、很慢，放后台跑）
sudo apt-mirror
# 镜像完成后内容在 /srv/apt-mirror/mirror/archive.ubuntu.com/ubuntu

# 4) 用 Nginx 把该目录暴露成 HTTP 源
sudo apt install -y nginx
```

Nginx 站点配置（把 ubuntu 目录作为 web 根，客户端地址就干净了）：

```nginx
server {
    listen 80;
    server_name _;
    root /srv/apt-mirror/mirror/archive.ubuntu.com/ubuntu;
    location / {
        autoindex on;
    }
}
```

```bash
sudo ln -s /etc/nginx/sites-available/apt-mirror /etc/nginx/sites-enabled/
sudo nginx -t && sudo systemctl reload nginx
```

此时源地址为 `http://<源服务器IP>/ubuntu`。可选：把 `apt-mirror` 放进 `cron` 定期同步（`0 3 * * * root /usr/bin/apt-mirror`）。

## 四、服务端：用 aptly 搭建（推荐，可控 + 可签名）

apt-mirror 是「整盘照抄」，aptly 则可以按需挑选、做快照、还能用你自己的 GPG 密钥签名，更适合对版本有要求的生产环境。

```bash
# 1) 安装 aptly（Ubuntu/Debian 源里就有）
sudo apt install -y aptly

# 2) 创建并同步一个镜像（noble + 常用组件，仅 amd64）
aptly mirror create -architectures=amd64 ubuntu-noble http://archive.ubuntu.com/ubuntu noble main restricted universe multiverse
aptly mirror update ubuntu-noble

# 3) 打个快照（以后升级时基于快照，可回滚）
aptly snapshot create ubuntu-noble-snap from mirror ubuntu-noble

# 4) 发布快照，带发布前缀 ubuntu，distribution 设为 noble
aptly publish snapshot -distribution=noble ubuntu-noble-snap ubuntu
# 发布产物在 ~/.aptly/public/ubuntu
```

发布后内容在 `~/.aptly/public`，直接暴露即可：

```bash
sudo apt install -y nginx
```

```nginx
server {
    listen 80;
    server_name _;
    root /home/<你的用户>/.aptly/public;
    location / { autoindex on; }
}
```

客户端源地址即 `http://<源服务器IP>/ubuntu`，`Suites: noble`。

> 想用自签名：先 `gpg --gen-key` 生成密钥，发布时加 `-keyring`/`--passphrase` 相关参数，aptly 会生成 `InRelease` 签名；客户端用 `Signed-By` 指向你导出的公钥 keyring。若只是内网测试不想管密钥，可用后文的 `Trusted: yes` 临时跳过校验（不安全，仅内网验证用）。

## 五、服务端：极简本地源（dpkg-scanpackages）

只打算放几个自己编译/下载的 `.deb`（比如离线装 Docker、离线装某个内部包），不需要镜像整个官方源。

```bash
# 1) 建目录并放入 .deb
sudo mkdir -p /srv/local-deb
sudo cp *.deb /srv/local-deb/

# 2) 生成 Packages 索引
cd /srv/local-deb
dpkg-scanpackages . /dev/null > Packages
gzip -k Packages          # 同时生成 Packages.gz，apt 优先用压缩版

# 3) 用 Nginx 暴露（root 指向 /srv/local-deb）
# 客户端用 deb http://<IP>/ /  即可（见第六章 旧格式 flat 写法）
```

这种「扁平源」没有 dist/component 层级，客户端配置见第六章末尾说明。

## 六、客户端配置（重点：Ubuntu 新旧标准 + Kali）

这是本文最关键的一节。**Ubuntu 24.04 起默认用 DEB822 格式**（文件在 `/etc/apt/sources.list.d/ubuntu.sources`），而 22.04 及以前用传统的单行 `/etc/apt/sources.list`。两者字段完全不同，配错就 404。

### 6.1 Ubuntu 24.04+（DEB822 新标准）

新建 `/etc/apt/sources.list.d/local.sources`（不要碰系统默认的 `ubuntu.sources`，可以禁用它）：

```bash
# 禁用系统默认公网源（可选）
sudo mv /etc/apt/sources.list.d/ubuntu.sources /etc/apt/sources.list.d/ubuntu.sources.disabled 2>/dev/null

sudo tee /etc/apt/sources.list.d/local.sources > /dev/null <<'EOF'
Types: deb
URIs: http://192.168.1.10/ubuntu
Suites: noble noble-updates noble-security
Components: main restricted universe multiverse
Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
EOF
```

要点：
- `Types: deb` 对应旧的 `deb` 开头。
- `URIs` 就是源的 HTTP 地址（apt-mirror/aptly 暴露出来的那个）。
- `Suites` 对应旧格式的「发行版代号」，如 `noble`(24.04) / `jammy`(22.04) / `resolute`(26.04)。
- `Components` 对应旧格式的 `main restricted universe multiverse`。
- `Signed-By`：**务必保留**。因为 apt-mirror 镜像的是上游、签名仍是 Ubuntu 官方密钥，所以这里继续用 `/usr/share/keyrings/ubuntu-archive-keyring.gpg`。若你用 aptly 自签名，则改成你导出的 keyring 路径；内网临时验证可改成 `Trusted: yes`（跳过校验，不安全）。

> 版本代号别写错：26.04=resolute、24.04=noble、22.04=jammy、20.04=focal。写错会直接 404。

### 6.2 Ubuntu 22.04 及以前（传统单行格式）

直接编辑 `/etc/apt/sources.list`：

```bash
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo sed -i 's|^deb |#deb |g' /etc/apt/sources.list   # 先注释掉公网源

sudo tee -a /etc/apt/sources.list > /dev/null <<'EOF'
deb http://192.168.1.10/ubuntu noble main restricted universe multiverse
deb http://192.168.1.10/ubuntu noble-updates main restricted universe multiverse
deb http://192.168.1.10/ubuntu noble-security main restricted universe multiverse
EOF
```

### 6.3 Kali Linux

Kali 基于 Debian，传统用单行格式，仓库名是 `kali-rolling`：

```bash
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak

sudo tee /etc/apt/sources.list > /dev/null <<'EOF'
deb http://192.168.1.10/kali kali-rolling main non-free non-free-firmware
EOF
```

服务端需先镜像 Kali 源（在源服务器上把下面这行加进 `mirror.list` 或用 aptly）：

```bash
deb http://kali.download/kali kali-rolling main non-free non-free-firmware
```

Kali 的签名密钥在 `/usr/share/keyrings/kali-archive-keyring.gpg`；用 DEB822 时 `Signed-By` 指向它即可。注意 Kali 新版滚动源组件含 `non-free-firmware`，漏写会报错。

### 6.4 Debian

Debian 12（bookworm）仍主要用单行格式：

```bash
deb http://192.168.1.10/debian bookworm main contrib non-free non-free-firmware
deb http://192.168.1.10/debian-security bookworm-security main contrib non-free non-free-firmware
```

Debian 12+ 同样支持 DEB822（`/etc/apt/sources.list.d/debian.sources`），字段与 Ubuntu 一致。值得一提的是，**最原始的离线源就是 Debian 安装盘的 CD-ROM 源**——`deb cdrom:[Debian GNU/Linux ...]/ stable main`，插盘即可 `apt install`，本质是同一套本地索引机制。

### 6.5 扁平本地源（dpkg-scanpackages 产物）的客户端写法

扁平源没有 dist/component 层级，旧格式一行搞定：

```bash
deb [trusted=yes] http://192.168.1.10/ /
```

（`[trusted=yes]` 是因为这种源通常没签名；若你有签名 keyring，换成 `[signed-by=/path/to/key.gpg]`。）

## 七、真正断网（air-gapped）场景

前面都是「源服务器在内网、客户端在另一台内网机」。如果**客户端压根连不上源服务器**（完全物理隔离），有两种做法。

### 7.1 把整个镜像目录用 U 盘搬过去，用 file:// 挂载

在离线机上把 U 盘内容放到 `/srv/apt-mirror/mirror/archive.ubuntu.com/ubuntu`，然后客户端用 `file://`：

DEB822（`/etc/apt/sources.list.d/local.sources`）：

```bash
Types: deb
URIs: file:///srv/apt-mirror/mirror/archive.ubuntu.com/ubuntu
Suites: noble noble-updates noble-security
Components: main restricted universe multiverse
Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
```

旧格式：

```bash
deb file:///srv/apt-mirror/mirror/archive.ubuntu.com/ubuntu noble main restricted universe multiverse
```

### 7.2 单台离线机装包：apt-offline（不搭源）

没有源服务器、只想临时给一台离线机装个包，用 `apt-offline` 在离线机生成「需求清单」，搬到联网机下载，再搬回来装：

```bash
# 离线机上：生成需求签名（同时可包含 apt update 需求）
apt-offline set /tmp/need.sig --install vim --update

# 把 /tmp/need.sig 拷到联网机，下载成压缩包
apt-offline get /tmp/need.sig --download /tmp/bundle.zip

# 把 /tmp/bundle.zip 拷回离线机，安装
apt-offline install /tmp/bundle.zip
# 之后直接 apt install vim 即可（包已在本地缓存）
```

## 八、验证

在客户端执行：

```bash
sudo apt update
# 正常应看到从 http://192.168.1.10/... 拉取，无 404/签名报错

apt-cache policy vim
# 输出里 "***" 指向的源应为你的本地地址，说明客户端确实在走离线源

sudo apt install -y vim      # 实测安装一个包验证
```

## 九、排错速查

| 现象 | 原因 | 处理 |
|---|---|---|
| `404 Not Found` / `Unable to locate package` | `Suites` 代号写错（resolute/noble/jammy/bookworm/kali-rolling 混淆），或 `Components` 拼错 | 核对版本代号与组件名，重新 `apt update` |
| `NO_PUBKEY` / GPG 签名错误 | `Signed-By` 路径错、keyring 缺失，或 aptly 自签名未导入客户端 | 指对 keyring 路径；或用 `sudo apt install --reinstall ubuntu-keyring` 修复官方密钥；内网测试可临时 `Trusted: yes` |
| `apt update` 卡住/超时 | 源服务器 Nginx 没起、防火墙挡 80、URIs 路径不对 | 源服务器 `curl -I http://127.0.0.1/ubuntu` 自测；客户端 `ping`/`telnet` 通不通 |
| 架构不匹配（`amd64` vs `arm64`） | 源是 amd64 镜的，客户端是 arm64 | 镜像时加对应架构；或客户端换对应架构源 |
| 磁盘爆满 | apt-mirror 全组件镜像太大 | `mirror.list` 只保留需要的组件，或改用 aptly 按需快照 |
| `InRelease` 被忽略 / `not signed` | 扁平源没签名又没加 `trusted=yes` | 旧格式加 `[trusted=yes]`，DEB822 加 `Trusted: yes`（仅内网友善环境） |

## 十、小结与参考资料

搭建 apt 离线源的核心就三步：**源服务器镜像官方源 → 用 HTTP（或 U 盘 `file://`）暴露 → 客户端改源地址指向它**。Ubuntu 24.04+ 必须按 DEB822 格式写 `*.sources`（字段 `Types/URIs/Suites/Components/Signed-By`），老版本和 Kali/Debian 仍用单行 `deb http://...` 格式，两者别混。完全断网时用 `file://` 或 `apt-offline` 搬运即可。

参考资料：
- 《新装 Ubuntu 26.04 LTS 换源终极指南：阿里云/华为云 DEB822 配置教程》（ClawLoader，知识库「Linux运维」）——DEB822 字段结构与版本代号对照。
- 《CentOS 系统更换阿里云 yum 源 & Debian 系统更换 APT 源》（知识库「Linux运维」）——传统单行 APT 源写法与 `sed` 替换思路。


apt 离线源（本地镜像源）搭建经验分享

# 在 Proxmox VE 上给 Tesla P100 开启 vGPU

> **建议环境：PVE 8.x**（出厂内核在 6.x 范围，GRID R535 DKMS 直接编译通过）。本文在 PVE 9.2.2 上操作，多了一步降内核，其余流程完全一致。

> 经验分享：在刚装好的 PVE 9.2.2 上，给一张 Tesla P100（Pascal 架构）开启 vGPU 的完整做法。P100 在 NVIDIA vGPU 官方支持列表中（见 [vgpu-evaluation](https://www.nvidia.cn/data-center/resources/vgpu-evaluation/)），使用 **R535 分支的 GRID 驱动**即可原生支持 vGPU，不需要任何解锁工具。装好驱动后直接暴露 14 个 `GRID P100-*` vGPU 类型。本文每一步都在这台机器上实际跑过。

## 0. 环境

- PVE：`pve-manager/9.2.2`，内核 `6.14.11-4-pve`（PVE 9 出厂是 7.0 内核，GRID 535 需要降到 6.14 才能正常编译 DKMS 模块）
- 显卡：`01:00.0 NVIDIA Corporation GP100GL [Tesla P100 PCIe 16GB]`（PCI ID `10de:15f8`，Pascal 架构）
- 宿主机：AMD 平台 → IOMMU 参数用 `amd_iommu=on`
- 启动方式：EFI，引导器是 **GRUB**（`/EFI/proxmox/grubx64.efi`），内核参数改 `/etc/default/grub`
- 机器默认没有外网（仅 DNS 解析失败），把 DNS 指到公共 DNS 即恢复
- vGPU 必须用 **NVIDIA GRID 驱动**（企业门户登录才能下载，nvid.nvidia.com），公版 Tesla 驱动没有 vGPU 管理器

### 版本依赖链

P100 的 vGPU 支持有明确上限，向下传导形成了版本约束：

> P100 → vGPU Release **16**（R535 分支，Last Supported Branch）→ Linux 内核 **6.x**（7.0 以上 DKMS 编不过）→ PVE **8.x**（出厂内核在 6.x 范围）

| 层级 | 上限 | 说明 |
| --- | --- | --- |
| GPU | Tesla P100（Pascal, `0x15F8`） | — |
| vGPU 软件版本 | Release **16**（R535 驱动分支） | NVIDIA 官方 [vGPU 支持列表](https://docs.nvidia.com/vgpu/gpus-supported-by-vgpu.html) 标注 Last Supported Branch = 16 |
| GRID 驱动 | **R535**（如 `535.309.01`） | R595 已移除 Pascal 支持，R580 部分兼容；R535 完整支持且 P100 原生 14 个 profile |
| Linux 内核 | **6.x**（本文用 6.14） | 7.0 以上内核 GRID 535 DKMS 编译失败 |
| PVE | 推荐 **8.x** | PVE 8 出厂内核在 6.x 范围；PVE 9 出厂 7.0 需要手动降内核 |

> 如果从零搭建，直接装 **PVE 8.x + R535 GRID 驱动** 是最省事的组合——内核不用动、驱动直接装。本文盒子装的是 PVE 9，所以多了一步降内核（第 2 节），其余流程完全一致。

## 1. 恢复外网（盒子只是 DNS 坏了）

```bash
# 临时把 DNS 指向公共 DNS（立刻生效）
cp /etc/resolv.conf /etc/resolv.conf.bak
printf "nameserver 8.8.8.8\nnameserver 1.1.1.1\n" > /etc/resolv.conf

# 验证 DNS 恢复
getent hosts google.com && echo DNS_OK
curl -s -o /dev/null -w "nvidia=%{http_code}\n" https://www.nvidia.com
curl -s -o /dev/null -w "ustc=%{http_code}\n" https://mirrors.ustc.edu.cn
```

`download.proxmox.com` 在本机网络里不可达，apt 源换到中科大镜像，并让 DNS 持久化：

```bash
cat > /etc/apt/sources.list.d/debian.sources <<'EOF'
Types: deb
URIs: https://mirrors.ustc.edu.cn/debian
Suites: trixie trixie-updates
Components: main contrib non-free-firmware
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg

Types: deb
URIs: https://mirrors.ustc.edu.cn/debian-security
Suites: trixie-security
Components: main contrib non-free-firmware
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg
EOF

cat > /etc/apt/sources.list.d/pve-no-subscription.sources <<'EOF'
Types: deb
URIs: https://mirrors.ustc.edu.cn/proxmox/debian/pve
Suites: trixie
Components: pve-no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF

# 关掉企业源
mv -f /etc/apt/sources.list.d/pve-enterprise.sources /etc/apt/sources.list.d/pve-enterprise.sources.disabled
mv -f /etc/apt/sources.list.d/ceph.sources /etc/apt/sources.list.d/ceph.sources.disabled

# DNS 持久化
grep -q "dns-nameservers" /etc/network/interfaces || \
  sed -i "/iface vmbr0 inet static/a\\	dns-nameservers 8.8.8.8 1.1.1.1" /etc/network/interfaces

apt-get update
```

## 2. 降内核到 6.14（GRID 535 的要求）

PVE 9 出厂内核是 7.0，GRID 535 的 DKMS 模块在 7.0 上编不过。降到社区验证可用的 **6.14.11-4-pve**：

```bash
DEBIAN_FRONTEND=noninteractive apt-get install -y \
  proxmox-kernel-6.14.11-4-pve proxmox-headers-6.14.11-4-pve \
  build-essential dkms mdevctl
```

## 3. 默认 6.14 启动 + IOMMU + 屏蔽 nouveau

```bash
# 屏蔽 nouveau
echo "blacklist nouveau" > /etc/modprobe.d/blacklist-nouveau.conf
echo "options nouveau modeset=0" >> /etc/modprobe.d/blacklist-nouveau.conf

# 内核参数（AMD 主机）
cp /etc/default/grub /etc/default/grub.bak
sed -i 's/^GRUB_CMDLINE_LINUX_DEFAULT=.*/GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt modprobe.blacklist=nouveau"/' /etc/default/grub

# 默认启动 6.14
sed -i 's|^GRUB_DEFAULT=.*|GRUB_DEFAULT="Advanced options for Proxmox VE GNU/Linux>Proxmox VE GNU/Linux, with Linux 6.14.11-4-pve"|' /etc/default/grub

update-grub
update-initramfs -u -k all
reboot
```

重启后确认：

```bash
uname -a                       # 6.14.11-4-pve
cat /proc/cmdline              # 含 amd_iommu=on 和 modprobe.blacklist=nouveau
lsmod | grep nouveau || echo "nouveau 未加载(OK)"
dmesg | grep -i iommu | head   # IOMMU 已启用
```

## 4. 安装 NVIDIA GRID 驱动（535 分支）

从 [NVIDIA 企业门户](https://nvid.nvidia.com) 下载 R535 分支的 vGPU KVM 驱动（如 `NVIDIA-Linux-x86_64-535.309.01-vgpu-kvm.run`）。**R595 已砍掉 Pascal 支持，P100 只能用 R535 或 R580。** 把 `.run` 放到 `/root/` 下。

```bash
cd /root
chmod +x NVIDIA-Linux-x86_64-535.309.01-vgpu-kvm.run
./NVIDIA-Linux-x86_64-535.309.01-vgpu-kvm.run --silent --dkms --accept-license
# --silent          无交互
# --dkms            模块随内核更新自动重编
# --accept-license  接受协议（silent 模式必须带）
# 退出码 0 即成功

# 启动两个 daemon
# nvidia-vgpud：oneshot，把 vGPU profile 注册到内核 mdev 类型
# nvidia-vgpu-mgr：长驻，管 vGPU 实例生命周期
systemctl enable --now nvidia-vgpud nvidia-vgpu-mgr

# 验证
nvidia-smi            # 应看到 Tesla P100-PCIE-16GB / 535.309.01
mdevctl types         # 0000:01:00.0 下出现 GRID P100-* 类型
```

P100 有 16GB 显存，暴露的 vGPU 类型（14 个）：

| nvidia 编号 | Profile | 显存 | 最大实例数 |
| --- | --- | --- | --- |
| nvidia-83 | GRID P100-1Q | 1 GB | 16 |
| nvidia-84 | GRID P100-2Q | 2 GB | 8 |
| nvidia-85 | GRID P100-4Q | 4 GB | 4 |
| **nvidia-86** | **GRID P100-8Q** | **8 GB** | **2** |
| nvidia-87 | GRID P100-16Q | 16 GB | 1 |
| nvidia-160 | GRID P100-2B | 2 GB | 8 |
| nvidia-211 | GRID P100-2B4 | 2 GB | 8 |
| nvidia-244 | GRID P100-1B4 | 1 GB | 16 |
| nvidia-88 | GRID P100-1A | 1 GB | 16 |
| nvidia-89 | GRID P100-2A | 2 GB | 8 |
| nvidia-90 | GRID P100-4A | 4 GB | 4 |
| nvidia-91 | GRID P100-8A | 8 GB | 2 |
| nvidia-92 | GRID P100-16A | 16 GB | 1 |
| nvidia-243 | GRID P100-1B | 1 GB | 16 |

> Q 系列（Quadro）适合图形工作站；A 系列（vApps）适合应用虚拟化；B 系列（vPC）适合普通桌面。本机 VM 9000 用的是 **nvidia-86（P100-8Q, 8 GB）**——留一半显存给宿主机或其他 VM。

## 5. 挂给虚拟机

PVE 用 `mdev` 方式最省事。`qm set` 指定 mdev 类型，启停 VM 时 PVE 自动创建/回收实例：

```bash
# VMID 9000 已创建（详见 windows-vm-anti-detection.md），直接挂 vGPU
qm set 9000 -hostpci0 0000:01:00.0,mdev=nvidia-86
```

> 手动验证（可选）：
> ```bash
> UUID=$(cat /proc/sys/kernel/random/uuid)
> mdevctl define -u $UUID -p 0000:01:00.0 -t nvidia-86 && mdevctl start -u $UUID
> mdevctl list
> mdevctl stop -u $UUID; mdevctl undefine -u $UUID   # 验证完清理
> ```

> `mdevctl` 1.4.0 语法是 `define`/`start`/`undefine`，没有老版本的 `create` 子命令。UUID 用 `cat /proc/sys/kernel/random/uuid`（盒子无 uuidgen）。

## 6. 验证

- 宿主机：`nvidia-smi` 能看到 P100；`mdevctl list` 能看到已创建的 vGPU 实例
- Guest（Windows）：设备管理器出现 NVIDIA 显卡，装 **535 分支 GRID 客户驱动**后 `nvidia-smi` 看到 **Tesla P100**，无需伪装

## 7. 排错速查

| 现象 | 原因 | 处理 |
| --- | --- | --- |
| `apt-get update` 报 "Temporary failure resolving" | DNS 未修复 | 回到第 1 步确认 `/etc/resolv.conf` 和 `/etc/network/interfaces` |
| `nvidia-smi` 报 "couldn't communicate with driver" | 内核不匹配或 nouveau 未屏蔽 | 确认当前是 6.14 且 nouveau 未加载，重跑安装 |
| 装完 `mdevctl types` 在 `0000:01:00.0` 下没有 nvidia 类型 | 两个 daemon 没都起，或内核模块残留 | 确认 `systemctl is-active nvidia-vgpud nvidia-vgpu-mgr`，两个 daemon 都正常运行即可 |
| 切换驱动后 `mdevctl types` 仍空 + dmesg `vGPU type info already present` | 内核模块残留上轮注册表 | `systemctl stop nvidia-vgpu-mgr nvidia-vgpud; modprobe -r nvidia_vgpu_vfio nvidia_uvm nvidia_drm nvidia_modeset nvidia; sleep 2; modprobe nvidia; modprobe nvidia_vgpu_vfio; systemctl restart nvidia-vgpud nvidia-vgpu-mgr` |
| 启动 VM 报 vfio 警告（`Could not enable error recovery` / `BAR 1: dma-buf`） | 无害 | vGPU 设备正常工作，忽略 |
| Guest 显卡报错 43 | 驱动大版本不匹配 | 宿主机和 guest 都用 **535 分支** GRID 驱动；guest 设备管理器应看到 **Tesla P100** |
| 选了 24Q/16Q 等大 profile 但创建失败 | 显存、实例数超限 | P100 有 16G，单实例不能超过 16G；参考第 4 节表格选型 |
## 小结

Tesla P100 在 PVE 9 上开 vGPU 只需要三件事：**降内核到 6.14** + **装 R535 GRID 驱动** + **起两个 daemon**。P100 在 535 下**原生支持 vGPU**，直接装驱动即可暴露 14 个 `GRID P100-*` 类型，不需要任何解锁工具。

## 参考资料

- [NVIDIA vGPU 评估页面](https://www.nvidia.cn/data-center/resources/vgpu-evaluation/) — P100 在官方 vGPU 支持列表中
- [NVIDIA 企业门户](https://nvid.nvidia.com) — GRID vGPU-kvm 驱动下载（需企业账号）
- [pve-anti-detection-main](https://github.com/) — Windows 虚拟机反检测（同一台机器的配套教程 `windows-vm-anti-detection.md`）


在 Proxmox VE 上给 Tesla P100 开启 vGPU

在 Proxmox VE 上准备一台“看不出是虚拟机”的 Windows 虚拟机

# 两种 vGPU 解锁方案的架构对比

> 经验分享：对于不在 NVIDIA GRID 驱动原生 vGPU 白名单内的显卡（如消费级 GTX/RTX 系列，或在新版本驱动中被移除 profile 的旧专业卡），社区有两条成熟的解锁路线——`vgpu_unlock-rs`（运行时 LD_PRELOAD 拦截）和 `vGPU-Unlock-patcher`（安装前离线修改驱动包）。本文把两条路的核心思路、拦截点和取舍对比清楚，不绑定具体型号。

## 背景

NVIDIA GRID vGPU 驱动启动时对显卡做两道硬检查：

1. **准入检查**：`nvidia-vgpud` 看设备 ID 在不在驱动内置的匹配臂里（Pascal/Volta/Ampere 等架构），不在就直接拒绝。
2. **配置查表**：准入后，驱动拿设备 ID 去 `vgpuConfig.xml` 里查"这个 ID 下有哪些 vGPU profile"，查不到就不暴露 `mdev` 类型。

不在白名单或 profile 被移除的显卡两道都过不了。两条解锁路线就是在不同的环节把这两道拦下来。

## 路线一：vgpu_unlock-rs — 运行时拦截

**拦截点：daemon 启动之后、系统调用之前。**

```
正常装 GRID 驱动 → 编译 libvgpu_unlock_rs.so → systemd drop-in 注入 LD_PRELOAD
  → daemon 启动时 so 劫持设备 ID 查询 → 替换成一张有 profile 的卡 → 驱动以为这是支持的型号
```

核心是一个 Rust 写的 `.so`，通过 `LD_PRELOAD` 注入到 `nvidia-vgpud` 和 `nvidia-vgpu-mgr` 两个守护进程。daemon 查设备 ID 时，so 拦截系统调用，把真实 ID 替换成伪装目标的 ID，驱动拿着伪装后的 ID 去查表 → 命中 profile → 暴露 mdev 类型。

**核心步骤：**

1. 正常安装 GRID 驱动（不做任何修改）
2. 克隆 `vgpu_unlock-rs`，修改 `src/lib.rs`——把目标显卡的设备 ID 加进对应架构的匹配臂，并指定伪装目标（一张驱动配置文件里有 profile 的卡）
3. `cargo build --release` 编译 `.so`
4. 给两个 daemon 加 systemd drop-in，注入 `LD_PRELOAD` 指向 `.so`
5. 重启 daemon

**特点：**

- **不碰驱动安装包**：正常安装 `.run`，不需要提前修改。
- **不改内核模块**：只拦截用户态 daemon 的系统调用。
- **改伪装目标很快**：`src/lib.rs` 改一行设备 ID，`cargo build --release` 增量编译几秒完成。
- **伪装目标受限于 `vgpuConfig.xml`**：每个驱动版本砍了哪些卡的 profile 不一样，得挑一个"还在配置文件里且架构匹配"的目标。

## 路线二：vGPU-Unlock-patcher — 离线修改驱动包

**拦截点：驱动安装之前，直接改安装包里的文件。**

```
拿到 GRID .run → patch.sh 三板斧 → 产出 *-patched/ 驱动 → 安装 → 就是"破解版"
```

三板斧分别解决不同层面的问题：

### 斧一：vcfgclone — 改 vgpuConfig.xml

把一张有 profile 的卡的条目克隆到目标显卡的设备 ID 下。这样配置文件里目标卡名下就有了完整的 vGPU profile 定义，不需要伪装设备 ID。这是它比 vgpu_unlock-rs **更彻底**的地方——直接在配置层解决问题。

### 斧二：cvgpu.c — 编译 libvgpucompat.so

C 写的内核 ioctl 拦截库，作用和 vgpu_unlock-rs 的 `.so` 完全等价——都是 LD_PRELOAD 劫持设备 ID 查询。gcc 编译成 `.so` 后放 `/usr/lib/x86_64-linux-gnu/`，通过 `ld.so.preload` 或 systemd drop-in 注入。

### 斧三：blob-*.diff — patch 内核模块二进制

直接改 `nvidia.ko` 等内核模块的十六进制，从最底层绕过 GPU 检查。这是**版本敏感的**：diff 是针对特定驱动版本做的，换版本几乎一定不匹配。项目脚本用 `patch -f`（强制、忽略失败），且没有 `set -e`，版本不对时静默跳过——你以为打了补丁，实际上没打，不会报错。

> 三条斧各有独立性：不装内核补丁（斧三），仅靠斧一 + 斧二通常也能工作。斧一改配置文件、斧二做运行时拦截，两者互补。

## 对比总表

| 维度 | vgpu_unlock-rs | vGPU-Unlock-patcher |
| --- | --- | --- |
| **拦截时机** | 运行时（daemon 启动） | 安装前（离线改包） |
| **落地方式** | 正常装驱动 + LD_PRELOAD | 改完驱动包再装 |
| **改配置文件** | 不碰 vgpuConfig.xml | 斧一 vcfgclone 直接加条目 |
| **内核模块** | 不碰 | 斧三 blob patch（版本敏感） |
| **伪装机制** | 运行时替换设备 ID | 斧一直接在配置里加目标卡条目 |
| **换驱动版本** | 改一行伪装目标，重编 .so（几秒） | 重新跑 patch.sh 全流程 |
| **运行时依赖** | 依赖 LD_PRELOAD + daemon drop-in | 装完即可，无额外运行时依赖 |
| **语言/工具链** | Rust + cargo | C + gcc + bash |
| **维护成本** | 低 | 中高（每版要重打三板斧，内核补丁需更新 diff） |

## 选择建议

两条路线的核心差异在**拦截点**和**维护成本**：

- **vgpu_unlock-rs** 在运行时劫持，不碰驱动包本身。换驱动版本只需改一行伪装目标、重编 `.so`。适合频繁更新驱动、追求最小改动的场景。
- **vGPU-Unlock-patcher** 在安装前改包，装完就是"破解版"，无运行时注入依赖。但内核模块 patch（斧三）版本敏感，换版本要重走全流程。适合"装一次用很久"的场景。

实际使用中，两条路线可以互补：先用 patcher 的 vcfgclone 直接给目标卡在配置文件里加条目（斧一），如果还不够，再上 vgpu_unlock-rs 或 libvgpucompat.so（斧二）做运行时兜底。内核模块 patch（斧三）作为最后手段，版本匹配时才考虑。

## 参考资料

- [vgpu_unlock-rs](https://github.com/mbilker/vgpu_unlock-rs) — Rust 版 LD_PRELOAD 拦截库
- [vgpu_unlock](https://github.com/NVIDIA/vgpu_unlock) — 上游项目
- [vGPU-Unlock-patcher](https://github.com/VGPU-Community-Drivers/vGPU-Unlock-patcher) — 离线改包路线
