요약
3편에서는 Fabric Manager가 NVLink로 묶어 주는 GPU 조합인 fabric partition(이하 '파티션')을 DRA(동적 리소스 할당)로 할당하고 VM에 연결했습니다. 학습 작업을 실행하려면 GPU뿐 아니라 다른 서버와 IB(InfiniBand)로 통신할 NIC(network interface card), 모델과 데이터를 읽고 쓸 로컬 스토리지도 필요합니다.
이 연재는 다음과 같이 구성됩니다.
- 1편: 컨테이너와 VM의 차이, Kata Containers의 Pod 실행 구조
- 2편: GPU 패스스루 계층과 GPU 8장 VM의 부팅·메모리 구성
- 3편: Fabric Manager 파티션과 DRA를 이용한 GPU 할당
- 4편: IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능
먼저 IB NIC와 로컬 NVMe를 VM에 연결하면서 겪은 문제를 살펴보고, 이어서 vCPU를 호스트 CPU에 잘못 배치해 생긴 문제와 해결 방법을 다룹니다. 끝으로 사용자가 작성하는 Pod YAML과 베어메탈 대비 성능을 정리합니다.
VM 안에서 IB 네트워크 쓰기
VM 안의 GPU가 다른 서버의 GPU와 데이터를 주고받으려면 무엇이 필요할까요? 분산 학습은 스텝마다 수 GB의 그레이디언트(gradient)를 서버 사이에서 주고받습니다. TCP 소켓으로 보내면 요청마다 시스템 콜과 커널 소켓 버퍼 복사를 거치므로 그 처리 시간이 학습 시간에 더해집니다.
서버 사이의 GPU 통신과 RDMA
RDMA(remote direct memory access)에서는 애플리케이션이 메모리 영역을 미리 등록하고 그 주소와 접근 키를 상대 서버와 교환해 둡니다. 그러면 NIC는 CPU와 커널 네트워크 스택을 거치지 않고, 등록된 메모리에서 데이터를 읽어 상대 서버의 등록된 메모리에 직접 씁니다. 저희 환경에서는 IB 네트워크로 RDMA를 사용합니다.
일반 RDMA가 다루는 대상은 호스트 메모리이므로 GPU의 데이터를 보내려면 먼저 호스트 메모리로 복사해야 합니다. GPUDirect RDMA(이하 'GDR')에서는 NIC가 GPU 메모리의 BAR(Base Address Register) 영역을 DMA(direct memory access)로 읽고 쓸 수 있어 이 복사가 필요 없습니다. NCCL(NVIDIA Collective Communications Library)은 GPU와 NIC가 가까이 연결되어 있으면 이 경로를 사용합니다.
IB NIC를 VM에 연결하기
호스트에서 RDMA를 사용할 때는 /dev/infiniband 아래의 장치 파일을 엽니다. 하지만 이 파일은 호스트 커널의 드라이버에 접근하는 인터페이스이므로 VM 안에서는 쓸 수 없습니다. 따라서 VM의 GPU로 RDMA 통신을 하려면 IB NIC 자체를 게스트에 연결해야 했습니다.
GPU와 같은 방식으로 NIC를 vfio-pci에 바인딩한 뒤 VFIO(Virtual Function I/O)로 게스트에 연결했습니다. 게스트에서도 NIC를 사용할 수 있도록 커널에 mlx5와 IB 드라이버를 넣어 빌드했습니다.
다만 NIC도 GPU처럼 한 번에 VM 하나에만 연결할 수 있습니다. B200 서버에는 GPU마다 짝지어진 컴퓨트 NIC 8개와 스토리지 네트워크용 NIC 2개가 있습니다. 컴퓨트 NIC는 GPU와 1:1로 짝지어 있어 그대로 연결하면 되지만, 스토리지 NIC는 2개뿐이라 VM 8개에 하나씩 연결할 수 없었습니다. 그래서 스토리지 NIC에는 SR-IOV를 적용했습니다.
NIC 하나를 여러 VM에서 쓰는 SR-IOV
SR-IOV(Single Root I/O Virtualization)를 켜면 물리 기능인 PF(Physical Function)가 가상 기능인 VF(Virtual Function)를 여러 개 만듭니다. VF마다 PCI 주소와 IOMMU(input-output memory management unit) 그룹이 따로 있으므로 각각 vfio-pci에 바인딩해 서로 다른 VM에 연결할 수 있습니다. 다만 같은 PF에서 만든 VF들은 대역폭을 나누어 쓰게 됩니다.
NIC 펌웨어에서 SR-IOV를 켠 뒤 sysfs에 필요한 개수를 쓰면 VF가 만들어집니다. 저희는 이 작업을 노드 설정 과정에 넣어 두었습니다. 아래 명령은 root로 실행합니다.
# 스토리지 NIC 하나에 VF 8개 생성 $ echo 8 > /sys/class/infiniband/mlx5_2/device/sriov_numvfs $ cat /sys/class/infiniband/mlx5_2/device/sriov_numvfs 8 $ lspci -d 15b3: | grep -c 'Virtual Function' 8
생성한 VF는 lspci에서 장치 이름에 Virtual Function이 붙은 Mellanox NIC로 나타납니다. 정리하면, 저희 환경에서는 컴퓨트 NIC는 PF를 통째로, 스토리지 NIC는 VF로 나누어 연결합니다.
| NIC | 용도 | 연결 방식 |
|---|---|---|
| 컴퓨트 NIC(PF 8개) | NCCL 통신 | PF 전체를 VM에 연결 |
| 스토리지 NIC(PF 2개) | 스토리지 네트워크 | SR-IOV로 PF마다 VF 8개를 만들고 VM에 PF별 VF 1개씩 연결. VF의 포트 GUID(포트를 식별하는 64비트 ID)는 별도 커널 모듈로 설정 |
VM 크기별로 받는 NIC는 다음과 같습니다.
- GPU 1장 VM: 컴퓨트 PF 1개, 스토리지 VF 2개
- GPU 4장 VM: 컴퓨트 PF 4개, 스토리지 VF 2개
게스트에서는 PF와 VF 모두 mlx5_0 같은 일반 RDMA 장치로 보이기 때문에 PCIe 위치만으로 컴퓨트용인지 스토리지용인지 구분할 수 없습니다. 그래서 DRA 드라이버가 각 포트가 속한 IB 네트워크의 SM(subnet manager) GUID로 컴퓨트용과 스토리지용을 나누어 발행합니다.
GPU와 가까운 NIC 고르기
NIC를 VM에 연결하자 RDMA 통신은 가능해졌습니다. 하지만 B200 서버 2대의 GPU 16장으로 NCCL all_reduce를 실행했을 때 버스 대역폭(busbw)은 158GB/s에 그쳤습니다. 이 절에서 설명할 수정을 모두 적용한 뒤에는 약 700GB/s가 나왔습니다.
게스트에서 보이지 않는 PCIe 연결 구조
가장 큰 원인은 GPU와 NIC의 PCIe 연결 구조(topology)였습니다. 이 서버에서는 PCIe 스위치마다 GPU 하나와 컴퓨트 NIC 하나가 함께 연결되어 있습니다(2편의 서버 물리 구성 그림 참고). 같은 스위치의 NIC를 쓰면 경로가 짧지만 다른 스위치의 NIC를 쓰면 루트 컴플렉스까지 올라갔다 내려와야 하고, 경우에 따라 소켓 사이 연결도 지납니다. 그래서 NCCL은 실행되는 시스템의 sysfs에서 PCIe 트리를 읽고 GPU마다 같은 스위치에 연결된 NIC를 고릅니다.
문제는 Kata Containers(이하 'kata') 게스트의 PCIe 트리에 호스트의 스위치 구조가 나타나지 않는다는 점이었습니다. 2편에서 본 것처럼 콜드 플러그된 GPU와 NIC는 각각 독립된 가상 루트 포트 아래에 연결되기 때문입니다. 게스트에서 실행한 NCCL은 모든 GPU와 NIC가 같은 거리에 있다고 계산했고 그 결과 다른 스위치의 NIC를 선택하는 경우가 생겼습니다.
레일셋과 NCCL 토폴로지 파일
게스트의 NCCL이 GPU와 NIC의 거리를 모른다면 호스트가 알려 주면 됩니다. 그래서 DRA 드라이버가 호스트에서 GPU와 같은 스위치의 NIC를 골라 함께 할당하고, 그 짝을 게스트의 NCCL에 전달하도록 바꿨습니다.
드라이버는 노드의 PCIe sysfs에서 GPU마다 같은 스위치에 연결된 컴퓨트 NIC를 찾아 GPU와 NIC의 짝인 레일(rail)을 만듭니다. 그리고 파티션마다 그 GPU들의 레일 NIC를 레일셋(railset)으로 묶어 ib-railset 디바이스 하나로 발행합니다. NIC를 낱개로 요청하게 하면 할당된 GPU와 다른 스위치의 NIC를 스케줄러가 고를 수도 있기 때문에 묶음으로 만들었습니다.
레일셋 안의 NIC 순서는 파티션의 GPU 순서를 따르므로 게스트의 i번째 GPU와 i번째 NIC가 짝이 됩니다. NIC가 빠져 있거나 포트 링크가 끊겨 레일을 모두 갖추지 못한 파티션에는 레일셋을 발행하지 않으므로 레일셋을 함께 요청한 ResourceClaim(이하 '클레임')에는 그 파티션의 디바이스가 할당되지 않습니다.
레일 정보는 NCCL 토폴로지 파일로 넘겼습니다. NCCL은 NCCL_TOPO_FILE로 지정한 XML 파일이 있으면 sysfs 대신 그 파일을 읽습니다. 따라서 이 파일에 GPU와 같은 레일의 NIC가 같은 가상 PCIe 브리지 아래에 있다고 적어 주면 NCCL은 둘이 가까이 연결되어 있다고 판단합니다.
드라이버는 클레임을 준비할 때 이 파일을 호스트에 만들어 CDI(Container Device Interface)로 컨테이너에 마운트하고 NCCL_TOPO_FILE을 설정합니다. 파일은 virtio-fs로 게스트에 전달되고 클레임이 해제되면 함께 지워집니다. 파일을 만들지 못하면 클레임 준비를 실패시켜 잘못된 토폴로지로 학습이 시작되지 않게 했습니다.
다만 파일에는 게스트 안의 PCI 주소를 적어야 하는데, 파일을 만드는 시점에는 VM이 아직 부팅되지 않았습니다. 그래서 내부 수정본의 shim은 클레임에 할당된 GPU와 NIC 순서대로 루트 포트를 만들고, 버스 번호는 업스트림 kata가 NUMA(non-uniform memory access) 노드별로 정해 둔 값을 씁니다. 순서와 버스 번호가 정해져 있으니 VM을 부팅하기 전에도 게스트 주소를 계산할 수 있습니다.
토폴로지 파일을 적용하고 NCCL 알고리즘을 NVLSTree로 지정하자 all_reduce 버스 대역폭은 158GB/s에서 613GB/s로 올랐습니다. IB NIC는 HCA(host channel adapter)라고도 부르며, NCCL에서는 NCCL_IB_HCA로 사용할 NIC를 지정합니다. 이 설정으로 컴퓨트 NIC 8개를 지정하자 버스 대역폭은 620GB/s가 되었고, 이후 8GiB 메시지로 측정한 값은 697.6~712.4GB/s였습니다.
GPU와 같은 레일의 NIC를 함께 요청하기
GPU와 그 레일셋을 함께 할당하려면 둘이 같은 파티션에 속한다는 조건도 필요합니다. 3편의 DRA 드라이버는 파티션 하나를 DRA 디바이스 하나(이하 '파티션 디바이스')로 발행하고 레일셋에는 짝이 되는 파티션의 번호를 fmPartitionId 속성으로 붙입니다. 클러스터 관리자는 ResourceClaimTemplate에서 GPU와 레일셋을 함께 요청하면서 constraints의 matchAttribute에 이 속성을 지정합니다.
아래 템플릿은 GPU 8장짜리 파티션 디바이스와 같은 파티션의 레일셋을 한 클레임에서 요청합니다.
requests:
- name: gpu
exactly:
deviceClassName: kata-gpu.nks.ncloud.com
count: 1
selectors:
- cel:
expression: "device.attributes['kata-gpu.nks.ncloud.com'].size == 8"
- name: nic
exactly:
deviceClassName: kata-ib-vf.nks.ncloud.com
count: 1
selectors:
- cel:
expression: "device.attributes['kata-gpu.nks.ncloud.com'].deviceType == 'ib-railset'
&& device.attributes['kata-gpu.nks.ncloud.com'].size == 8"
constraints:
- requests: ["gpu", "nic"]
matchAttribute: "kata-gpu.nks.ncloud.com/fmPartitionId"
스토리지 VF는 같은 템플릿에 ibvf-storage 디바이스를 요청하는 항목을 NUMA 노드별로 하나씩 더 두어 2개를 받습니다. 관리자는 GPU 수별로 이런 템플릿을 미리 설치해 두고 사용자는 템플릿 이름만 적습니다.
각 NIC는 서로 다른 물리 포트에 연결되어 있어 GPU 수에 맞춰 NIC를 늘리면 사용할 수 있는 대역폭도 늘어납니다. 서버 2대 GPU 16장 DDP(distributed data parallel) 학습에서 이 차이를 확인했습니다. GPU 8장 VM 하나에 연결하는 컴퓨트 NIC를 2개에서 8개로 늘렸을 때 처리량은 424.6ktok/s(초당 천 토큰)에서 565.5ktok/s로 올랐습니다.
GDR 경로와 ACS DT 비트
NIC 배치를 바로잡은 뒤에도 GDR 경로에 문제가 남아 있었습니다. 2편에서 GPU를 VM마다 격리하려고 켠 ACS(Access Control Services)는 스위치 하위 포트 사이의 P2P(peer-to-peer) 요청을 루트 컴플렉스로 보냅니다. 그래서 같은 스위치의 GPU와 NIC 사이를 오가는 GDR 트래픽도 루트 컴플렉스를 거쳤습니다.
이 문제는 MLOps Platform 팀의 도움을 받아 함께 분석했고, ACS의 Direct Translated P2P(DT) 비트로 해결했습니다. PCIe 장치가 ATS(Address Translation Services)로 IOMMU에서 주소를 미리 변환해 '변환 완료'로 표시한 요청은, DT 비트를 켜면 IOMMU 검사를 다시 거치지 않고 스위치 안에서 바로 전달됩니다.
이 방식은 PCIe 장치가 이 표시를 올바르게 붙인다는 전제 위에서 동작합니다. 그래서 저희는 GPU와 같은 PCIe 스위치에 연결된 NIC에만 ATS를 켜고, DT 비트도 GPU와 NIC 바로 위의 스위치 포트에만 설정했습니다.
적용 후 B200에서 NIC가 GPU 메모리에 쓰는 링크당 대역폭은 32.0GB/s에서 43.9GB/s로 올랐습니다. 서버 2대 GPU 16장의 all_reduce(메시지 크기 8GiB)에서는 GDR을 켰을 때 버스 대역폭이 697.6712.4GB/s로, 껐을 때의 241266GB/s보다 크게 높았습니다.
로컬 NVMe를 여러 VM에 나누어 주기
다음은 스토리지입니다. 모델과 데이터를 빠르게 읽고 쓰기 위해 B200 서버에 NVMe 4장을 장착했고, 그중 2장은 호스트가 RAID(redundant array of independent disks)로 사용하고 나머지 2장을 VM용으로 남겼습니다.
기존 연결 방식의 공유·성능 한계
기존 연결 방식으로는 여러 VM이 디스크를 나누어 쓰면서 원하는 성능까지 내기는 어려웠습니다.
| 방식 | 게스트에서 NVMe까지의 I/O 경로 | 디스크 공유 | 순차 읽기 |
|---|---|---|---|
| virtio-fs | 게스트, virtio-fs, virtiofsd, 호스트 파일 시스템, NVMe | 여러 VM에서 공유 가능 | 4.75GB/s |
| virtio-blk | 게스트, virtio-blk, QEMU, 호스트 커널, NVMe | 여러 VM에서 공유 가능 | 2.1GB/s |
| 패스스루 | VFIO로 게스트에 직접 연결 | VM 하나가 NVMe 1장 독점 | 10.0GB/s |
virtio 두 방식은 I/O마다 호스트의 여러 계층을 지납니다. virtio-blk에서는 게스트가 virtqueue에 요청을 넣고 호스트에 알릴 때 VM exit가 발생합니다. 요청을 꺼낸 QEMU는 요청마다 시스템 콜을 호출해 호스트 커널의 블록 계층을 거쳐 NVMe에 접근합니다.
패스스루를 쓰면 NVMe 1장의 성능이 그대로 나오지만 VM 하나가 디스크 하나를 독점하게 됩니다. GPU 8장 서버에서 GPU 1장 VM 8개가 VM용 NVMe 2장을 나누어 써야 하는 환경에는 맞지 않았습니다. NVMe를 여러 VM에 나누어 주면서 호스트 계층도 건너뛸 수 있는 경로가 필요했습니다.
SPDK와 vhost-user-blk
NVMe를 vfio-pci에 바인딩해 커널 드라이버에서 분리하면 SPDK(Storage Performance Development Kit)가 사용자 공간에서 NVMe를 직접 제어할 수 있습니다. SPDK는 전용 CPU 코어(리액터 코어)가 완료 큐를 계속 확인하는 폴링으로 I/O를 처리하므로 인터럽트 비용이 없는 대신 리액터 코어의 사용률은 항상 100%입니다.
여기에 vhost-user를 결합해 게스트의 virtio 요청도 QEMU 대신 SPDK가 처리하게 했습니다. 게스트가 virtqueue에 I/O 요청을 기록하면 SPDK의 리액터가 폴링으로 읽어 NVMe에 전달하고, 완료 결과를 같은 virtqueue에 씁니다.
virtio-blk와 달리 이 경로에서는 SPDK가 virtqueue를 계속 폴링하므로 게스트의 알림을 기다리지 않습니다. NVMe도 사용자 공간에서 직접 다루므로 요청마다 호스트 시스템 콜을 호출하지 않습니다.
SPDK가 virtqueue의 요청을 읽고 I/O 버퍼에 접근하려면 게스트 메모리도 직접 볼 수 있어야 합니다. vhost-user에서는 QEMU가 게스트 메모리를 담은 파일 디스크립터를 SPDK 프로세스에 넘겨 같은 메모리를 매핑하게 합니다. 이 때문에 게스트 메모리는 파일 기반 공유 메모리로 구성해야 했습니다. kata는 enable_hugepages = true로 게스트 메모리를 hugetlbfs 기반으로 구성하고, QEMU 메모리 백엔드의 share=on으로 공유 가능한 메모리로 엽니다.
SPDK 프로세스는 모든 게스트의 메모리를 매핑하는 만큼 호스트 커널과 같은 신뢰 수준의 구성 요소로 운영하고 있습니다.
SPDK 논리 볼륨(lvol)을 이용한 NVMe 분할
남은 문제는 NVMe를 여러 VM에 나누어 주는 방법이었습니다. kata의 CSI(Container Storage Interface) 드라이버(csi-kata-directvolume)에도 SPDK 기반 볼륨 경로가 있지만 백엔드로 호스트 파일 시스템 위의 파일을 사용합니다. 게스트 요청을 SPDK가 처리해도 저장 공간에 접근할 때는 호스트 커널의 파일 시스템 계층을 다시 거치는 구조입니다.
이 방식으로 NVMe 1장에서 100GiB 순차 쓰기(큐 깊이 32)를 3회 측정한 결과는 6.5~7.0GB/s였습니다. PVC(PersistentVolumeClaim)마다 파일을 만들고 용량을 관리해야 하는 방식도 운영에 맞지 않아 다른 백엔드가 필요했습니다.
SPDK는 블록 장치 위에 lvstore라는 풀을 만들고 그 안에서 논리 볼륨을 나누어 쓸 수 있습니다. lvstore는 SPDK 사용자 공간 안에 있으므로 논리 볼륨을 vhost-user-blk로 게스트에 연결하면 데이터 경로에 호스트 커널이 들어가지 않습니다.
kata의 CSI 드라이버에는 논리 볼륨을 직접 사용하는 볼륨 유형이 없어 그 경로를 추가했습니다. 볼륨이 게스트에 나타나기까지는 다음 순서를 거칩니다.
- 노드가 시작될 때 초기화 스크립트가 SPDK용으로 예약된 NVMe 2장을 RAID 0으로 묶어 lvstore를 만들거나 기존 lvstore를 재사용합니다.
- StorageClass에는 쓸 lvstore 이름만 지정하고 CSI 드라이버는 PVC 하나를 논리 볼륨 하나에 대응시킵니다.
- PVC가 만들어지면 CSI 드라이버가 논리 볼륨을 생성하고 vhost-user 소켓을 노출합니다.
- kata shim이 그 소켓을 QEMU의 vhost-user-blk 장치로 추가하면 게스트에서는 볼륨이
/dev/vdb같은 블록 장치로 보입니다.
SPDK에 넘길 NVMe는 커널 장치명(nvme0n1) 대신 PCI 주소로 지정했습니다. 커널 장치명은 부팅 순서에 따라 달라질 수 있어서, 목록이 한 칸만 밀려도 호스트가 쓰는 RAID 멤버를 vfio-pci에 바인딩할 위험이 있었기 때문입니다.
사용자는 일반 Pod처럼 PVC를 만들고 volumeMounts에 적으면 됩니다.
네트워크·스토리지 적용 전후 비교
GPU와 NIC 배치, GDR 경로, NVMe의 SPDK 경로를 적용하기 전후를 다음 조건에서 비교했습니다.
- 서버: B200, 컴퓨트 IB NIC 400Gb/s
- 로컬 디스크: 같은 VM에서 virtio-fs와 SPDK 경로를 같은
fio명령으로 측정. SPDK는 NVMe 2장 RAID 0 ib_write_bw: perftest의 RDMA 쓰기 대역폭 측정 도구.-q4는 QP(queue pair) 4개- 단위:
ib_write_bw는 Gb/s,fio랜덤 읽기는 IOPS(input/output operations per second), 나머지는 GB/s
결과는 다음과 같습니다.
| 구분 | 항목 | 적용 전 | 적용 후 |
|---|---|---|---|
| 네트워크 | 서버 2대 GPU 16장 all_reduce 버스 대역폭(GPU와 NIC 배치) | 158GB/s(토폴로지 파일·NVLSTree·NIC 지정 없음) | 셋 모두 적용 620GB/s |
| 네트워크 | 서버 2대 GPU 16장 all_reduce 버스 대역폭(NCCL_IB_HCA로 컴퓨트 NIC 8개 지정, 메시지 크기 8GiB) |
GDR 끔 241~266GB/s | GDR 켬 697.6~712.4GB/s |
| 네트워크 | ib_write_bw -q4 |
업스트림 kata에는 DRA로 할당한 NIC를 VM에 연결하는 경로 없음 | 게스트 VF 387.2Gb/s(같은 NIC의 호스트 PF 387.3Gb/s) |
| 로컬 디스크 | fio 순차 읽기 |
virtio-fs 4.75GB/s | SPDK 19.8GB/s |
| 로컬 디스크 | fio 순차 쓰기 |
virtio-fs 3.74GB/s | SPDK 14.1GB/s |
| 로컬 디스크 | fio 랜덤 4KiB 읽기(5회 중앙값) |
virtio-fs 87.8k IOPS | SPDK 1,154k IOPS |
vCPU 배치 오류와 게스트 멈춤
Pod를 테스트하다 보니 호스트 CPU가 남아 있는데도 일부 vCPU의 속도가 절반으로 떨어지는 경우가 있었습니다. 오류나 경고는 없었고, 간헐적으로 게스트 전체가 멈추기도 했습니다. 멈춘 Pod는 Running 상태로 남아 있었지만 kubectl exec에 응답하지 않았습니다.
처음에는 하드웨어 문제를 의심했습니다. 그런데 QEMU 프로세스에 SIGSTOP(프로세스를 멈추는 시그널)을 보내 vCPU 스레드가 차지하던 호스트 CPU를 비우자 그 CPU에서 진행되지 못하던 호스트 커널 작업이 끝났습니다. 프로세스를 재개하자 게스트도 응답했습니다. 그래서 원인이 하드웨어가 아니라 vCPU 배치에 있다고 판단했습니다.
호스트 스레드로 실행되는 vCPU
vCPU는 호스트에서 QEMU 프로세스의 스레드로 실행되므로 어떤 호스트 CPU에서 실행되는지, 같은 CPU를 쓰는 다른 스레드가 있는지에 따라 성능이 달라집니다.
kata의 vCPU 고정 기능을 켜면 vCPU 스레드를 특정 호스트 CPU에 고정할 수 있습니다. 다만 업스트림 kata는 전용 cpuset을 받지 못한 Pod에서는 NUMA 노드의 CPU를 낮은 번호부터 고를 뿐 노드 전체의 CPU 사용 상황은 참조하지 않습니다. 이 때문에 다음과 같은 배치가 경고 없이 생겼습니다.
- 물리 CPU 하나에 vCPU 두 개가 고정되면 두 vCPU가 CPU 시간을 나누어 써 각각 절반 성능으로 동작합니다.
- vCPU가 호스트 커널이나 SPDK 리액터용 예약 CPU에 고정되면 호스트 작업과 경쟁하고 게스트가 멈추기도 합니다.
SPDK 리액터 코어 고정
예약 CPU 가운데 하나는 SPDK의 리액터 코어입니다. 리액터 코어는 폴링 때문에 사용률이 항상 100%라서 다른 스레드와 CPU를 나누어 쓰기 어렵습니다. 같은 코어에 다른 스레드가 배치되면 폴링이 밀려 I/O 지연이 늘고 다른 스레드도 CPU를 제대로 쓰지 못합니다. 테스트 중 VM이 간헐적으로 멈춘 원인 가운데 하나도 게스트 vCPU와 리액터가 같은 CPU에 배치된 것이었습니다.
그래서 먼저 SPDK 쪽에서 리액터가 실행될 CPU를 고정했습니다.
$ vhost --lcores 0@<CPU A>,1@<CPU B>,2@<CPU C>,3@<CPU D> ... ... app.c: ... *NOTICE*: Total cores available: 4 reactor.c: ... *NOTICE*: Reactor started on core 1 reactor.c: ... *NOTICE*: Reactor started on core 2 reactor.c: ... *NOTICE*: Reactor started on core 3 reactor.c: ... *NOTICE*: Reactor started on core 0
--lcores의 0@<CPU A>는 SPDK 내부 코어 0을 호스트 CPU A에 고정한다는 뜻입니다. 위 설정으로 시작하면 로그에 리액터 4개가 나타나고, 호스트의 top에서는 CPU A~D의 사용률이 계속 100%로 나타납니다. 이 CPU들은 다음 절에서 설명하는 kubelet의 예약 CPU와 kata 설정의 제외 목록에 넣어 게스트 vCPU가 리액터와 같은 코어에 배치되지 않도록 했습니다.
전용 CPU 할당, vCPU 고정, 예약 CPU 제외
vCPU에 전용 CPU를 배정하는 것만으로는 잘못된 배치를 막을 수 없었습니다. kubelet의 전용 CPU 할당에 더해 kata의 vCPU 고정, 양쪽의 예약 CPU 제외가 모두 필요했습니다.
| 조건 | 담당 | 설정 |
|---|---|---|
| Pod별 전용 CPU 할당 | kubelet | cpuManagerPolicy: static, Guaranteed QoS 클래스 Pod에 전용 cpuset 배정 |
| vCPU 1:1 고정 | kata(내부 수정본) | enable_vcpus_pinning을 켜고 vCPU 수를 cpu 요청값과 같게 맞춰 배정받은 cpuset의 물리 CPU에 1:1 고정 |
| 예약 CPU 제외 | kubelet과 kata(내부 추가 옵션) | 호스트 커널과 SPDK 리액터에 예약된 CPU를 모든 VM의 vCPU 배치 대상에서 제외 |
kubelet의 CPU 매니저를 static 정책으로 설정하면 Guaranteed QoS 클래스에 속하고 CPU를 정수로 요청하는 컨테이너에 전용 cpuset을 배정합니다. 하지만 업스트림 kata는 vCPU를 cpu 요청값보다 하나 더 만들고, cpuset이 게스트 NUMA 분할과 어긋나면 한 CPU에 vCPU 두 개를 고정하기도 했습니다. 그래서 전용 cpuset을 받아도 겹침이 생겼습니다.
내부 수정본에서는 vCPU 수를 cpu 요청값과 같게 하고 업스트림 PR #13542를 적용해 vCPU 하나가 물리 CPU 하나에 고정되게 했습니다.
예약 CPU는 kubelet과 kata 양쪽에서 제외해야 했고, 이를 위해 다음 세 설정을 함께 썼습니다.
- kubelet
reservedSystemCPUs: 예약 CPU를 전용 할당 대상에서 제외. 다만 이것만으로는 전용 CPU를 받지 않은 Pod들이 함께 쓰는 공유 풀(shared pool)에는 남을 수 있음 - kubelet
strict-cpu-reservation: 예약 CPU를 공유 풀에서도 제외 - kata
vcpu_pinning_exclude_cpus(내부 추가 옵션): Burstable QoS 클래스 Pod는 QEMU가 실행되는 Pod 샌드박스 cgroup의 CPU 목록이 노드 전체로 남아 위 두 설정으로 막히지 않음. 같은 목록을 RuntimeClass에 연결된 kata 설정에 넣음
예약 목록에는 리액터 코어뿐 아니라 호스트 커널용으로 남겨 둘 CPU와 이 CPU들과 같은 물리 코어를 공유하는 하이퍼스레드 짝도 넣었습니다.
kubelet에는 static 정책, 예약 CPU 목록, strict-cpu-reservation을 함께 설정합니다.
cpuManagerPolicy: static reservedSystemCPUs: "<호스트 커널·SPDK용 CPU 목록>" cpuManagerPolicyOptions: strict-cpu-reservation: "true"
세 조건을 모두 적용하자 게스트가 호스트 코어를 1:1로 점유했고 CPU steal(vCPU가 실행되어야 할 시간에 호스트가 CPU를 다른 스레드에 주어 vCPU가 기다린 시간)도 사라졌습니다. CPU steal은 게스트 top의 %Cpu(s) 줄 마지막 항목인 st로 나타나며 vCPU를 모두 쓰는 작업 중에도 0.0을 유지했습니다.
$ kubectl exec <kata pod> -- top -bn1 | head -3 top - 05:12:41 up 1:03, 0 users, load average: 7.98, 7.91, 7.60 Tasks: 12 total, 1 running, 11 sleeping, 0 stopped, 0 zombie %Cpu(s): 99.1 us, 0.6 sy, 0.0 ni, 0.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
사용자가 작성하는 Pod YAML
지금까지 설명한 구성은 대부분 관리자가 준비해 두는 것이고, 사용자가 작성하는 것은 Pod YAML 하나입니다. 관리자는 GPU 수별로 RuntimeClass와 ResourceClaimTemplate을 한 벌씩 묶은 티어(tier)를 마련해 둡니다. GPU 수에 따라 VM 오버헤드와 NUMA 설정이 달라지기 때문에 티어마다 RuntimeClass를 따로 두었습니다.
일반 GPU Pod와 달라지는 부분은 세 곳입니다. 사용자는 runtimeClassName으로 티어를 고르고, resourceClaims로 GPU와 NIC를 요청하고, 게스트 메모리를 memory 대신 hugepages-1Gi에 적으면 됩니다.
apiVersion: v1
kind: Pod
metadata:
name: train-job
spec:
runtimeClassName: example-kata-2gpu # 어느 티어 설정으로 VM을 실행할지(1편, 2편)
resourceClaims:
- name: acc
resourceClaimTemplateName: example-2gpu # GPU 2장 + 같은 레일의 IB NIC 2개 + 스토리지 VF 2개(3편, 4편)
volumes:
- name: data
persistentVolumeClaim:
claimName: my-lvol # SPDK 논리 볼륨(4편)
containers:
- name: app
image: nvidia/cuda:12.8.1-devel-ubuntu24.04
volumeMounts:
- name: data
mountPath: /data
securityContext:
capabilities:
add: ["IPC_LOCK"] # RDMA용으로 등록한 메모리 고정
resources:
requests: {cpu: "8", memory: 2Gi, hugepages-1Gi: 384Gi}
limits: {cpu: "8", memory: 2Gi, hugepages-1Gi: 384Gi}
claims:
- name: acc
위 예시에서 사용자가 적은 값은 다음과 같이 반영됩니다.
hugepages-1Gi: 384Gi: VM 크기는 이 값에 RuntimeClass의 오버헤드를 더한 값. Kubernetes 1.36 이상에서PodLevelResourceManagers기능 게이트를 켜면 2편에서 본 것처럼 Pod 단위resources에 적어도 됨memory: 2Gi: VM 크기와 게스트 안 컨테이너 상한에는 들어가지 않고 호스트 쪽 Pod cgroup의 한도에만 반영cpu: "8": CPU를 정수로 요청하고 CPU와 메모리의requests·limits를 각각 맞춰 Guaranteed QoS를 충족하므로 전용 cpuset을 받음IPC_LOCK: RDMA용으로 NIC에 등록한 메모리가 스왑되거나 이동하지 않도록 고정하는 권한- 이미지: B200은 CUDA 12.8 이상이 필요
베어메탈 대비 성능
GPU·NIC·스토리지를 연결하고 CPU 배치까지 맞춘 뒤 MLOps Platform 팀이 같은 사양의 B200 서버에서 kata 게스트와 베어메탈(runc) 컨테이너의 성능을 비교했습니다. 추론의 출력 처리량과 TPOT(time per output token)는 차이가 작았습니다. 반면 TTFT(time to first token)와 콜드 스타트, 스텝당 토큰 수가 적은 학습에서는 차이가 컸습니다.
| 작업 | 조건 | 베어메탈 대비 |
|---|---|---|
| LLM 추론 출력 처리량 | vLLM, 파라미터 27B750B 규모 모델 3종, TP(tensor parallel) 28 | 0.4~7% 낮음 |
| LLM 추론 TTFT | 파라미터 약 280B 규모 모델, TP 2, 동시 요청 1개 | 베어메탈 142.1ms, kata 181.4ms |
| LLM 추론 TPOT | 출력 처리량과 같은 조건 | 차이 없음 |
| 학습 스텝 시간 | 파라미터 8B 규모 모델, 서버 2대 GPU 16장, 스텝당 16k 토큰 | 베어메탈 514ms, kata 716ms |
| 학습 스텝 시간 | 위와 동일, 스텝당 131k 토큰 | 베어메탈 956ms, kata 998ms |
| 콜드 스타트(Pod 생성부터 서빙 준비까지) | vLLM, 파라미터 약 280B 규모 모델, TP 8 | 베어메탈 537초, kata 980초 |
서버 안 NVLink와 서버 간 IB의 all_reduce 대역폭은 양쪽이 거의 같았습니다. 경로별로 나누어 측정했을 때 차이가 난 곳은 CPU가 GPU에서 실행할 함수(CUDA 커널)를 제출하는 경로로, 제출 1회당 베어메탈은 3.96µs, kata 게스트는 5.83µs가 걸렸습니다.
콜드 스타트에서는 VM 부팅, VFIO를 통한 GPU·NIC 연결, 모델 워밍업(CUDA 그래프 캡처와 컴파일)에 시간이 더 들었고 그중 워밍업이 초과 시간의 절반 가까이를 차지했습니다.
마치며
1편에서 정리한 네 가지 이슈는 기존 설정을 조정하고 부족한 연결·할당 기능을 직접 구현해 해결했습니다.
| 이슈 | 적용한 설정과 추가 구현 |
|---|---|
| 이슈 1. GPU 8장 VM의 부팅 지연, Pod 스펙과 다른 VM 크기, 호스트와 다른 게스트 NUMA 구성 | THP(transparent huge pages), hugepages-1Gi를 VM 크기에 반영, 호스트와 같은 게스트 NUMA 구성 |
| 이슈 2. NVLink로 묶을 수 있는 GPU 조합 제약 | DRA 드라이버로 파티션 디바이스 발행, SharedCounters로 중복 할당 차단, DRA 디바이스의 VM 연결 |
| 이슈 3. VM 안에서 IB 네트워크와 로컬 NVMe 사용 | 컴퓨트 PF·레일셋 연결, 스토리지 VF, NCCL 토폴로지 파일, ACS DT 비트로 GDR 경로 확보, SPDK vhost-user-blk와 논리 볼륨 분할 |
| 이슈 4. vCPU 배치 오류에 따른 성능 저하와 게스트 멈춤 | kubelet static 정책과 strict-cpu-reservation, vCPU 1:1 고정, 예약 CPU 제외 |
이 구성으로 사용자별 작업은 VM으로 격리하면서 클러스터 관리자는 일반 Pod와 같은 방식으로 관리할 수 있게 되었습니다. 여러 서버의 GPU를 IB로 묶어 학습하거나, 서버 한 대를 GPU 1·2·4·8장 단위로 나누어 여러 사용자가 함께 쓸 수 있습니다. 사용자는 기존 Pod 스펙에 RuntimeClass, 클레임, 대용량 페이지 요청을 더하고 Pod 네트워크(IP, Service, DNS)는 그대로 사용합니다.
1편 처음의 질문으로 돌아가면, 이제 한 사용자가 컨테이너를 탈출하더라도 그 사용자의 VM 안에 머뭅니다. 그 대신 격리 경계를 하이퍼바이저가 담당하므로, 하이퍼바이저 취약점에도 호스트 커널과 마찬가지로 패치로 대응해야 합니다.
현재 kata와 CSI 드라이버는 내부 수정본으로 운영하고 있으며, 환경에 종속되지 않는 변경은 다음과 같이 업스트림 kata에 제안했습니다.
이 환경을 함께 구축한 MLOps Platform 팀, Compute Platform Engineering 팀, 그리고 관련 담당자분들께 감사드립니다.