← 목록으로

컨테이너처럼 쓰고, VM처럼 격리하기 3편 - Fabric Manager 파티션과 DRA를 이용한 GPU 할당

컨테이너처럼 쓰고, VM처럼 격리하기 3편 - Fabric Manager 파티션과 DRA를 이용한 GPU 할당

요약

2편에서는 GPU를 vfio-pci에 바인딩해 VM에 연결하는 구조와 GPU 8장 VM의 부팅·메모리 구성을 살펴봤습니다. 이번 3편에서는 그 VM에 연결할 GPU를 어떻게 고르는지 다룹니다.

이 연재는 다음과 같이 구성됩니다.

  • 1편: 컨테이너와 VM의 차이, Kata Containers의 Pod 실행 구조
  • 2편: GPU 패스스루 계층과 GPU 8장 VM의 부팅·메모리 구성
  • 3편: Fabric Manager 파티션과 DRA를 이용한 GPU 할당
  • 4편: IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능

GPU 8장이 장착된 서버에서 사용자에게 GPU 2장을 제공할 때 아무 2장이나 고를 수는 없습니다. GPU 간 고속 통신에 쓰는 NVLink가 하드웨어에서 허용한 조합끼리만 연결되기 때문입니다. 이 연결 규칙을 Kubernetes의 GPU 할당에 반영하려고 장치 플러그인(device plugin)으로 여러 방법을 시도해 봤지만 원하는 조합을 보장하지 못했고, 결국 DRA(동적 리소스 할당)로 바꿔 자체 드라이버를 만들었습니다. 이번 편에서는 이 과정에 이어 사용자가 GPU를 요청하는 방법과 할당된 GPU를 VM에 연결하는 과정, 할당 결과를 다룹니다.

아무 GPU나 묶을 수 없는 이유

사용자가 GPU 2장을 요청하면 8장 가운데 어떤 2장을 제공해야 할까요? NVLink로 묶을 수 있는 GPU 조합이 어떻게 정해지는지 살펴보겠습니다.

GPU 간 통신과 NVLink

모델이 GPU 한 장의 메모리에 들어가지 않거나 학습을 빠르게 하려면 작업을 여러 GPU에 나눠야 합니다. 작업을 나눠 맡은 GPU들은 학습 스텝마다 계산 결과를 주고받는데, 대표적인 연산은 각 GPU의 그레이디언트(gradient)를 모두 더해 나누어 갖는 NCCL(NVIDIA Collective Communications Library)의 all_reduce입니다.

이 통신이 느리면 학습도 느려집니다. PCIe만으로는 GPU 8장이 동시에 데이터를 주고받기에 대역폭이 부족하므로 GPU 전용 연결인 NVLink를 씁니다. 네이버 클라우드에서 구성한 B200 서버에서는 보드의 NVSwitch 칩이 GPU 8장을 NVLink로 연결합니다.

Fabric Manager가 정하는 파티션

NVSwitch가 어떤 GPU끼리 연결할지는 호스트에서 실행되는 NVIDIA Fabric Manager가 정합니다. VM 환경에서는 NVSwitch를 호스트에 남겨 두는 Shared NVSwitch 모드로 Fabric Manager를 실행합니다.

Fabric Manager는 NVLink로 함께 묶을 수 있는 GPU 조합을 미리 정해 두는데 이 조합을 fabric partition(이하 '파티션')이라고 합니다. 디스크를 나누는 파티션이나 GPU 한 장을 여러 개로 나누는 MIG(Multi-Instance GPU)와 달리 여러 GPU를 하나로 묶는 단위입니다.

VM에 GPU 2장을 연결할 때는 그 2장으로 이루어진 파티션을 활성화합니다. 그러면 두 GPU 사이에만 NVLink 경로가 구성되고 다른 VM의 GPU와는 연결되지 않습니다. 같은 GPU를 포함한 두 파티션은 동시에 활성화할 수 없습니다.

B200 서버 한 대에서 Fabric Manager가 보고한 파티션은 GPU 8장짜리 1개, 4장짜리 2개, 2장짜리 4개, 1장짜리 8개였습니다.

이름 크기 포함하는 물리 GPU
id1-8gpu 8 1 2 3 4 5 6 7 8
id2-4gpu-1234 4 1 2 3 4
id3-4gpu-5678 4 5 6 7 8
id4-2gpu-12 2 1 2
id5-2gpu-34 2 3 4
id6-2gpu-56 2 5 6
id7-2gpu-78 2 7 8
id8-1gpu-1 ~ id15-1gpu-8 1 GPU 하나씩 8개

여기서 GPU 번호는 Fabric Manager의 물리 GPU 번호를 뜻하며 PCI 주소 순서와 일치하지 않습니다. 파티션 목록도 서버마다 Fabric Manager가 보고하는 값이기 때문에 위 표를 다른 보드에 그대로 적용할 수는 없습니다.

B200 서버의 파티션 구조와 GPU 2장을 요청할 때 가능한 조합

GPU를 VM에 나누어 주려면 요청한 수량에 맞으면서 이미 사용 중인 GPU가 없는 파티션을 골라야 합니다. 예를 들어 GPU 1·2는 2장짜리 파티션 하나를 이루므로 한 VM에 함께 연결할 수 있지만, GPU 2·3은 서로 다른 2장짜리 파티션에 걸쳐 있어 2장짜리 VM 하나에 함께 연결할 수 없습니다.

장치 플러그인으로 파티션을 고르려던 시도

그런데 Kubernetes는 이 파티션 규칙을 모릅니다. Kubernetes에서 GPU Pod를 만들 때는 보통 컨테이너의 resources에 GPU 개수를 적습니다.

resources:
  limits:
    nvidia.com/gpu: 1

장치 플러그인 방식에서 스케줄러는 노드의 남은 GPU 개수만 보고 Pod를 배치합니다. 어느 GPU를 연결할지는 Pod가 배치된 노드의 kubelet과 플러그인이 정하므로 Pod를 만든 사람이나 스케줄러는 GPU 선택에 관여할 수 없습니다.

장치 플러그인 방식의 GPU 할당 과정

GPU를 한 장씩 쓰는 워크로드라면 개수만 요청해도 충분합니다. 하지만 저희는 한 VM에 연결할 GPU를 같은 파티션에서 골라야 했으므로 GPU를 고르는 과정에 개입할 방법이 필요했습니다.

NVIDIA의 샌드박스 장치 플러그인은 패스스루용 GPU를 nvidia.com/pgpu라는 이름으로 Kubernetes에 알립니다. 처음에는 이 플러그인을 바탕으로 파티션 제약을 반영할 방법을 찾았습니다. 기본 플러그인, Pod 어노테이션, 플러그인 포크를 차례로 시도했지만 세 방법 모두 파티션 단위 할당을 보장하지 못했습니다.

방법 결과
기본 장치 플러그인으로 nvidia.com/pgpu: 4 요청 파티션을 고려하지 않고 배정한 4장이 활성화된 파티션과 맞지 않아 CUDA 초기화 실패(cudaErrorSystemNotReady, 802)
Pod 어노테이션으로 CDI(Container Device Interface) 디바이스를 직접 지정 kubelet이 어노테이션을 컨테이너 요청에 반영하지 않아 지정한 GPU가 VM에 연결되지 않음
플러그인을 포크해 GetPreferredAllocation()으로 파티션에 맞는 조합을 추천 플러그인이 추천을 내지 못하면 kubelet은 경고 없이 기본 배정으로 전환. Pod가 삭제되어 GPU가 반납되어도 플러그인에 알리는 API가 없음

장치 플러그인 API로는 GPU를 개수가 아닌 파티션 단위로 고르고 해제할 방법이 없었습니다. Kubernetes 커뮤니티도 장치 플러그인 API를 확장하기보다 새 API인 DRA를 개발하는 방향을 택했으므로 저희도 GPU 할당을 DRA로 바꾸기로 했습니다. 이때 같은 GPU가 두 경로로 등록되지 않도록 nvidia.com/pgpu를 알리던 샌드박스 장치 플러그인은 클러스터에서 제거했습니다.

PVC처럼 디바이스를 요청하는 DRA

DRA는 디바이스를 요청하고 준비하는 과정을 PV(PersistentVolume)·PVC(PersistentVolumeClaim)와 비슷한 구조로 다루는 API입니다. 노드는 보유한 디바이스의 이름과 속성을 함께 알리고 Pod는 개수 대신 'GPU 2장으로 이루어진 파티션 하나'처럼 필요한 디바이스의 조건을 요청합니다. 스토리지 API와 비교하면 다음과 같습니다.

스토리지 DRA 의미
StorageClass DeviceClass 어떤 종류의 디바이스인지, 어느 드라이버가 관리하는지
PersistentVolumeClaim ResourceClaim 워크로드가 요청한 자원과 실제로 배정된 자원
PV 목록 ResourceSlice 드라이버가 이 노드에서 보유한 디바이스 목록과 속성·용량
CSI(Container Storage Interface)의 마운트 NodePrepareResources 선택된 디바이스를 그 노드에서 실제로 쓸 수 있게 준비

디바이스 하나가 Pod에 할당되기까지 드라이버, 사용자, 스케줄러, kubelet이 차례로 관여합니다.

ResourceSlice와 ResourceClaim을 거치는 DRA 할당 과정

장치 플러그인과의 가장 큰 차이는 디바이스를 고르는 주체입니다. 장치 플러그인에서는 노드의 kubelet이 고르지만 DRA에서는 클러스터의 스케줄러가 고릅니다. 앞에서 장치 플러그인으로 막혔던 항목을 DRA와 나란히 놓으면 다음과 같습니다.

항목 장치 플러그인 DRA
노드가 알리는 것 개수 디바이스 이름과 속성 목록
요청에 적는 것 nvidia.com/gpu: 1 CEL 조건식과 개수
고르는 주체 노드의 kubelet 스케줄러
상호 배제 표현 불가 SharedCounters
디바이스 간 관계 표현 불가 constraints로 표현
해제 API 없음 NodeUnprepareResources

ResourceClaim(이하 '클레임')의 조건은 CEL(Common Expression Language)로 device.attributes['...'].size == 8처럼 디바이스 속성을 비교해 적습니다. 여러 디바이스가 같은 속성 값을 갖도록 묶을 때는 constraints의 matchAttribute를 씁니다.

자체 DRA 드라이버를 만든 이유

API를 정했으니 디바이스를 발행하고 준비할 드라이버가 필요했습니다. 공개된 DRA 드라이버부터 검토했지만, 저희는 호스트 GPU를 항상 vfio-pci에 바인딩해 두기 때문에 그대로 쓸 수 없었습니다.

드라이버 맞지 않은 이유
kubernetes-sigs/dra-driver-nvidia-gpu VFIO(Virtual Function I/O)와 Fabric Manager를 지원하지만 GPU를 호스트 NVIDIA 드라이버의 NVML(NVIDIA Management Library)로 찾으므로 호스트에 GPU 드라이버가 없는 환경에서는 쓸 수 없음
kubernetes-sigs/dranet NIC를 Pod의 네트워크 네임스페이스로 옮기는 방식. vfio-pci에 바인딩된 NIC는 할당 대상에서 제외

두 드라이버를 각각 포크해 함께 쓰는 방법도 있었지만 같은 PCIe 스위치의 GPU와 NIC(network interface card)를 묶어 할당하는 기능은 여전히 따로 구현해야 했습니다. 그래서 GPU와 NIC를 한 드라이버에서 관리하는 자체 DRA 드라이버를 만들었습니다.

자체 드라이버는 노드마다 하나씩 실행되는 kubelet 플러그인입니다. 파티션뿐 아니라 GPU와 같은 PCIe 스위치에 연결된 IB(InfiniBand) NIC도 디바이스로 발행합니다. NIC 디바이스는 4편에서 다루고, 이번 편에서는 파티션을 중심으로 설명합니다.

겹치는 파티션의 동시 할당 막기

드라이버는 Fabric Manager가 보고한 파티션 15개를 DRA 디바이스 15개로 그대로 발행했습니다. 이 글에서는 파티션 하나를 나타내는 이 DRA 디바이스를 '파티션 디바이스'라고 부릅니다. 디바이스 이름에는 앞의 파티션 표처럼 파티션 번호와 GPU 구성을 넣었고, CEL 조건에 쓸 수 있도록 size(GPU 수)와 fmPartitionId(Fabric Manager의 파티션 번호)를 속성으로 붙였습니다.

남은 문제는 같은 GPU를 포함한 파티션 디바이스가 동시에 할당되지 않게 하는 것이었습니다. 여기에는 DRA의 SharedCounters를 사용했습니다. 물리 GPU마다 용량 1인 카운터를 발행하고 각 파티션 디바이스가 자신에게 포함된 GPU의 카운터를 1씩 소비하도록 선언했습니다.

스케줄러는 디바이스를 고를 때 카운터의 남은 용량을 계산합니다. 두 파티션 디바이스가 같은 GPU의 카운터를 요구하면 용량을 초과하므로 동시에 할당할 수 없습니다.

예를 들어 B200 서버에서 id2-4gpu-1234를 할당하면 GPU 14의 카운터가 모두 소진됩니다. 그러면 GPU 14 중 하나라도 포함한 id1-8gpu, id4-2gpu-12, id5-2gpu-34와 GPU 1~4의 1장짜리 파티션 디바이스는 배정 대상에서 빠집니다. 겹치는 GPU가 없는 id3-4gpu-5678은 같은 노드에서 함께 쓸 수 있습니다.

4장짜리 파티션 디바이스를 할당한 뒤 선택할 수 없게 되는 파티션 디바이스

상호 배제는 스케줄러의 카운터 계산으로 보장하므로 드라이버가 겹치지 않는 조합을 고를 필요는 없습니다. 드라이버는 NodePrepareResources에서 이미 준비된 클레임과 겹치지 않는지 한 번 더 확인할 뿐입니다. 이 카운터를 쓰려면 Kubernetes의 DRAPartitionableDevices 기능 게이트를 활성화해야 합니다.

파티션 준비, 해제, 상태 복구

디바이스가 선택되면 kubelet은 NodePrepareResources를 호출합니다. 드라이버는 Fabric Manager의 현재 상태를 확인해 비활성 파티션을 활성화하고 물리 GPU 번호를 PCI 주소로 변환해 VFIO 장치 파일을 찾습니다. 이어 클레임마다 CDI 스펙 파일을 하나씩 작성합니다. 2편에서 본 파일이 이때 만들어집니다.

사용이 끝나 kubelet이 NodeUnprepareResources를 호출하면 CDI 스펙을 삭제하고 Fabric Manager에서 파티션을 비활성화합니다.

파티션 목록은 서버마다 다르므로 드라이버에 하드코딩하지 않고 각 노드의 Fabric Manager에서 가져옵니다. Fabric Manager에 연결할 수 없거나 목록이 비어 있으면 파티션 디바이스를 발행하지 않고, 그동안 GPU를 요청한 Pod는 Pending 상태로 기다립니다. 오래된 목록으로 발행하면 활성화할 수 없는 파티션의 디바이스를 스케줄러가 고르고 Pod를 해당 노드에 배치해, 그 노드에서 클레임 준비가 실패할 수 있기 때문입니다.

발행 후에도 60초마다 IB NIC 탐색과 파티션 조회를 반복해 바뀐 목록을 드라이버 재시작 없이 반영합니다.

드라이버를 재시작해도 실행 중인 게스트의 파티션은 유지되어야 합니다. 그래서 드라이버는 시작할 때 자기 노드의 클레임을 읽고, 클레임이 있는데 비활성인 파티션을 다시 활성화합니다. 반대로 클레임이 없는 활성 파티션은 다른 주체가 활성화했을 수도 있으므로 경고만 기록하고 비활성화하지 않습니다.

Fabric Manager를 재시작하면 실행 중이던 CUDA 작업이 종료되고 활성 파티션도 해제되므로 Fabric Manager는 실행 중인 게스트가 없을 때만 재시작해야 합니다.

사용자가 GPU를 요청하는 방법

사용자가 파티션 규칙이나 CEL까지 알아야 한다면 GPU를 쓰기 어렵습니다. 그래서 클러스터 관리자가 사용자 네임스페이스에 ResourceClaimTemplate으로 GPU 조건을 정의해 두고, 사용자는 템플릿 이름만 참조하게 했습니다.

아래 템플릿은 size가 8인 파티션 디바이스 1개를 요청합니다. 파티션 디바이스만 고르는 조건은 DeviceClass에 들어 있습니다.

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: example-8gpu
spec:
  spec:
    devices:
      requests:
      - name: gpu
        exactly:
          deviceClassName: kata-gpu.nks.ncloud.com
          count: 1
          selectors:
          - cel:
              expression: "device.attributes['kata-gpu.nks.ncloud.com'].size == 8"

사용자는 Pod 스펙의 resourceClaims에 템플릿 이름을 적고 컨테이너의 claims에서 참조하면 됩니다. Pod를 생성하면 Kubernetes가 템플릿으로 클레임을 하나 만들고 Pod를 삭제할 때 함께 지우므로 사용자가 클레임을 따로 생성하거나 삭제할 필요는 없습니다.

spec:
  resourceClaims:
  - name: gpu
    resourceClaimTemplateName: example-8gpu
  containers:
  - name: app
    resources:
      claims:
      - name: gpu

이렇게 요청한 GPU 하나는 DRA, containerd, QEMU 계층마다 다른 이름으로 표시됩니다.

DRA, containerd, QEMU 계층에서 각각 다른 이름으로 표현되는 하나의 물리 GPU

할당된 GPU를 VM에 연결하는 kata shim

스케줄러가 고른 GPU는 어떻게 VM 안으로 들어갈까요? GPU는 VM이 부팅할 때 콜드 플러그로 연결해야 하는데, 업스트림 Kata Containers(이하 'kata')에는 DRA로 할당한 하드웨어를 콜드 플러그하는 경로가 없었습니다.

kata shim은 샌드박스를 만들면서 kubelet의 PodResources API로 Pod에 할당된 디바이스를 조회합니다. 그런데 업스트림 shim은 응답에서 장치 플러그인이 할당한 디바이스만 읽고 DRA가 할당한 디바이스(DynamicResources)는 읽지 않아서 VM이 GPU 없이 부팅되었습니다.

containerd가 CDI로 OCI(Open Container Initiative) 스펙에 VFIO 장치 정보를 넣어 주기는 하지만 이 정보는 샌드박스 부팅 후 컨테이너를 만들 때 도착하므로 콜드 플러그에는 너무 늦습니다.

내부 수정본에서는 kata shim이 PodResources API의 DRA 디바이스 목록을 클레임 단위로 읽어 GPU와 NIC를 정해진 순서대로 루트 포트에 연결합니다. 4편에서 다룰 NCCL 토폴로지 파일을 만들 때 이 순서를 기준으로 게스트의 PCI 주소를 미리 계산하기 때문입니다.

스케줄러가 배정하고 DRA 드라이버가 준비한 디바이스가 kubelet PodResources API를 거쳐 kata shim과 QEMU로 전달되는 경로

이 수정은 업스트림에 PR #13323(Go 런타임)과 PR #13420(runtime-rs)으로 제안했습니다.

서버 한 대를 VM 4개로 나누어 실행

파티션 할당과 VM 연결을 갖춘 뒤 B200 서버 한 대에서 GPU 1장, 1장, 2장, 4장을 각각 연결한 VM 4개를 동시에 실행했습니다.

B200 서버 한 대에서 1+1+2+4 조합의 VM 4개를 동시에 실행한 구성

이 상태에서 GPU 2장·4장 VM의 NCCL all_reduce 버스 대역폭(NCCL이 계산하는 busbw)을 측정했습니다. 비교를 위해 GPU 8장 VM 하나만 실행한 경우도 측정했고, 메시지 크기는 모두 8GiB입니다. 베어메탈 값은 같은 노드를 일반 컨테이너 환경으로 바꿔 같은 GPU 조합으로 측정했습니다.

조건 kata 게스트 버스 대역폭 베어메탈 컨테이너 버스 대역폭
2장, 1+1+2+4 동시 실행 중 623.5GB/s 629.7GB/s
4장, 1+1+2+4 동시 실행 중 680.7GB/s 683.3GB/s
8장 단독 835.9GB/s 839.7GB/s

세 경우 모두 kata 게스트의 버스 대역폭은 베어메탈과의 차이가 1% 이내였습니다.

할당 결과를 확인하는 방법

할당이 의도대로 되었는지는 ResourceSlice와 ResourceClaim, 그리고 게스트 안의 NCCL 테스트로 확인할 수 있습니다. 먼저 B200 서버 한 대의 ResourceSlice를 조회하면 Fabric Manager가 보고한 파티션 15개에 대응하는 파티션 디바이스가 그대로 나옵니다.

$ kubectl get resourceslices --field-selector spec.nodeName=<node> \
    -o jsonpath='{range .items[*].spec.devices[*]}{.name}{"\n"}{end}' | grep gpu | grep -v rails
id1-8gpu
id2-4gpu-1234
id3-4gpu-5678
id4-2gpu-12
id5-2gpu-34
id6-2gpu-56
id7-2gpu-78
id8-1gpu-1
id9-1gpu-2
id10-1gpu-3
id11-1gpu-4
id12-1gpu-5
id13-1gpu-6
id14-1gpu-7
id15-1gpu-8

Pod에 배정된 디바이스는 ResourceClaim의 status에 기록됩니다. 아래는 파티션 디바이스만 요청한 클레임의 출력입니다.

$ kubectl get resourceclaims -A \
    -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.allocation.devices.results[*].device}{"\n"}{end}'
<claim 이름>	id4-2gpu-12

게스트 안에서는 nccl-tests의 all_reduce_perf로 NVLink 통신을 확인합니다. 아래는 B200 GPU 8장 VM에서 실행한 출력입니다.

$ all_reduce_perf -b 512M -e 8G -f 2 -g 8 -n 20
# nccl-tests version 2.19.7 nccl-headers=22501 nccl-library=22501
...
   536870912     134217728     float     sum      -1  1321.87  406.15  710.75       0  1316.15  407.91  713.84       0
  1073741824     268435456     float     sum      -1  2550.64  420.97  736.70       0  2550.30  421.03  736.80       0
  2147483648     536870912     float     sum      -1  4602.19  466.62  816.59       0  4606.50  466.19  815.82       0
  4294967296    1073741824     float     sum      -1  9050.56  474.55  830.47       0  9046.64  474.76  830.83       0
  8589934592    2147483648     float     sum      -1  17940.5  478.80  837.90       0  17938.6  478.85  837.99       0
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 786.768

오류 없이 끝났고 8GiB 메시지에서 버스 대역폭은 837.9GB/s였습니다.

마치며

3편에서는 VM에 연결할 GPU를 NVSwitch와 Fabric Manager가 허용하는 조합으로 고르는 방법을 다뤘습니다. 개수만 요청하는 장치 플러그인으로는 이 조건을 표현할 수 없어 할당 방식을 DRA로 바꾸었습니다. 스케줄러가 카운터로 겹치는 파티션 디바이스의 동시 할당을 막고, kata shim이 kubelet에서 클레임 단위로 디바이스를 읽어 VM에 연결하면서 서버 한 대를 여러 VM에 나누어 쓸 수 있게 되었습니다.

하지만 저희 환경에서 학습 작업을 실행하려면 GPU뿐 아니라 IB NIC와 로컬 NVMe도 VM에 연결해야 합니다. 마지막 4편에서는 GPU와 같은 PCIe 스위치에 연결된 NIC를 고르는 방법, 로컬 NVMe를 여러 VM에 나누어 주는 방법, vCPU를 호스트 CPU에 맞게 배치하는 방법을 다룹니다.

참고 자료

← 목록으로