← 목록으로

Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지

요약

네이버 사내 기술 교류 행사인 NAVER Engineering Day 10th 에서 발표되었던 세션을 공개합니다.

​

​

발표 내용

SNOW의 16개 Image AI 서비스에서 응답 속도와 안정성을 높이면서, H100 환산 약 67장의 GPU 자원을 절감한 경험을 공유합니다. LitServe 전환과 함께 불필요한 연산과 CPU·GPU의 대기 시간을 줄이고, 실제 트래픽에 맞게 설정을 조정하며, 여러 서비스가 GPU를 공유하도록 만든 과정을 소개합니다.

( English Version : ​https://naver.me/xQJbNeuF )

​

발표 대상

Image AI 모델을 서비스로 운영하며 응답 속도와 GPU 자원 효율을 개선하고 싶은 엔지니어

​

목차

1. SNOW Image AI 서비스와 기존 서빙 구조의 문제

​

2. LitServe 전환

- 반복되는 이미지 인코딩·디코딩 제거

- CPU 전처리와 GPU 계산의 대기 시간 줄이기

​

3. 실제 트래픽에 맞춘 파라미터 조정

- 워커 수, 스레드 수, CPU 한도와 코어 고정

- Autoscaling 로직 개선

- 에이전트 실험과 검토를 통한 반복 최적화

​

4. 작업 분리와 GPU 공유

- 가벼운 작업을 CPU로 분리

- 여러 서비스를 하나의 GPU에 함께 배치

- 불필요한 연산과 요청 대기 비용 제거

​

5. 총 절감 기여량과 누적 개선

- H100 환산 67.37장 절감

- 응답 속도, 처리량, 첫 요청 예열, 오류율, 취소율, GPU 활용도 개선

​

6. 향후 과제

- Image Harness

- 트래픽에 맞춘 자동 최적화

​

◎ NAVER Engineering Day란?

​

NAVER에서는 사내 개발 경험과 기술 트렌드를 교류를 할 수 있는 프로그램이 많이 있습니다. 그중 이제는 매회 평균 100개 이상의 발표가 이루어지는 NAVER Engineering Day를 빼놓을 수 없는데요.

2016년부터 시작된 ENGINEERING DAY는 실무에서의 기술 개발 경험과 새로운 기술과 플랫폼 도입 시 유용하게 활용될 수 있는 팁 등을 공유하며 서로 배우고 성장하는 네이버의 대표적인 사내 개발자 행사입니다.(관련 포스팅 보기)

올해 진행된 NAVER Engineering Day의 일부 세션을 공개합니다.

​

[동영상 제공 채널 안내]

네이버 TV 서비스 종료로 인해 기존 네이버 TV 채널을 클립(@devrel_d2)으로 이동하였습니다.

앞으로도 많은 관심과 팔로우 부탁드리겠습니다.

← 목록으로