요약
[지디넷코리아]엔비디아가 대규모 언어 모델의 가중치 배포를 앞당기는 '모델익스프레스(ModelExpress)'를 현지 시각 7월 24일 기술 블로그에서 공개했다. 딥시크 V4 프로 기준으로 이미 서비스 중인 복제본에서 새 복제본으로 가중치와 커널 캐시를 10초 안에 전송해, 전체 기동 시간을 8분에서 1분 44초로 줄였다고 밝혔다.모델익스프레스는 모델을 불러오기 전에 호환되는 가중치 사본이 이미 어디에 있는지부터 확인한다. 같은 모델을 서비스하는 다른 서버의 …
본문
'(ModelExpress)' 7 24 . V4 10 , 8 1 44 . . GPU , GPU GPU . . P2P RDMA , GPU , , . 1 , . 806 V4 10 8 . . , . vLLM SG llm-d . . : AI AI . 3.5 GPT . ( )