
요약
불과 2년 전만 해도 모델을 하나 만들려면 내부망에서 Jupyter 노트북을 켜고, 쿼리를 짜고, 수많은 함수를 직접 만들어야 했어요. 그런데 저희는 ML Engineer(MLE)가 반복적이고 번거로운 일보다는, 현재 일의 성과를 더 개선하기 위한 점을 찾고 임팩트를 줄 일에 집중하는데 더 많은 시간을 써야 한다고 생각했습니다. 그래서 고객 타겟팅 모델 개발 프레임워크 TASTE를 꾸준히 가다듬어 모델 학습 시간을 2주에서 1일로 줄였어요.
그러나 모델 사용처로부터 받는, 그리고 모델을 개발한 MLE 스스로 묻는 "이 모델을 써도 되나?"라는 질문에 답하기 위한 판단 과정에서 늘 필요한 모델 비교와 평가 및 모니터링은 여전히 손으로 해야 했어요. 저희는 그 과정을 TASTE의 파이프라인에 더했어요. 이 글에서는 MLE 가 모델 하나를 쓰기까지 거치는 비교 네 가지를 차례로 따라가며, 각각을 어떻게 자동화했는지 소개합니다.
모델 하나를 쓰기까지 네 번 비교해요
TASTE 에서는 설정 파일 하나로 후보 피쳐 수집 → 피쳐 선정 → 학습 → 추론·적재 → 평가가 하나의 파이프라인으로 돌아요.

그런데 이 파이프라인이 내놓은 모델을 쓸지 판단하기 위해 다음 네 가지 질문에 답해야 했고, 이를 위한 계산을 사람이 따로 해야 했습니다.
질문무엇과 무엇을 비교하나예전지금1️⃣ 피쳐를 몇 개 쓸까피쳐 수 K 끼리MLE 가 경험으로 비율을 정함auto_k 가 K 별 성능을 재서 고름2️⃣ 어떤 구조를 쓸까트리와 딥러닝단계별 트리 여러 개를 곱한 조합을 손으로 비교같은 평가셋으로 나란히 재서 고름3️⃣ 기존 모델보다 나은가새 모델과 기존 모델점수와 정답을 손으로 조인학습이 끝나면 평가 보고서가 나옴4️⃣ 입력 데이터를 믿어도 되나날짜끼리 (학습 때와 오늘, 평가일 사이)확인하지 않음결손이 한도를 넘으면 적재를 멈추고, 평가는 여러 날짜에서 함1️⃣ 피쳐를 몇 개 쓸까: auto_k
피쳐 선택 이후 남은 고민
모델 성능을 기준으로 사용할 피쳐 수를 자동으로 고르는 auto_k 알고리즘은 팀 채팅 스레드에서 시작했어요.

지금까지 피쳐 수는 MLE가 정한 비율로 정했어요. 후보 피쳐를 중요도 순으로 세운 뒤 상위 몇 %만 남기는 방식이에요. 이 방식은 데이터 개수나 예측 대상의 특성과 상관없이 같은 비율을 쓰기 때문에 학습 효율과 성능이 떨어질 수 있습니다. 도메인·데이터·모델마다 알맞은 비율이 달라, MLE가 경험만으로 ‘상위 몇 %’를 자신 있게 정하기도 어렵죠.
먼저 대안으로 떠올린 건 중요도가 급격히 떨어지는 지점(Elbow)에서 자르는 방법이었어요. 그러나 이 방법으로 피쳐 갯수를 자른 다음(ex. 20개) 모형 성능을 평가하면, 이보다 더 많은 피쳐 수(ex. 75개)를 포함한 모형의 성능 지표가 훨씬 높은 경우가 많이 발생했어요. 이는 중요도가 몇 개 피쳐에 크게 몰려 있어 중요도가 급히 떨어지는 점이 구조적으로 앞쪽에서 포착되는데, 그 점에서 자르고 나도 여전히 모형 성능 개선에 기여하는 피쳐는 남아있기 때문이었습니다.
피쳐 수 (K)AUROCPR-AUC458개와 PR-AUC 차이상위 5% 회수율2099.1%77.4%유의하게 낮음91.5%3099.5%74.2%유의하게 낮음93.5%50100.0%88.7%유의하게 낮음99.4%75100.1%98.4%구별 안 됨100.8%100100.2%100.0%구별 안 됨101.2%458100%100%기준100%결국 중요도 곡선의 모양만 보고 사용 피쳐 수의 컷오프 점을 정하는 방식은 적절하지 않았던 것입니다. 필요한 건 ‘성능이 어디서 더 오르지 않는가’였고, 그건 성능을 직접 재야 알 수 있었어요. 그래서 검증에 쓴 절차를 그대로 자동화한 것이 auto_k예요(자체 조어). 요약하면, 같은 모델 설정에서 피쳐 수를 늘려가며 성능을 측정하고, 성능 개선이 멈추는 지점에서 사용할 최적의 피쳐 수를 결정해 보자는 아이디어예요.
이 방법을 검증하기 위해 어떤 모델의 후보로 걸러진 피쳐 458개를 피쳐 중요도(Feature Importance) 순으로 줄여 가며 성능을 쟀어요. 위 표에서 458개와 통계적으로 구별되지 않는 가장 작은 개수는 75개였어요. 피쳐를 84% 줄여도 유의한 성능 손실이 없으면서, 모델의 훈련시간이나 메모리는 절감할 수 있었죠.
그래서 중요도로 순서를 정하고, 성능으로 개수를 정했어요.
auto_k는 이렇게 동작해요
auto_k는 위 실험을 그대로 자동화한 기능입니다.
- 후보 피쳐 전체로 트리를 한 번 학습해 피쳐 중요도 순위를 매겨요.
- 샘플 데이터에 대해서, 사용할 피쳐의 수 K = 10, 20, 30, 50, 75, 100, 150 등 마다 상위 K개로 다시 학습하고, 가장 최근 기간의 평가셋에서 PR-AUC를 재요.
- 최고점과 통계적으로 구별되지 않는 K 중 가장 작은 값을 골라요. 앞 표에서는 75예요.
어떤 K 도 최고점과 구별되지 않으면 판단할 근거가 없다고 보고, 기존 비율 방식을 그대로 써요.
피쳐를 줄이고도 성능은 높아졌어요. 한 상품의 구매 전환을 고객별로 예측하는 모델은 모델 구조를 딥러닝에서 트리로 바꾸고 (실험 내용은 2️⃣절의 딥러닝 vs Tree 참조), auto_k로 피쳐를 고르자, 피쳐를 절반 넘게 줄이면서도 상위 5% 회수율이 고관여 세그먼트 대비 약 1.7배 올랐습니다. 또한 실제 마케팅 메시지 발송 실험에서도 성과가 이어졌어요. auto_k로 피쳐를 고른 또 다른 상품 모델의 점수 상위 1% 고객은 기존 규칙 기반 세그먼트보다 클릭률이 약 5배, 신청 전환율이 약 2.6배 높았어요. 연령 구성을 맞춰 비교해도 클릭률은 3배 이상, 신청 전환율은 2배 이상 높았어요.
2️⃣ 어떤 구조를 쓸까: 트리와 딥러닝을 나란히 재요
모델 구조를 고를 때도 같은 데이터·같은 평가셋에서 성능을 비교해요.
노출 → 진입 → 클릭 → 신청처럼 단계가 이어지는 퍼널 모델은 종래에는 단계마다 트리 모델을 따로 학습해 왔어요. 진입할 확률, 진입한 고객이 상품을 누를 확률, 누른 고객이 신청할 확률을 각각 학습한 뒤 추론이 끝나면 점수를 곱해 최종 점수를 만들었습니다.
운영도 해석도 쉬운 방식이지만 단계끼리 서로 남남이라는 한계가 있었습니다. 진입 단계 모델이 배운 신호가 클릭·신청 모델로 전달되지 않아요. 데이터가 가장 적은 마지막 단계(신청)일수록 앞 단계에서 쌓인 신호가 절실한데 그걸 쓰지 못했죠.
조합을 고르는 일에도 손이 많이 갔어요. 3단계 퍼널 하나에 모델을 최대 다섯 개 학습하고 점수를 곱하는 조합 열한 가지의 성능을 직접 비교했습니다. 채널(푸시·홈 화면·메시지)이 바뀌면 이 과정을 통째로 다시 했고, 퍼널이 수십 개다 보니 운영하는 트리 모델도 수십 개로 불어났어요.
그래서 지금은, 퍼널 전체를 한 모델로 학습하는 딥러닝 모델 AITM(Adaptive Information Transfer Multi-task, KDD 2021)을 TASTE 설정에서 고를 수 있게 구현했습니다. 이 모델이 우리의 최선이라고 믿는 것은 아니지만 앞으로도 확장성 높고 유연한 프레임워크 덕분에 다양한 모델의 형상을 추가할 수 있어요.
퍼널 모델 구조와 라벨 설계
퍼널 모델인 AITM 이 ‘추론한 뒤에 곱하기’와 갈라지는 지점은 두 장치입니다.
- 정보 전달(Adaptive Information Transfer):
- 앞 단계에서 학습한 표현에 변환을 적용한 뒤, 현재 단계의 표현과 Attention 으로 결합해요. 앞 단계 정보를 얼마나 참고할지 고객마다 가중치로 정하는 셈이에요.
- 단조성 제약(Label Constraint):
- 뒤 단계 확률이 앞 단계 확률보다 커지면 그 초과분만큼 손실에 벌점을 더해요.
아래 그림은 단계별 표현이 정보 전달 모듈을 거쳐 다음 단계로 넘어가는 AITM 의 구조예요.

이 모델을 쓰려고 파이프라인을 새로 짜지는 않습니다. TASTE 설정에서 퍼널 모델을 고르고, 단계별 정답을 한 테이블에 나란히 담아 주면 돼요.
퍼널라벨 테이블 컬럼운영에 쓰는 점수2단계사용자 ID, 기준일, label_a, label_b마지막 단계(B) 점수3단계사용자 ID, 기준일, label_a, label_b, label_c마지막 단계(C) 점수파이프라인이 라벨 컬럼을 읽어 2단계인지 3단계인지 스스로 판별하고, 학습 스키마를 만들어 트레이너에 넘겨요. MLE는 백본(Backbone)만 고르면 되고, 피쳐 수집·선정·학습·추론·적재는 앞에서 소개한 같은 파이프라인을 그대로 타요.
라벨은 이렇게 정의합니다.
- 모집단은 퍼널의 첫 단계에 참여할 기회가 있었던 고객으로 한정해요. 노출조차 되지 않은 고객이 섞이면 ‘관심이 없어서 안 한 사람’과 ‘기회가 없어서 못 한 사람’이 구분되지 않아요.
- 앞 단계는 거치지 않았는데 뒤 단계는 완료한 것으로 기록된 라벨은 학습에서 빼고, 그 비율을 기록해요. 예를 들어 첫 단계를 안 했는데 두 번째 단계는 한 것으로 찍힌 행은 퍼널 정의가 어긋났다는 뜻이에요.
- 실제 타겟팅에는 퍼널의 마지막 단계에서 나온 예측값을 사용해요. 이 값은 고객이 앞선 단계들을 거쳐 최종 전환까지 완료할 확률을 뜻해요.
딥러닝 vs Tree
운영 중인 비즈니스 퍼널 두 곳에서는 단일 퍼널 딥러닝 모델(AITM)이 기존 트리 조합 모델보다 성능이 높았어요(2단계 퍼널에서 AUROC 가 약 1.4%, 3단계 퍼널에서 약 0.6% 높음). 모델 수를 줄이고도 성능을 유지한 거죠.
반면, 평가셋에 양성 고객이 적은 다른 비즈니스 도메인의 퍼널에서는 다음 표에서와 같이 트리가 앞섰어요.
모델"클릭 또는 신청" AUROC (딥러닝 대비)트리(CatBoost · XGBoost)+7.5% · +7.2%트리(XGBoost), 딥러닝과 같은 학습 조건+2.9%딥러닝(AITM)기준양성이 적으면 파라미터가 많은 모델을 안정적으로 학습하기 어렵습니다. 그래서 데이터가 적은 초기에는 트리와 auto_k로 시작하고, AITM 으로 바꾸기 전에는 퍼널마다 성능을 비교해서 어떤 모델을 쓸지 결정해요.
3️⃣ 기존 모델보다 나은가: 학습이 끝나면 평가 보고서가 나와요
평가용 테이블만 지정하면 돼요
예전에는 기존 모델과 비교하려면 점수 테이블과 정답 테이블을 손으로 조인해 지표를 다시 계산했습니다. 이제는 설정에 OOT(Out-of-Time, 학습 이후 기간) 정답 테이블만 지정하면, 추론이 끝난 뒤 평가 태스크가 AUROC · KS(양성과 음성의 점수 분포가 벌어진 정도)와 상위 N% 구간별 성과를 로그에 남겨요. 타겟 커버리지는 앞에서 말한 회수율과 같은 지표입니다. 그 결과, 모델 하나를 평가하는 시간이 30분에서 1분으로 줄었어요.
비교할 기존 모델의 점수 테이블을 설정에 적으면, 이번 실행의 점수와 함께 같은 고객·같은 정답으로 채점한 비교표도 같은 태스크에서 나와요.
이 때, 보고서의 숫자를 그대로 판단에 쓸 수 있도록 세 가지를 정했습니다.
- 상위 N% 는 마케터가 쓰는 백분위 그대로 잘라요. 보고서의 ‘상위 5%’가 실제 발송 대상 ‘상위 5%’와 같은 고객이에요.
- 라벨이 있는 고객만 세어요. 라벨을 모르는 고객을 비전환으로 세면 분모만 커져 실행률이 실제보다 낮게 나와요.
- KS 는 부호를 유지해요. 절댓값으로 계산하면 순위가 거꾸로 뒤집힌 모델도 KS 가 크게 나와 정상처럼 보여요.
추론 대상도 테이블이나 SQL 로 지정할 수 있어서 평가용 테이블의 고객을 지정하면 한 번 실행에 학습부터 평가까지 끝나요.
피쳐 중요도: 크기는 0~1로, 방향은 부호로
평가 보고서에는 피쳐별 기여도 표도 들어가요. 예전에는 순열 중요도(Permutation Importance)를 그대로 보여 줬어요. 순열 중요도는 피쳐 값을 섞었을 때 손실이 얼마나 나빠지는지를 재는 값이에요. 그런데 표로 읽기에는 두 가지 문제가 있었습니다.
- 양수와 음수가 섞여 읽기 어려워요. 0에 가까운 음수가 ‘기여 없음’인지 ‘거꾸로 쓰임’인지 표만 보고는 알 수 없어요.
- 방향을 말하지 못해요. 선형 모델로 풀어 보면 이 값은 계수의 제곱에 비례해서 계산하는 순간 부호가 사라져요. ‘이 피쳐가 높을수록 전환 확률이 오르는가’에는 답할 수 없어요.
그래서 크기와 방향을 나눠서 보여 주기로 했습니다.
크기는 1위를 1.000 으로 두는 0~1 값으로 바꿨어요. 최솟값-최댓값 정규화는 쓰지 않았어요. 가장 큰 음수가 0에 놓이면서 진짜 0(영향 없음)이 눈금 중간으로 밀려나기 때문입니다. 대신 반복 측정 평균에 표준오차의 2배를 더해도 0보다 작은 음수에는 ! 를 붙였어요. 노이즈로 설명되지 않는 음수라는 뜻이에요. 이렇게 하면 모델이 거꾸로 쓰는 피쳐가 안 쓰는 피쳐와 같은 0.000으로 보이지 않습니다.
방향은 확률 변화로 쟀어요. 다른 피쳐는 그대로 두고 피쳐 하나만 하위 10% 지점 값과 상위 10% 지점 값으로 바꿉니다. 그리고 고객마다 예측 확률이 얼마나 달라지는지를 봅니다. 아래 식에서 i 는 고객, j 는 값을 바꾸는 피쳐, q10 · q90 은 그 피쳐의 하위 · 상위 10% 지점이에요.
최솟값·최댓값 대신 10%·90% 지점을 쓴 건 이상치 한 명이 기준값을 정해 버리지 않게 하려는 거예요. 일관성을 함께 보여 주는 건 신경망 때문입니다. 신경망은 고객마다 방향이 뒤집힐 수 있어요. 그래서 평균만 보면 절반은 오르고 절반은 내리는 피쳐가 ‘영향 없음’으로 읽힙니다.
보고서에서는 두 값이 한 줄에 나와요. importance는 크기이고 d_proba는 방향을 나타내는 평균 확률 변화입니다. 괄호 안은 확률이 오른 고객의 비율, 즉 일관성이에요.
1위 피쳐는 값이 높을수록 확률이 오르고, 고객의 85%에서 같은 방향이었어요. 3위 피쳐는 반대입니다. 값이 높을수록 확률이 내려가고, 확률이 오른 고객은 17%뿐이었어요. 2위처럼 범주형 피쳐는 하위·상위 10% 지점을 정할 수 없어서 방향을 n/a로 표시합니다.
4️⃣ 입력 데이터를 믿어도 되나: 날짜를 바꿔 가며 비교해요
이 절의 세 이야기는 모두 모델이 받는 입력이 우리가 생각한 그 값인지 확인하는 일입니다.
모델은 고정하고, 피쳐 목록으로 확인해요
처음 개발 당시에는 모델을 매일 재학습해 최신 데이터를 쓰면 좋은 결과를 낼 수 있을 것이라고 생각했습니다. 그런데 매일 재학습하는 모델과 고정한 모델을 나란히 비교해 보니 다른 그림이 나왔어요. 매일 재학습해도 회수율은 그대로였습니다. 점수 상위 10% 고객이 이틀 연속 겹치는 비율은 매일 재학습하는 쪽이 71%, 고정한 쪽이 95%였어요. 회수율이 유지돼도 명단이 매일 이만큼 바뀌면 마케터 입장에서는 쓰기 어려워요.
그래서 모델을 고정(Pinned)해서 쓰기로 했어요. 고정하는 건 모델 파일이 아니라 피쳐 목록이에요. 학습에 쓴 피쳐 목록과 해시값을 함께 저장하고, 추론은 같은 목록일 때만 돌게 했습니다.
입력이 비면 점수를 내보내지 않아요
모델을 고정하면 피쳐 목록은 학습 때에 멈춰 있지만 원천 테이블은 그렇지 않습니다. 한 모델이 쓰던 원천 테이블 중 4분의 1가량이 몇 달 사이에 생산을 멈췄어요. 피쳐 조인은 그날 파티션이 없으면 에러 없이 NULL을 채웁니다. 그대로 뒀다면 피쳐의 13~21%가 비어 있는 채로 점수가 아무 경고 없이 나갔을 거예요.
그래서 추론할 때마다 피쳐별 결손을 셉니다. 결손 피쳐가 10%를 넘으면 배치를 실패시키고 그날 점수는 적재하지 않아요. 망가진 점수가 조용히 나가는 것보다 알람이 울리는 게 낫다고 판단했습니다. 결손 비율은 매번 로그에 이렇게 남아요.
결손 비율이 올라가는 추이는 재학습 시점을 정하는 트리거로도 삼아요. 운영 중인 모델 세 개는 이 비율이 몇 달 사이에 0%에서 6~8%까지 올라왔습니다. 일정 비율에 도달하면 다시 학습합니다.
평가는 여러 날짜에서 해요
새 모델을 세 평가일에서 기존 모델과 비교한 적이 있습니다. 두 날은 기존 모델보다 조금 낮았고 마지막 하루만 크게 앞섰어요. 나중 날짜에서만 갑자기 좋아지는 경우는 흔하지 않아서 원인을 찾아봤습니다.
먼저 피쳐 단독 AUROC 를 날짜별로 쟀어요. 피쳐 하나만 예측 점수처럼 놓고 AUROC를 재는 방법입니다. 아래 표는 평가일 A 대비 단독 AUROC 변화율이에요. 다른 피쳐는 거의 그대로였는데 두 피쳐만 월중 기준일인 평가일 C 에서 크게 올랐어요.
피쳐평가일 A평가일 B평가일 Cfeat01기준+4%+17%feat02기준+4%+17%나머지 피쳐기준거의 변화 없음거의 변화 없음두 피쳐는 모두 월 단위로 집계하는 피쳐인데, 달이 끝날 때까지 매일 다시 계산되고 있었어요. 그래서 지난 월중 날짜를 기준으로 피쳐를 꺼내면 그 날짜 이후의 행동까지 들어 있었습니다. 모델이 맞혀야 할 정답 기간의 행동이에요.
SHAP 으로 봤다면 찾기 어려웠을 거예요. SHAP 은 피쳐 값과 모델 점수의 관계만 볼 뿐 고객이 실제로 전환했는지는 보지 않거든요. 단독 AUROC 는 피쳐와 정답의 관계를 바로 잽니다. SQL 로 계산할 수 있어서 날짜 하나에 전체 고객을 몇 분이면 볼 수 있어요.
이 일 이후로 세 가지를 바꿨습니다.
- 문제가 된 두 피쳐는 빼고, 대신 지난달까지의 데이터만 담은 테이블을 넣었어요.
- 평가는 월말과 월중처럼 성격이 다른 날짜를 섞어서 하고, 한 날짜에서만 앞서면 채택 전에 피쳐를 날짜별로 다시 확인해요.
- 새 데이터 원천은 그 값이 기준일에 이미 확정돼 있었는지부터 확인하고 써요.
마치며
모델을 둘러싼 사람들이 판단에만 집중하려면, 그 판단의 근거가 되는 숫자부터 믿을 수 있어야 합니다. 이에 기반해 모델의 성능이 우연히 좋게 나온 건 아닌지 더욱 면밀히 확인하고, 보고서의 숫자가 실제로 메시지를 받는 고객을 가리키도록 맞추고, 내일도 같은 품질의 점수가 서비스에 투입되도록 지켜 나갈 수 있었어요. 아울러 그 과정에서 복잡하고 사람의 손에 의존하는 과정을 자동화 함으로써 엔지니어의 판단에 시간을 더 쏟을 수 있게 했습니다. 여기서 시간이 절약되었기 때문에 새로운 구조를 도입하는 최적화 과정에 더 많은 노력을 투입할 수도 있었죠.
데이터에 기반한 의사결정. 피쳐 수든 모델 구조든, 복잡도는 경험이나 유행이 아니라 데이터 규모에 맞춰 실험으로 정해요. 한 모델에서는 피쳐를 84% 줄여도 성능이 통계적으로 구별되지 않았습니다. 모델 구조도 성능 데이터에 기반해 골랐어요. 더 복잡한 딥러닝 퍼널 모델이 항상 더 낫다고 가정하지 않고 같은 데이터·같은 평가 기준으로 트리와 나란히 재서 골랐습니다.
엔지니어링을 통한 워크플로 효율화. 퍼널마다 단계별 모델을 최대 다섯 개 학습하고 점수를 곱하는 방식으로 열한 가지를 비교하던 일도, 이제는 MLE가 단계별 라벨을 한 테이블에 담아 건네면 단일 모델이 맡습니다. 또, 학습이 끝나면 평가 보고서가 함께 나오면서, 모델의 성능을 평가하는 시간은 개별 모델당 30분에서 1분으로 줄었어요.
합리적 의구심과 꾸준한 개선. 모델을 만든 뒤에도 같은 태도를 유지했어요. 매일 재학습하면 회수율은 그대로여도 점수 상위 명단이 하루 만에 크게 바뀌어서, 학습 때의 피쳐 목록으로 모델을 고정하는 기능을 넣었습니다. 추론 때에는 피쳐별 결손을 세어 일정 수준 이상이면 그 날 점수를 적재하지 않게 했어요. 한 날짜에서만 튄 성능은 그대로 믿지 않고 끝까지 따라가, 피쳐에 섞여 있던 미래 정보를 찾아냈습니다.
AI 시대가 될 수록 사람은 생각하는 존재로서의 본질을 잃지 않아야 한다고 믿어요. 그렇기에 우리는 파이프라인이 대신하지 못하는 일에 대해 찾아내고 실험을 통해 판단한 내용, 판단에 필요한 데이터를 연산하는 일에 대해서는 점차 자동화의 영역으로 보내고 있습니다. 그러나 어떤 고객의 어떤 행동을 예측할지 정하는 일, 결과가 실제 사용 목적에 충분한지 살피는 일, 그리고 이 모델을 채택할지 결정하는 일은 인간이 개입하죠. 저희가 비교 과정을 자동화한 이유는 MLE 가 이런 판단에 시간을 집중하여 쓰게 하기 위해서였어요. 이런 업무 플라이휠을 지속한다면 비즈니스 문제가 모델링 체계를 거쳐 임팩트로 연결되는 과정은 계속 진화할 거라고 믿습니다.