
요약
안녕하세요. 토스코어 Machine Learning Platform 팀의 Machine Learning Platform Engineer 김준호입니다.
추천 모델은 과거에 어떤 상품을 추천했고 사용자가 클릭하거나 구매했는지에 대한 기록에, 사용자와 상품의 피처를 연결해 학습해요. 이렇게 학습한 모델로 온라인에서 추천할 때는 요청이 들어온 시점에 온라인 저장소에서 제공하는 피처를 조회해 예측해요.
이 추천 기록은 이후 모델을 학습하는데 다시 사용돼요. 그런데 피처는 시간이 지나면서 달라지기 때문에, 학습 데이터를 만드는 시점의 값을 그대로 가져오면 실제 추천할 때와 다른 정보를 사용하게 돼요.
그래서 과거 시점에 맞는 피처를 연결하는 Point-in-Time (PIT) 조인을 사용해요. 같은 사용자나 상품의 피처 중에서, 학습 데이터에 지정한 기준 시각을 넘지 않는 가장 최근 값을 가져오는 방식이에요. 토스의 Trainkit에서 PIT 조인을 지원하는 방식은 이전 글에서 소개했어요.
다만 피처에 기록된 시각과 실제 서빙에 반영된 시각이 항상 같지는 않아요. 배치로 생성한 피처를 온라인 저장소에 업로드하는데 시간이 걸리기 때문이에요. 따라서 배치 데이터의 기준 시각으로 피처를 선택하면, 요청 당시에는 아직 서빙되지 않았던 값을 학습에 사용할 수도 있어요.
이처럼 학습할 때와 실제 예측할 때 사용하는 피처에 차이가 생기는 현상을 Training-Serving Skew라고 해요. 토스 추천 시스템에서도 학습과 서빙에서 서로 다른 파티션을 사용하거나, 업로드 중 피처 값과 파티션 정보가 어긋나는 문제를 겪었어요. 집계 대상에서 빠진 값이 온라인 저장소에 남아 계속 서빙되는 경우도 있었어요.
이 글에서는 세 가지 문제가 발생한 원인과, 이를 해결하기 위해 검토하고 적용한 방법을 소개해요.
Problem 1 - 학습과 서빙에서 서로 다른 파티션 사용
추천 모델은 사용자의 행동 이력, 상품 정보, 사용자 정보 등 여러 피처를 함께 사용해요. 토스에서는 이러한 피처들을 테이블에 저장하고, 여러 테이블을 피처 서비스로 묶어서 조회해요. 하나의 모델에서 여러 피처 서비스를 사용하기도 해요.
각 피처 테이블은 배치로 데이터를 생성해요. 생성한 데이터는 기준 시각별 파티션으로 보관하고, 온라인 저장소에 업로드해 서빙에 사용해요. 예를 들어 매시간 생성하는 테이블이라면, 09시, 10시 파티션을 각각 보관하는 식이에요. 그런데 배치 데이터가 만들어진 시각과 실제로 서빙을 시작한 시각은 같지 않아요. 이는 온라인 저장소에 업로드하는 시간이 필요하고, 테이블마다 업로드가 끝나는 시점도 다르기 때문이에요.
10시 5분에 추천 요청이 들어왔다고 해볼게요. 이 때, 사용자 정보를 담고 있는 피처 테이블은 업로드가 완료되어 10시 파티션을 사용하지만, 상품 정보를 담고 있는 피처 테이블은 아직 업로드가 끝나지 않아 09시 파티션을 사용할 수 있어요. 같은 요청에서도 테이블마다 서로 다른 시점의 데이터를 사용하는 거예요.

이제 이 요청을 학습 데이터로 만드는 과정을 살펴볼게요. 기존에는 요청이 발생한 시각을 기준으로 피처 파티션을 선택했어요. 앞의 요청은 10시 5분에 발생했으므로, 사용자 정보와 상품 정보 모두 10시 파티션에서 가져오는거에요. 하지만 실제 추론에서는 상품 정보로 09시 파티션을 사용했어요. 결국 같은 요청에 대해 서빙에서는 09시 데이터를 학습에서는 10시 데이터를 사용하게 되는거에요.
학습과 서빙이 동일한 파티션을 사용하게 하기 위해서 두 가지 방법을 검토했어요.
방법 1-1. 모든 추론 요청을 로그로 적재
가장 직관적인 방법은 모든 추론 요청에서 실제 사용한 피처를 로그로 적재하는 것이에요.
예를 들어 사용자 A에게 상품 X를 추천할 때 피처 값 5를 사용했다면, 어떤 추천 요청에서 사용한 값인지 알 수 있도록 로그에 함께 남겨요. 이후 학습 데이터를 만들 때는 사용자가 상품 X를 클릭했는지에 대한 결과와 로그에 저장한 값 5를 연결해요. 실제 예측에 사용한 값이 로그에 있으니, 원본 피처 테이블에서 당시의 값을 다시 조회할 필요가 없어요.
다만 모든 요청에서 사용한 피처 값을 로그로 남기려면 저장 비용을 고려해야 해요. 당시 규모로 계산했을 때 하루에도 수십 TB의 로그가 쌓일 것으로 예상했어요. 여기에 로그를 전송하는 비용과 학습 데이터를 만들 때 읽고 처리하는 비용도 더해져요.
토스에서는 여러 실험을 동시에 진행하고 있어, 각 실험에서 사용하는 피처 값을 모두 기록하면 비용 부담이 커져요. 그래서 피처 값 전체를 저장하는 대신, 더 적은 정보로 서빙 당시의 값을 다시 가져올 수 있는 방법을 검토했어요.
방법 1-2. 사용한 파티션을 기록
피처 값 전체를 로그로 남기는 대신, 실제 서빙에 사용한 피처의 파티션만 기록하는 방법도 있어요. 배치로 생성한 피처는 이미 기준 시각별 파티션으로 보관하고 있어서, 요청마다 사용한 파티션과 조회 대상을 정확히 남기면 학습에서도 같은 값을 다시 가져올 수 있어요.
예를 들어 10시 5분에 들어온 요청에서 상품 피처로 09시 파티션을 사용했다면, 해당 요청의 로그에 상품 피처는 09시 파티션에서 가져왔다는 정보를 남겨요. 이후 학습 데이터를 만들 때도 이 기록을 따라 09시 파티션에서 해당 상품의 피처를 가져와요. 요청이 발생한 시각으로 파티션을 추정하지 않고, 실제 서빙에 사용한 파티션을 선택하는 거예요.

이 방식으로 같은 값을 가져오려면 학습에 필요한 기간 동안 과거 파티션을 보관해야 해요. 또한 보관한 파티션의 값을 나중에 덮어쓰지 않는 것도 중요해요. 파티션을 정확히 기록했더라도 그 안의 값이 바뀌면, 실제 예측에 사용했던 피처를 재현할 수 없기 때문이에요.
우리는 이미 보관하고 있는 배치 데이터에서 피처 값을 가져오고, 요청 로그에는 사용한 파티션 정보만 남기는 방식을 선택했어요. 피처 값 전체를 요청마다 반복해서 저장하지 않아도 되기 때문에, 로그의 크기와 이를 전송하고 보관하는 비용을 줄일 수 있어요.
Problem 2 - 피처 값과 파티션 정보가 서로 다른 시점에 갱신
09시 파티션 (P09) 을 서빙하던 테이블에 10시 파티션(P10)을 업로드한다고 해볼게요. 업로더는 서빙 중인 테이블에 새 피처 값을 행마다 덮어써요. 사용자 A의 행을 먼저 갱신하면, 그때부터 A를 조회하는 요청에는 P10의 값이 반환돼요. 아직 갱신하지 않은 사용자 B를 조회하면 같은 시각에도 P09의 값이 반환돼요.
그런데 요청 로그에 남기는 파티션 정보는 테이블마다 하나였어요. 여기에는 마지막으로 업로드를 마친 파티션을 기록하기 때문에, P10 파티션의 모든 데이터 업로드가 끝날 때 까지는 A를 조회해도 B를 조회해도 파티션 정보는 P09로 남아요. 두 요청 모두 같은 파티션을 기록하지만, 먼저 갱신된 A의 경우에는 그 기록이 실제로 사용한 값과 어긋나요.

그림에서 10시 5분에 들어온 추천 요청은 사용자 A의 새 조회 횟수인 5를 사용했어요. 나중에 이 요청을 학습 데이터로 만들 때 로그에 남은 P09에서 A의 조회 횟수를 가져오면, 학습에서는 이전 값인 3을 사용하게 돼요.
방법 2-1. 테이블 행마다 파티션을 저장하기
이 문제를 해결하는 방법 중 하나는 row마다 피처 값과 해당 값의 파티션을 함께 저장하는 것이에요. 예를 들어 업로드 중 어떤 row가 10시 데이터로 갱신됐다면, 그 row의 파티션 정보도 10시로 바꾸는 거예요. 그러면 업로드가 모두 끝나기 전에도 새 값을 서빙하면서, 해당 값이 어느 파티션에서 왔는지 정확히 기록할 수 있어요.
다만 이 방식을 적용하려면 업로더에서 row마다 파티션을 저장하고, 서빙에서는 조회한 row별 파티션을 로그로 남기며, 학습에서도 이 정보를 이용해 피처를 가져오도록 변경해야 해요.
우리는 이 구조를 한 번에 변경하기보다, 기존의 테이블 단위 파티션 정보를 활용해, 먼저 학습과 서빙의 차이를 줄이기로 했어요. 행별 기록을 도입하는 데 필요한 작업량에 비해 얼마나 효과가 있을지 확인되지 않은 상태였기 때문이에요.
테이블 단위의 파티션 정보를 계속 사용하려면, 업로드 중 먼저 갱신된 row가 바로 서빙되지 않도록 해야 해요. 그래서 다음으로 설명할 블루/그린 방식을 선택해, 서빙하는 데이터와 테이블의 파티션 정보를 함께 전환하도록 했어요.
방법 2-2. 블루 / 그린으로 데이터와 파티션 정보를 함께 전환
테이블 단위의 파티션 정보를 활용하려면, 서빙하는 데이터와 파티션 정보가 일치해야 해요. 이를 위해 현재 서빙하는 영역과 새 데이터를 적재하는 영역을 분리하는 블루 / 그린 방식을 적용했어요.
업로드 중에는 기존 영역의 데이터를 계속 서빙하고, 새 데이터의 적재가 끝나면 서빙 대상과 파티션 정보를 함께 전환해요. 예를 들어 다른 영역에 10시 데이터를 적재하는 동안에는 09시 데이터와 09시 파티션 정보를 반환하고, 테이블 전환이 완료된 후에는 10시 데이터와 10시 파티션 정보를 반환하는거에요.
이렇게 하면 새 데이터를 업로드하는 동안에, 서로 다른 파티션의 값이 섞이는 일은 발생하지 않아요. 따라서 row마다 파티션을 저장하지 않아도, 실제 추론한 값을 테이블의 파티션 정보로 조회할 수 있어요.

블루 / 그린 전환은 테이블마다 독립적으로 이루어져요. 따라서 하나의 요청에서 조회한 테이블들이 모두 같은 시각의 파티션을 사용하는 것은 아니에요. 테이블 A가 10시 파티션을, 테이블 B가 09시 파티션을 사용했다면 각각 기록을 하고, 학습에서도 이 기록에 따라 같은 파티션을 조회해요.
Problem 3. 집계 대상에서 빠졌지만, 온라인 저장소에 남아있는 피처
추천 모델에는 사용자가 특정 상품을 조회하거나 장바구니에 담은 이력을 나타내는 피처도 사용해요. 이때 상품마다 별도 컬럼을 만드는 대신, 사용자와 상품의 조합을 키로 사용해 값을 조회해요. 예를 들어 최근 7일 조회 횟수 컬럼에서 사용자 A와 상품 X로 조회하면 3회, 사용자 A와 상품 Y로 조회하면 1회를 가져오는 식이에요. 토스에서는 이런 피처를 Cross Feature라고 불러요.
최근 7일간의 행동을 집계하는 Cross Feature를 예로 들어볼게요. 그 기간에 행동이 없는 사용자와 상품의 조합은 새로 생성하는 피처 데이터에 포함되지 않아요.
그런데 이렇게 집계 대상에서 빠지더라도 온라인 저장소에 이전에 업로드한 값까지 삭제되는 것은 아니었어요. 기존 업로더는 생성된 데이터를 Upsert했기 때문에, 더 이상 생성되지 않는 row는 TTL이 만료될 때까지 남아 계속 서빙됐어요.
사용자가 6월 1일에 상품을 조회한 뒤 추가로 행동하지 않았다고 해볼게요. 이 조회 기록은 6월 7일까지 집계에 포함되지만, 6월 8일부터는 최근 7일의 범위를 벗어나요. 따라서 6월 8일에 생성한 피처 데이터에는 해당 사용자와 상품의 조합이 없어요.
하지만 온라인 저장소에는 6월 7일에 마지막으로 업로드한 값이 남아 있어요. 이때 TTL이 7일로 설정됐다면, 해당 값은 6월 14일 만료 전까지 조회될 수 있어요. 최근 행동을 반영하려던 피처가 실제 서빙에서는 약 2주 전의 행동까지 반영하게 되는 거예요.

이 차이는 학습 데이터를 만들 때도 나타나요. 예를 들어 6월 10일의 추천 요청을 학습 데이터로 만들면, 해당 날짜의 파티션에는 이 사용자와 상품의 피처가 없어 결측값으로 처리해요.
반면 실제 서빙에서는 온라인 저장소에 남아 있던 6월 7일의 값을 사용했어요. 테이블의 파티션 정보를 맞추더라도, 학습에서는 없는 피처를 서빙에서는 사용하고 있었던 거예요.
방법 3-1. 집계 대상에서 빠진 데이터도 함께 삭제하기
이 차이를 없애려면 새로 생성한 피처를 업로드하는 것뿐 아니라, 집계 대상에서 빠진 피처도 더 이상 서빙되지 않도록 해야 해요. 그래서 업로더에서 추가하거나 변경할 데이터와 삭제할 데이터를 함께 확인하도록 했어요.
블루 / 그린에서 새 데이터를 적재할 영역에 남아 있는 파티션과 이번에 업로드할 파티션을 비교해요. 신규 또는 변경된 row는 반영하고, 이번 파티션에서 빠진 row는 삭제해요. 값이 같은 row는 그대로 유지해 불필요한 쓰기를 줄였어요.
이때 비교 기준은 현재 서빙 중인 파티션이 아니라, 새 데이터를 적재할 영역에 남아 있는 파티션이에요. 예를 들어 현재 서빙하는 영역에는 10시 데이터가 있고 다른 영역에는 09시 데이터가 남아 있다면, 11시 데이터를 적재할 때는 09시 데이터와 비교해야 해요. 실제로 갱신할 영역에 어떤 데이터가 남아 있는지를 기준으로 변경분과 삭제 대상을 계산하는 거예요.
데이터 반영과 검증, 삭제가 모두 끝나면 해당 영역으로 서빙을 전환해요. 앞의 예시에서는 6월 8일 파티션에 포함되지 않은 사용자와 상품의 row를 삭제한 뒤 전환하는 거예요. 따라서 이전 값의 TTL이 만료되기를 기다리지 않고, 전환 시점부터 해당 피처가 더 이상 조회되지 않아요.
최초 적재처럼 비교할 기준 파티션이 없거나 전체 적재를 수행하는 경우에는 새 데이터를 적재할 영역을 비우고 전체 데이터를 업로드해요.
이렇게 집계 대상에서 빠진 데이터까지 삭제하면서, 학습에서는 결측값으로 처리하는 피처가 서빙에서는 과거 값으로 조회되던 문제를 해결했어요.
모델에 적용하기
앞서 설명한 방식을 추천 모델에 적용했어요. 추천 요청에 대한 클릭이나 구매 결과에 서빙 당시의 파티션 기록을 연결하고, 각 피처 테이블에서 해당 파티션의 데이터를 가져와 학습 데이터를 만들었어요.
먼저 학습 데이터에 실제 서빙에서 사용한 파티션을 얼마나 연결할 수 있는지 확인했어요. 사용자 피처는 학습 대상 행의 약 89%, 상품 피처는 약 94%에 서빙 파티션을 연결할 수 있었어요. 나머지에는 추론 서버를 거치지 않아 파티션 기록이 없는 노출도 포함되어 있었어요.
파티션을 연결하는 것과 실제 피처 값이 일치하는 것은 다르기 때문에, 값도 비교했어요. 사용자와 상품 사이의 행동 이력을 나타내는 cross feature는 분석 대상 노출의 약 75%에서 실제 서빙에 사용한 값을 재현했어요. 여기에는 학습과 서빙에서 모두 피처가 없는 경우도 포함돼요.
기존에 TTL 때문에 남아 있던 과거 값이 더 이상 서빙되지 않으면서 달라진 점도 있었어요. 중간 분석에서 cross feature가 조회되는 노출의 비율은 14.4%에서 6.0%로 줄었어요. 새 집계 결과에는 없지만 온라인 저장소에 남아 있던 값이 제거되면서, 모델이 이 피처를 사용하는 범위도 줄어든 거예요.
이 변화가 추천 결과에 미치는 영향을 확인하기 위해 온라인 실험을 진행했어요. 전체 지면을 합산한 결과, 기존 모델과 비교해 CTR은 상대적으로 0.86% 감소하고 CVR은 0.91% 증가했으며, 두 변화 모두 통계적으로 유의했어요. 다만 구매한 사용자 비율과 사용자당 주문 수 등 목표 지표와 매출 관련 가드레일 지표에서는 유의한 변화가 없었어요. 추천 성능의 개선을 확인한 것은 아니지만, 주요 지표의 유의한 하락 없이 학습과 서빙의 피처 차이를 줄인 방식을 적용할 수 있었어요.
이처럼 Training-Serving Skew의 영향을 살펴볼 때는 피처의 불일치와 추천 성과를 나눠 확인할 수 있어요. 먼저 같은 추천 요청에서 서빙에 사용한 피처와 학습에서 가져온 피처를 비교해, 값이 다르거나 한쪽에서만 피처가 조회되는 경우가 얼마나 되는지 확인해요. 그다음 이 차이를 줄인 데이터로 모델을 다시 학습하고 온라인 실험에서 기존 모델과 비교하면, 변경이 실제 추천 성과에 미친 영향까지 살펴볼 수 있어요.
마치며
같은 쿼리로 만든 피처를 사용하더라도, 학습과 서빙에서 같은 값이 사용되는 것은 아니었어요. 테이블마다 업로드가 끝나는 시점이 달랐고, 업로드 중에는 피처 값과 파티션 정보가 어긋났으며, 집계 대상에서 빠진 값이 온라인 저장소에 남아 있기도 했어요.
우리는 서빙에 사용한 파티션을 기록하고, 그 기록으로 실제 사용한 값을 다시 가져올 수 있도록 데이터 갱신 방식과 학습 데이터 생성 과정을 함께 바꿨어요. 피처 값 전체를 로그로 남기는 비용을 감당하기보다, 이미 보관하고 있는 파티션을 활용해 학습과 서빙의 차이를 줄이는 방법을 선택했어요.
이 과정에서 피처를 생성하는 로직만큼이나, 그 피처가 언제 서빙되고 언제 더 이상 사용되지 않는지도 중요하다는 것을 배웠어요. 오래된 행동 정보가 추천에 필요하다면 온라인 저장소에 우연히 남아 있는 값에 의존하기보다, 학습과 서빙에서 모두 사용할 수 있도록 피처에 명시적으로 포함해야 해요.
추천 모델의 학습 시점과 서빙 시점에서 입력되는 피처 값이 다르다면, 피처를 만드는 쿼리뿐 아니라 저장소를 갱신하고 조회하는 과정까지 살펴보세요. 이번 경험이 그 차이를 찾고 해결하는 데 도움이 되었으면 해요.