
요약
대시보드에서 지표가 갑자기 움직인 날을 발견하면, 분석가는 자연스럽게 이유를 찾기 시작합니다. 그런데 숫자를 파고들기 전에 먼저 답해야 하는 질문이 있어요.
“그날 제품에서 무슨 일이 있었을까요?”
새로운 화면이 배포됐을 수도 있고, 대상 유저 조건이 바뀌었을 수도 있습니다. 실험이 시작됐거나 혜택 정책이 달라졌을 수도 있죠. 이 기록들은 대개 어딘가에 남아 있지만, 한곳에 모여 있지는 않습니다. 배포 채널을 검색하고, 관련 PR을 찾아보고, 정책 문서와 논의 이력을 비교해야 비로소 당시의 상황을 그릴 수 있어요.
이 글에서는 페이스페이 프로모션 New20의 맥락을 한눈에 살펴보기 위해 만든 New20 Timeline Hub를 소개합니다. 흩어진 기록을 어떻게 하나의 시간축으로 연결했는지, 자동으로 모은 정보를 어떤 기준으로 정리했는지, 그리고 신뢰할 수 있는 맥락을 만들기 위해 무엇을 고민했는지 이야기해 보겠습니다.

질문은 반복되는데, 답은 흩어져 있었습니다
New20은 참여한 유저가 일정 기간 페이스페이로 결제할 때 혜택을 제공하는 프로모션입니다. 반복 결제를 유도하는 것이 목표인 만큼, 혜택 정책뿐 아니라 참여 대상, 유저가 만나는 화면, 노출 지면, 실험이 계속 바뀝니다.
이런 제품을 분석하다 보면 비슷한 질문을 자주 받습니다.
“9월 둘째 주에 참여가 왜 튀었나요?” ”지금 NAU 대상 조건이 정확히 어떤건가요?” ”이 경로로 들어오면 어떤 화면이 뜨나요?” ”그 때 쿠폰은 얼마였죠?”
답을 찾는 데 필요한 자료는 회의록, GitHub PR, 정책 문서, 디자인 보드, 세그먼트 정의, 대시보드에 나뉘어 있었습니다. 관련 자료가 없어서가 아니라 기록을 이어 붙이는 비용이 문제였어요. 각 자료는 자기 목적에는 충실했지만, 분석가가 특정 시점의 제품 상태를 복원하기에는 조각이 흩어져 있었습니다.
예를 들어 지표가 오른 시점에 배포가 있었다는 사실만 알아서는 충분하지 않습니다. 어떤 유저를 대상으로 했는지, 어떤 화면에서 노출됐는지, 같은 기간 다른 실험은 없었는지도 함께 살펴봐야 합니다. 게다가 변경 시점이 가깝다는 사실만으로 지표 변화의 원인을 확정할 수는 없습니다. 맥락은 인과관계의 답이라기보다, 어떤 가설을 검증해야 할지 찾는 출발점에 가깝습니다.
힌트는 하나의 시간축에 있었습니다
허브를 만들 때 참고한 것은 Meta의 Timeline 형식 내부 도구를 커머스 도메인의 배포 조회 도구에 적용한 사례였습니다. 커머스 사례에서는 팀과 서비스별로 한 줄씩 두고, 배포를 점으로 표시한 뒤 변경 유형을 색으로 구분했어요. 여러 변경을 같은 시간축에서 볼 수 있다는 점이 인상적이었습니다.
저는 이 방식을 분석가의 질문에 맞게 가져왔습니다. 배포만 나열하는 대신 제품 맥락을 다섯 가지 갈래로 나눴어요.
- 정책·혜택: 어떤 혜택과 운영 정책이 바뀌었는지
- 세그먼트: 누구에게 적용되는지, 대상 조건이 어떻게 달라졌는지
- 노출 지면: 유저가 어디에서 어떤 화면과 메시지를 만나는지
- 실험: 무엇을 검증하기 위해 어떤 시도를 했는지
- 데이터·대시보드: 분석과 모니터링에 필요한 데이터가 어떻게 연결되는지
이렇게 나누면 날짜는 하나로 유지하면서도 질문에 따라 필요한 갈래를 살펴볼 수 있습니다. 예를 들어 참여 지표를 이해하려면 정책 변경뿐 아니라 같은 시기의 노출 지면과 실험도 함께 확인할 수 있어요.
타임라인의 점에는 상태도 표시했습니다. 채운 점은 PR이나 배포를 통해 개발 반영이 확인된 변경, 빈 점은 논의 기록은 있지만 개발 반영이 확인되지 않은 항목입니다. 논의된 내용과 실제 반영된 내용을 같은 확실성으로 읽지 않도록 하기 위해서예요.

여러 기록을 하나의 ‘변경’으로 묶기
타임라인을 만들 때 부딪힌 문제는 관련 링크를 날짜순으로 늘어놓는 것만으로는 제품의 변화를 이해하기 어렵다는 점이었습니다. 하나의 제품 변경이 서버와 프론트엔드 PR, 데이터 작업, 배포 요약, 운영 논의 등의 여러 채널에 각각 기록되기 때문입니다.
예를 들어 9월 8일로 정리된 ‘현장참여 사후적립 출시’ 항목에는 PR 9건과 회의록 5건, 총 14개의 근거가 연결돼 있습니다. 이 변경에는 매장에서 먼저 결제한 유저가 이후 New20에 참여했을 때 적립을 사후에 지급하는 내용과 함께 안내·알림 퍼널, 인앱 진입점 관련 변경, 미수령 세그먼트 뷰가 연결돼 있었어요. 일부 서버·프론트엔드 반영과 관련 후속 작업은 서로 다른 날짜에 걸쳐 있었습니다.
이 기록들을 각각 별도의 점으로만 보여주면 실제로는 하나의 흐름인 일이 여러 사건처럼 보일 수 있습니다. 반대로 하나로 묶기만 하고 원문을 남기지 않으면, 요약이 무엇을 근거로 하는지 확인하기 어렵습니다. 그래서 허브에서는 변경을 읽기 쉬운 단위로 묶되, 그 판단에 사용한 원문을 함께 연결했습니다.
이 방식의 핵심은 요약을 정답으로 만드는 데 있지 않습니다. 필요한 사람이 변경의 개요를 빠르게 파악하고, 중요한 판단을 할 때는 원문으로 돌아가 확인할 수 있게 하는 데 있습니다.
시간순 목록을 넘어, 질문별로 찾아보기
같은 자료라도 질문에 따라 필요한 출발점은 다릅니다. 그래서 허브에는 시간축 외에도 제품 맥락을 다른 관점에서 볼 수 있는 화면을 두었습니다.
- 히스토리: 날짜별 변경과 연결된 근거를 확인합니다.
- 노출 현황: 진입 경로와 유저 상태에 따라 어떤 화면이 보이는지 살펴봅니다.
- 세그먼트: 현재 대상 조건과 과거 변경 이력을 함께 봅니다.
- 관계 보기: 같은 주제에 속한 결정, 화면, 문서를 연결해서 탐색합니다.
- 쿠폰 발급 종료: 지면별 종료 현황을 확인합니다.
- 데이터: 대시보드, 리포트, 정책 문서로 이동합니다.
- 출처·범위: 어떤 자료를 모았고 어디에 빈틈이 있는지 확인합니다.
예전에는 “현재 대상 조건이 뭐죠?”라는 질문에 답하려면 SQL과 문서, 변경 스레드를 각각 찾아 맞춰 봐야 했습니다. 허브에서는 세그먼트 화면에서 현재 조건과 변경 이력을 함께 살펴볼 수 있습니다. “그날 무슨 일이 있었죠?”라는 질문은 히스토리에서 날짜를 좁힌 뒤 관련 원문으로 이동하는 방식으로 풀 수 있고요.
중요한 것은 모든 정보를 한 화면에 복사하는 것이 아니라, 질문에서 근거까지 이어지는 경로를 짧게 만드는 것이었습니다.
매일 쌓이는 맥락을 정리하는 방법
허브가 한 번 만든 뒤 멈춘 문서가 되지 않도록, 매일 아침 기록을 수집하고 정리하는 과정을 붙였습니다.
1. 기록이 있는 곳에서 모읍니다
배포 요약 채널, 여러 저장소의 PR, 문서 목록, 결정 노트 등 자동으로 가져올 수 있는 자료부터 모았습니다. PR은 서버가 매시간 별도로 가져오고, 다른 자료는 아침 스크립트로 정리합니다. 아침 스크립트 실행에는 약 5~10분이 걸립니다.
모든 소스를 한꺼번에 완벽하게 연결하기보다, 먼저 기존에 기록이 쌓이고 있는 곳을 파악하는 것이 출발점이었어요.
2. 기록된 날짜와 실제 맥락의 날짜를 구분합니다
자동 수집에서 가장 어려운 문제 중 하나는 날짜였습니다. 어떤 결정이 나중에 지식 노트에 적재되면, 적재일을 사건의 날짜로 착각하기 쉽습니다. 하지만 분석가에게 필요한 것은 대개 노트가 저장된 날이 아니라, 결정이나 변경이 실제로 일어난 시점입니다.
예를 들어 5월 15일에 논의한 내용이 9월 30일에 지식 노트로 적재된 경우가 있었습니다. 허브에서는 노트의 적재일을 그대로 쓰지 않고 근거가 되는 논의 시점을 확인해 날짜를 바로잡았습니다. 그렇지 않았다면 수개월이 지난 뒤의 지표 변화와 과거 논의가 잘못 나란히 놓일 수 있었겠죠.
3. 갈래와 상태를 붙이고, 표현을 정리합니다
수집한 항목은 정책·혜택, 세그먼트, 노출 지면, 실험, 데이터·대시보드 중 적절한 갈래로 나눕니다. 개발 반영이 확인됐는지, 논의만 확인됐는지도 구분합니다.
읽는 사람을 위해 표현도 정리했습니다. 이름을 가리고, 내부에서 쓰는 ‘편입’ 같은 단어는 맥락에 맞게 ‘참여’로 통일했어요. 기록을 모으는 일과 다른 사람이 이해할 수 있도록 맥락을 번역하는 일은 별개의 작업이었습니다.
4. 요약 옆에 원문을 남깁니다
각 항목에는 확인 가능한 PR, 회의록, 지식 노트 링크를 연결했습니다. 자동으로 만든 요약이나 수작업으로 정리한 문장 모두 틀릴 수 있기 때문입니다. 특히 정책 판단이나 분석 결과 해석처럼 정확성이 중요한 순간에는 원문을 직접 확인할 수 있어야 합니다.
신뢰할 수 있는 허브는 빈틈도 보여줍니다
여러 자료를 모았다고 해서 허브가 모든 것을 알고 있는 것은 아닙니다. 오히려 무엇을 수집하지 못하는지 함께 밝히는 편이 더 중요했습니다.
예를 들어 PR 수집은 지정된 저장소와 New20 관련 표현에 의존하기 때문에, 표현이 다른 PR이나 수집 대상 밖의 저장소는 빠질 수 있습니다. 배포 요약에도 관련 키워드가 없으면 놓칠 수 있고요. 디자인 보드만으로는 홈이나 푸시 등 앞단의 모든 진입 지면을 구분하기 어려운 부분도 있었습니다. SQL이 저장소에 없는 세그먼트 뷰는 ‘레포 미등록’으로 표시했습니다.
그래서 허브의 ‘출처·범위’ 화면에는 소스별 갱신 주기뿐 아니라 빠질 수 있는 정보도 함께 적었습니다. “여기에 없으니 없었던 일”이라고 해석하지 않도록 하기 위해서입니다.
이 원칙은 지표 해석에도 그대로 적용됩니다. 타임라인에서 변경과 지표 변화를 함께 보는 것은 원인 후보를 찾는 데 도움이 되지만, 시점이 겹친다는 사실만으로 효과가 증명되지는 않습니다. 실제 효과를 판단하려면 실험 설계와 비교 대상, 다른 동시 변경을 별도로 살펴봐야 합니다.
맥락을 모으는 일도 분석의 일부입니다
New20 Timeline Hub는 새로운 지표를 계산하는 도구라기보다, 이미 존재하는 기록을 분석에 쓸 수 있는 형태로 연결하려는 시도였습니다. 흩어진 자료를 다섯 가지 질문의 갈래와 하나의 시간축에 올리고, 근거와 불확실성을 함께 보여주는 데 집중했어요.
비슷한 문제를 겪고 있다면 다음 순서로 작게 시작해 볼 수 있습니다.
- 팀이 반복해서 받는 질문과, 답을 찾기 위해 열어 보는 자료를 적어봅니다.
- 질문이 갈리는 기준으로 변경을 분류하고, 공통 시간축에 올립니다.
- 논의와 실제 반영을 구분하고, 각 항목에서 원문으로 돌아갈 수 있게 합니다.
- 기록일과 실제 사건일을 구분하고, 수집 범위와 빠질 수 있는 자료를 명시합니다.
- 자동으로 가져올 수 있는 자료부터 주기적으로 갱신하고, 빈틈은 드러낸 채 보완합니다.
대시보드가 무슨 일이 일어났는지 보여준다면, 잘 정리된 맥락은 다음에 무엇을 물어야 하는지 알려줍니다. 제품이 빠르게 변할수록 분석가에게 필요한 것은 더 많은 숫자만이 아니라, 그 숫자가 만들어진 시간과 결정의 이야기일지도 모릅니다.