신규 가입 막기까지... AI 좀 쓴다는 사람 사이 핫한 이것

요약

본문

▲맛집 목록을 정리해줘라는 간단한 질문에도, 고성능 AI는 수많은 토큰을 소모하며 막대한 추론 비용을 씁니다. ⓒ 신상호

요즘 AI 좀 써본다는 사람들 사이에서 핫한 아이템은 'Jev(제브)'입니다. 지난 9월 미국 스타트업인 타입세이프(TypeSafe AI)가 이 모델을 처음 공개하자마자 개발자 커뮤니티와 SNS에선 사용 후기가 쏟아졌고, 놀랄 정도로 호평 일색이었습니다. 사용자들이 너무 몰려들어 회사가 신규 가입 절차를 잠시 중단하기까지 했습니다.

Jev(제브)가 도대체 뭐길래 이렇게 뜨거운 관심을 받는 걸까요? 이 모델은 챗GPT나 클로드처럼 범용 AI를 활용하면서 나타나는 고민을 해결해주기 때문입니다.

'알파고가 오목 두는 일' 막는다

AD 챗GPT나 클로드는 '문장 단위'로 생각을 합니다. 사용자의 질문을 받으면 단어 조각(토큰)을 하나씩 이어 붙여서 추론을 하고, 답을 만들어 냅니다. 고성능 모델들은 추론을 하기 위해 매우 긴 문장을 써내려가는 과정을 거칩니다. 덕분에 어려운 문제를 풀기도 하지만, 그 대가가 따릅니다. 답변을 받기까지 시간이 걸리고, 시간이 오래 걸릴 수록 소모되는 토큰량은 많아집니다. 고성능 추론 모델을 더 많이 쓴다면 토큰에 사용되는 비용도 눈덩이처럼 불어납니다. 한달에 수백만원, 수천만원을 쓰는 사람들도 부지기수입니다.

AI 사용이 익숙해지다보면 사람들은 비싼 모델을 아주 사소한 일에도 활용하게 됩니다. 맛집 리뷰가 칭찬인지 불만인지를 구분하거나, 받은 문자가 스미싱인지 아닌지를 묻거나, 회의록에서 어떤 안건이 통과됐는지를 확인하는 일까지도 비싼 모델의 추론에 맡기기도 합니다. 저렴한 모델을 선택해서 할 수도 있지만 이렇게 활용하는 건, 일정 부분 '귀찮음'이 작용한 것이기도 하겠죠. 알파고에게 오목을 두게 하는 격입니다.

리뷰 한 줄이 칭찬인지 불만인지 가리기 위해 고도의 모델이 다층화된 추론 과정을 거치는 시간을 들이고, 그 과정에서 GPU를 마구 소모하는 일, 분명 경제적인 선택이라고 보긴 어렵습니다. 그렇게 소모된 토큰은 반드시 구독료로 청구될 테니까요. AI를 서비스에 붙여 쓰는 기업들도 비슷합니다. 고객 문의를 불만, 칭찬 여부로 분류하는 것처럼 단순한 판단까지 비싼 모델에 맡기는 경우가 적지 않습니다.

Jev(제브)는 이런 간단한 판단을 빠르고 경제적으로 해주는 툴입니다. 일반 이용자가 채팅창에서 쓰는 AI가 아니라, 개발자가 서비스 안에 넣어 쓰는 AI입니다. 들어온 메일이 스팸인지 아닌지, 맛집 리뷰가 칭찬인지 불만인지를 가리는 일은 고도의 추론이 필요하지 않습니다. Jev는 질문이 들어오면 문장을 쓰고 시간을 오래 들여가면서 추론하지 않습니다. 질문에 답을 하는 형태가 '문장'이 아니라 '보기' 중 '확률'로 답합니다.

가령 맛집 후보 10곳의 정보를 주고 "가족 모임에 맞는 곳은?"이라고 물으면, 후보마다 확률을 매겨 순위를 돌려주는 식입니다. 타입세이프는 Jev가 자료를 한 번 읽고 모든 질문의 답을 한꺼번에 내놓는다고 설명합니다.

더 똑똑하게? '빈자리' 채우는 것도 전략

그래서 빠르고 저렴합니다. 타입세이프가 공개한 결과를 보면, 판단이 필요한 문항 한 건을 처리하는데 최상위 범용 모델들은 10초에서 38초가 걸렸고, 건당 비용은 3센트에서 18센트였습니다. 질문 하나에 답을 하는데 최대 250원가량의 돈이 드는 셈입니다. Jev는 같은 문항을 0.4초에 답변하고, 비용도 0.04센트(약 0.6원)로 줄였습니다. 한두 번이면 큰 차이가 느껴지지 않겠지만, 하루 수만건의 메시지를 분류하는 업무를 수행한다고 한다면 시간과 비용 측면에서 엄청난 차이가 날 겁니다.

이같은 발상의 전환은 소버린 AI를 목표로 AI 투자에 전력을 다하는 한국 정부도 살펴볼 함의점입니다. 지금까지 AI 기업들은 얼마나 성능 좋은 모델을 내놓느냐에 사활을 걸어왔습니다. 그런데 Jev는 '더 똑똑한 모델'을 고민한 결과가 아니었습니다. '같은 질문을 처리하더라도 얼마나 빠르고, 저렴하게 판단하도록 할 것인가'라는 고민의 결과였습니다.

그 결과물은 웬만한 AI기업들이 내놓는 프론티어 모델 못지 않은 더 큰 관심과 인기로 이어지고 있습니다. 프론티어 모델 개발만 목표로 삼는 것이 아니라, 프론티어 모델이 채우지 못하는 빈자리를 찾는 것도 중요한 전략이 될 수 있습니다. 그 질문을 고민하는 과정에서 '한국 만의 경쟁력'이 나올 수 있지 않을까 싶습니다.

다음에는 Jev를 직접 써보고 그 체험기를 적어보겠습니다.

#AI #JEV

오탈자 신고 네이버 채널구독 다음 채널구독 댓글 이 기사가 마음에 드시나요? 좋은기사 원고료로 응원하세요 원고료로 응원하기 연재