← 목록으로

AWS Emulator를 만든 자율 AI 에이전트 팀 비하인드 스토리

AWS Emulator를 만든 자율 AI 에이전트 팀 비하인드 스토리

요약

AWS 에뮬레이터는 AWS 서비스의 로컬 에뮬레이터로, 100% 자율 AI 에이전트가 작성합니다. 수천 명의 자율 에이전트가 테스트를 작성하고, 문제를 발견하며, 사람을 검토하지 않고도 코드를 수정합니다. 소스 코드는 GitHub 에서 CC0 라이선스 하에 제공되며 지속적으로 업데이트되고 있습니다.

본문

AWS Emulator를 만든 자율 AI 에이전트 팀 비하인드 스토리

저는 어릴 때 그림 그리기가 싫었습니다. 그 이유를 생각해보면요. 부모님은 저를 1년 일찍 유치원에 보내셨는데, 어느 날, 선생님이 반을 긴 테이블 중 하나에 앉혔습니다. 선생님은 거대한 종이 두루마리를 그 위에 펼치며 공룡이 있었던 지구가 어땠을지 그림을 그리라고 했습니다. 저는 제가 생각했던 부분을 열심히 작업하기 시작했어요. 하지만, 우리 반에서 가장 어린 학생 중 한 명이라 크레용을 제대로 잡지도 못했습니다. 몇 분 후, 반 친구들이 저에게 소리를 지르기 시작했어요. 너무 못 그린다구요.

올해 그 때 우리 반 친구들을 자주 생각했습니다. 그들이 저에게 화를 낸 것처럼, 저는 AI 에이전트에게 욕을 하고 있는 자신을 인정할 수 밖에 없거든요. 하지만, 어느 경우든 악의는 없었습니다. 에이전트들이 내 말을 거역하려는 게 아니죠. 저도 우리 반 공룡 그림을 망치려 하지 않았던 것처럼… 그건 단순히 능력 부족일 뿐입니다. 올해 초, 제 파트너가 색칠 공부 책을 샀고, 우리는 함께 몇 시간씩 함께 색칠 공부책을 만들었습니다. 명확히 정의된 영역을 채워야 한다는 점에서 위안이 되었고, 더 큰 예술 작품이 완성될 것임을 알았습니다. 에이전트들도 색칠 공부책이 필요하다고 생각합니다.

오늘, 저희는 AWS Emulator라는 로컬 에뮬레이터 애플리케이션을 출시했습니다. 이 에뮬레이터는 여러분이 여러분의 컴퓨터에서 실행하여 AWS 애플리케이션을 구축하고 테스트할 수 있습니다. 그런데, 이 에뮬레이터는 전적으로 자율 에이전트에 의해 만들어졌습니다. 에뮬레이터를 만드는 동안 우리 팀 직원들은 코드를 직접 작성하거나 검토한 적이 없습니다. 우리가 마련한 보호 장치가 에이전트들에게 독립적으로 작업할 공간을 주었고, 에이전트가 우리가 정한 경계를 벗어나지 않는다는 신뢰를 주기 때문에 이런 일이 가능했습니다.

주말 실험으로 부터 시작된 프로젝트

올해 초, Anthropic 연구진은 AI 에이전트가 자율적으로 C 컴파일러를 만들 수 있음을 입증했습니다. 이것은 번뜩이는 순간이었습니다: 잘 정의된 명세와 참조 구현만 주어지면, 에이전트는 명세를 충실히 구현하는 솔루션을 자율적으로 구축할 수 있습니다. AWS는 이 두 가지 모두를 갖추고 있습니다. 즉, AWS API 모델은 사양이고, 실제 AWS 클라우드는 참조 구현입니다. 저의 가설을 시험해보기 위해, 큰 기대 없이 Kiro에게 내가 생각할 수 있는 가장 간단한 프롬프트를 넣었습니다.

  • AWS 명령줄 인터페이스(CLI)를 기반으로 테스트를 작성합니다.
  • 실제 AWS와 비교할 때까지 테스트를 반복합니다.
  • 동일한 테스트들이 통과하는 인메모리 구현을 구축하세요.

Kiro는 15분 만에 Amazon SQS의 간단한 첫 버전을 가지고 돌아왔습니다. 프롬프트를 다듬고 주말 동안 Kiro에게 AWS의 나머지 부분을 만들어 달라고 했습니다. 그리고 실제로 그렇게 되었어요. 분명히 빈틈이 있었지만, 충분히 매력적이어서 우리 팀은 그 월요일부터 소프트웨어 테스트를 위해 사용하기 시작했습니다.

물론 탄탄한 제품으로 만드는 데는 며칠 더 걸렸습니다. 그런 결과를 보고 난 후, 저는 AI가 무엇이든 만들 수 있다고 믿고 싶은 자연스러운 유혹이 듭니다. (언젠가는 그럴지도 모르죠.) 하지만, 고객에게 자신 있게 선보일 수 있는 무언가를 만드는 데는 여전히 상당한 엔지니어링 노력이 필요합니다. AWS 에뮬레이터의 경우, 에이전트가 우리가 제한한 선에서 구현을 보장하는 가드레일을 구축해야 했습니다.

3개 AI 에이전트팀이 AWS 에뮬레이터를 구축하는 방법

우선 AWS 에뮬레이터는 기본적으로 세 팀의 에이전트에 의해 구축되었습니다. 한 팀은 테스트 스위트를 관리하고, 한 팀은 에뮬레이터에서 문제를 발견하고, 그리고 한 팀이 그 문제를 해결합니다. 우리는 에이전트의 책임 한계를 팀들로 나누었는데, 이는 제한된 작업에서 더 성공적이라는 것을 발견했기 때문입니다.

첫 번째 팀의 테스트 스위트는 실제 AWS 클라우드와의 신뢰도를 측정합니다. 각 테스트는 실제 AWS 시나리오입니다. 예를 들어, Amazon SQS 테스트에는 큐를 생성하고, 메시지를 보내고, 메시지를 받고, 확인하고, 큐를 삭제하는 작업이 포함될 수 있습니다. 에이전트들은 공개된 AWS API 모델을 기반으로 이 테스트를 고안하고, 제출 전에 실제 AWS와 대조하여 검증합니다. AWS 전역에서 수만 건의 충실도 테스트를 진행하고 있으며, 에이전트들이 AWS로 할 수 있는 새로운 기능을 발견함에 따라 테스트 스위트가 끊임없이 확장되고 있습니다. 이 테스트들은 우리 시스템에서 가장 기본적인 가드레일 중 하나로, 에이전트가 달성해야 할 명확한 목표를 제공하며, AWS에 다시 호출하지 않고도 반복적으로 실행할 수 있기 때문입니다.

두 번째 팀은 에뮬레이터의 분기점을 찾기 위해 충돌 테스트를 계속 반복합니다. 시스템이 처음 저장소를 생성할 때, 438개의 AWS API 모델에 대한 요청을 처리할 수 있는 빈 웹 서버를 생성했습니다. 에이전트들은 무엇이 작동하지 않는지 확인하려고, 저장소를 계속 살펴봅니다. 이 과정을 시작하기 위해, 처음에는 단순히 “Amazon SQS의 첫 버전을 만들어라”라고 적혀 있습니다. 서비스가 부트스트랩이 완료되면, 에이전트는 충실도 테스트를 다시 재생하고 실패한 테스트에 대해 문제를 처리합니다. 그들은 근본 원인일 수 있는 실패와 집단 실패에 대해 이성적으로 생각하라고 지시받습니다.

각 문제는 세 번째 팀의 한 에이전트에게 맡겨지며, 이들의 임무는 그 단일 문제를 해결하는 것입니다. 코드를 확인하고, 문제의 근본 원인을 찾아내며, 해결될 때까지 코드를 수정합니다. 그 후, 코드 변경을 우리 기준에 부합하는 게이트를 통과해야 합니다. 이 게이트는 분명히 컴파일되지 않는 변경을 차단합니다. 하지만, 코딩 표준과 비교해 검토하고, 코드의 안전성을 확인하며, 변경이 충실도를 저하시키지 않았는지 확인하는 에이전트도 포함됩니다. 이 검사들 중 하나라도 실패하면 변경 사항이 에이전트에게 다시 전송되어 재작업을 합니다. 이를 통해, 수백 개의 에이전트가 동시에 코드베이스를 작업하면서 매일 수천 건의 문제가 해결되는 것을 보았습니다. 이 병합 게이트가 없었다면, 에이전트를 만드는 것을 신뢰하지 못했을 겁니다. 최적화에 많은 집중을 하는데, 이는 에이전트가 얼마나 빠르고 신뢰성 있게 빌드를 구축하는지에 매우 중요하기 때문입니다.

AWS 에뮬레이터가 GitHub로 배포하기

생성된 코드가 메인 브랜치에 병합되면, 변경 사항은 AWS 개발자 도구 위에 완전히 구축된 출시 파이프라인을 통하며, AWS CodeCommit을 에이전트의 주요 코드 저장소로 사용합니다. 커밋은 보통 함께 쌓여서 빌드 후 재테스트한 후 출시 브랜치로 병합합니다. 그 후, 에뮬레이터를 바이너리 형태로 패키징하여 다운로드할 수 있습니다. 출시 과정이 모두 끝날 후에야, 소스 코드를 GitHub에 공개합니다.

저희는 소스 코드를 GitHub에 공개하여, 에이전트들이 수천 건의 커밋을 거쳐, 이 에뮬레이터를 구축한 과정을 직접 확인할 수 있도록 하였습니다. 제출된 모든 이슈는 저장소에 있습니다. 수정된 것들은 issues/things-now-work 디렉터리에 있습니다. 백로그에 있는 것들은 issues/things-that-do-not-work에 속해 있습니다. 아마 여러분이 직접 파고들면 정말 흥미로운 것들을 발견할 수 있을 거예요. 에이전트들은 에뮬레이터를 여러 버전으로 제작해 왔습니다.

개인적으로 가장 마음에 들었던 것은 이전 버전으로, AWS Lambda 함수를 지원하기 위해 자체 파이썬 인터프리터를 개발하기로 결정한 것이었습니다. 그 후 기존 라이브러리를 재사용하는 방법을 안내해 주었는데, 색칠공부책이 필요 없는 사람에게는 당연해 보일 수도 있습니다. 이번 버전에서 에이전트들이 또 어떤 새로운 해결책을 내놓을지 기대하고 있습니다. 하지만, 우리가 만든 안전장치 때문에 그 결과를 신뢰합니다. 이 구현 방법에서 얻은 통찰이 바로 이 소프트웨어를 크리에이티브 커먼즈 CC0 라이선스 하에 공개 공개하기로 결정한 주요 동기였습니다.

AWS 에뮬레이터 시작하기

이번 글은 멀티 에이전트 워크플로우를 어떻게 설계했는지, 충실도를 어떻게 측정하는지, 품질 및 보안 바를 어떻게 보장하는지와 같은 주제를 더 깊이 다루는 시리즈의 첫 번째 글입니다. 지금 시작하려면 AWS Emulator GitHub 저장소 를 방문해 보세요!

– Matthew Goldberg, Sr. Principal Engineer, AWS

이 글은 About Amazon에 게재된 How we built the agents that built AWS Emulator의 한국어 번역입니다.

더 읽어보기

← 목록으로