AI한테 폰 줬더니 앱 테스트를 알아서 해줬다 — agent-device 설정법

이 글에는 제휴(어필리에이트) 링크가 포함되어 있으며, 이를 통해 일정액의 수수료를 제공받을 수 있습니다.

혼자 앱을 만들 때 가장 무서운 순간이 있다. 릴리즈 직전 밤, 시나리오가 100개쯤 머릿속에 떠오르는 그 순간. 회원가입 → 로그인 → 메인 화면 → 사진 업로드 → 공유 → 로그아웃. 전부 직접 손으로 눌러서 확인해야 한다. QA 담당자는 없으니까.

그 순간을 해결해줄 오픈소스가 Hacker News(한국 버전 news.hada.io)에서 오늘 2위로 올라왔다. agent-device — AI 에이전트가 실제 iOS·Android 기기를 직접 조종해 앱을 테스트하는 CLI다.

agent-device.dev 공식 사이트 — The mobile verification for AI Agents — ▲ agent-device.dev 공식 사이트. "AI 에이전트를 위한 모바일 검증 도구"라는 슬로건과 함께 npm install 명령어, 터미널 사용 예시를 전면에 내세운다.

인스타 캐러셀 요약본 — 자세한 내용은 이 글에서 이어집니다.

agent-device란?

React Native 생태계의 선두 업체 Callstack이 만든 오픈소스 CLI다. AI 에이전트가 실제 기기 위에서 앱을 열고, 요소를 찾고, 탭하고, 스크롤하고, 결과를 캡처하는 일련의 작업을 자동으로 수행할 수 있도록 인터페이스를 제공한다.

단순 UI 자동화 도구와의 차이가 있다면, AI가 화면 구조를 "이해"하고 행동한다는 점이다. 앱의 접근성 트리(accessibility tree)를 읽어 요소를 찾기 때문에, 화면 좌표를 하드코딩하거나 이미지 인식에 의존하지 않는다. 레이아웃이 바뀌어도 시나리오가 깨지지 않는다는 뜻이다.

callstack/agent-device GitHub 리포지토리 — Star 4k, Fork 237 — ▲ GitHub callstack/agent-device. 현재 Star 4k, Fork 237. agentic-ai·automation·e2e-testing 등 태그가 붙어있고 오늘도 커밋이 이어지고 있다.

이런 소식, 남들보다 먼저 받으실 분?
직접 돌려보고 되는 것만 골라 매주 보내드립니다. 광고성 하이프는 거릅니다.

📮 뉴스레터 신청

어떻게 작동하나

AI 에이전트(Claude Code 같은 도구)에게 테스트 시나리오를 자연어로 설명한다. 그러면 에이전트가 agent-device를 도구로 사용해 다음 사이클을 반복한다:

현재 화면의 접근성 스냅샷 요청 → 화면 구조 파악
목표 요소의 ref(예: @e2) 확인
탭·스크롤·입력 등 인터랙션 실행
결과(스크린샷, 로그, 네트워크 상태) 수집
기대 결과와 대조 → 다음 단계 결정

전체 시나리오가 끝나면 재현 가능한 .ad 스크립트로 저장돼서, 나중에 같은 시나리오를 명령어 하나로 다시 돌릴 수 있다.

Callstack 공식 블로그 — Agent Device: iOS & Android Automation for AI Agents — ▲ Callstack 공식 블로그 (2026.02.17). "AI 코딩 에이전트가 코드는 읽고 쓸 수 있지만, 모바일 앱과 안정적으로 상호작용하는 것은 아직 어렵다"는 문제의식에서 agent-device를 만들었다고 밝힌다.

설치 방법

# 전역 설치 npm install -g agent-device@latest # 환경 점검 (시뮬레이터/기기 연결 상태 확인) agent-device doctor

설치 후 agent-device doctor를 실행하면 연결된 기기와 시뮬레이터 상태를 자동으로 점검해준다. iOS 시뮬레이터나 물리 기기(USB·Wi-Fi), Android 에뮬레이터 모두 지원한다.

Claude Code와 연동하는 법

Claude Code를 쓰고 있다면 CLAUDE.md(또는 AGENTS.md)에 agent-device를 도구로 등록하거나, 대화 중 직접 시나리오를 설명하면 된다. 예를 들어 이렇게 입력한다:

# Claude Code 대화 창에서 "agent-device로 담임노트 앱의 회원가입 플로우를 테스트해줘. 이메일 입력 → 인증코드 확인 → 프로필 설정 → 메인 화면 진입까지. 각 단계마다 스크린샷 남겨줘."

Claude Code가 agent-device CLI를 호출해가며 실제 기기 위에서 시나리오를 실행한다. 끝나면 수집한 스크린샷과 로그를 정리해서 보여준다.

잡아주는 것들

스크린샷·비디오 녹화 — 각 단계별 화면 기록
앱 로그 수집 — console.log, 에러, 크래시 전부
네트워크 트래픽 — API 호출 상태, 응답 시간
접근성 트리 스냅샷 — 토큰 효율적인 화면 구조 표현
React Native 특화 — 컴포넌트 트리, props/state/hooks, 렌더 프로파일링

지원 플랫폼

iOS, Android, tvOS, Android TV, 아마존 Vega OS TV, 웹, macOS, Linux. React Native, Expo, Flutter 앱 모두 지원한다.

바이브코딩으로 만든 앱, 테스트는 어떻게?

AI와 대화하며 앱을 빠르게 만드는 바이브코딩 방식이 확산되면서, 코드를 직접 검토하기 어려운 상황에서 릴리즈하는 경우가 늘고 있다. agent-device는 그 공백을 메워준다. 만든 것을 직접 쓰지 않아도 AI가 대신 써보고 결과를 알려주는 방식이다.

바이브코딩을 처음 시작하거나 체계적으로 배우고 싶다면, 조태호 저 혼자 공부하는 바이브 코딩 with 클로드 코드 (한빛미디어)가 실용적인 출발점이에요. Claude Code 기반으로 실제 앱을 만들어가는 과정을 step-by-step으로 다룹니다.

1인 개발자 관점에서

이 도구가 반가운 이유는 하나다. 릴리즈 전날 밤, 혼자 손으로 눌러야 했던 시나리오들을 AI가 대신 돌려주기 때문이다. 물론 AI가 완벽하게 커버하지는 못한다. 그래도 명백한 크래시, 화면 전환 오류, API 응답 문제는 잡아준다.

QA팀이 없는 1인 개발자에게 완벽한 테스트 커버리지보다 "릴리즈 전에 한 번이라도 돌려보는 것"이 더 현실적이다. agent-device는 그 한 번을 자동으로 만들어준다.

출처: callstack/agent-device (GitHub), Callstack 공식 블로그, agent-device.dev