AI 에게 컴퓨터 일을 맡기면 그동안 내 컴퓨터를 못 쓰는 게 당연했습니다. 마우스를 가져가니까요. Cua Driver 는 화면 전체가 아니라 창 하나만 붙잡고 배경에서 움직입니다. 이 글에는 윈도우에서 직접 돌려 본 결과와, 설치하다 실제로 막힌 세 곳과 그 우회법을 적었습니다. 따라 하실 분은 마지막 「켜는 순서와 막히는 곳」만 보셔도 됩니다.
AI 가 내 컴퓨터를 쓴다, 마우스는 안 뺏고
"Give AI agents computers they can use." 공식 문서의 첫 줄이 그대로 목표입니다. 컴퓨터를 실제로 만지는 부분이 Cua Driver 인데, 여기서 다른 자동화와 갈립니다. "Agents connect over MCP or the CLI and send input to a chosen window without moving the system cursor." 커서를 움직이지 않고 고른 창 하나에만 입력을 보낸다는 뜻입니다. 별은 25,300개가 넘고 라이선스는 MIT 입니다.
이런 소식, 남들보다 먼저 받으실 분?
직접 돌려보고 되는 것만 골라 매주 보내드립니다. 광고성 하이프는 거릅니다.
맡기면 앱을 켜고 결과까지 확인한다
하는 일의 순서는 사람과 같습니다. 앱을 켭니다. 파일을 엽니다. 브라우저를 쓰고 결과를 확인합니다. 사람이 화면을 보며 손으로 하던 것을 대신할 뿐입니다. 저장소에는 이 일에 필요한 것들이 함께 들어 있습니다. 데스크톱 자동화, 격리된 클라우드 데스크톱, 로컬 맥 가상머신, 그리고 에이전트를 채점하는 벤치마크입니다. 채점 목록인 Cua-Bench 에는 확인 가능한 과제 130개가 환경 42개와 플랫폼 5개에 걸쳐 들어 있습니다.
화면을 통째로 뺏기지 않는다
예전 자동화는 맡기는 순간 마우스를 내줘야 했습니다. 에이전트가 일하는 동안 사람은 손을 떼고 기다렸습니다. Cua Driver 는 명령마다 창을 겨냥합니다. "An agent can use iPhone Simulator or edit a CAD drawing while you work elsewhere." 에이전트가 아이폰 시뮬레이터를 만지거나 CAD 도면을 고치는 동안 사람은 다른 일을 한다는 뜻입니다. 에이전트마다 세션이 따로 있어서, 겹치지 않는 창을 주면 여럿이 같은 컴퓨터에서 동시에 일할 수도 있습니다.
옛 프로그램에 한글이 그대로 들어갔다
직접 해 봤습니다. 2026년 9월 21일, cua-driver 0.28.2, 윈도우 11 입니다. 윈도우에 원래 들어 있는 문자표를 띄웠더니 창이 떴는데도 맨 앞 창에서 포커스를 가져가지 않았습니다. 창 안의 요소 15개를 한국어 이름 그대로 읽었습니다. 그다음 입력칸에 「사장님 안녕하세요」를 넣었습니다. 공백을 뺀 한글 여덟 글자가 그대로 들어갔습니다. 그 직전과 직후에 마우스 좌표를 쟀는데 (508, 975) 에서 (508, 975), 한 픽셀도 움직이지 않았습니다.
자동화가 막혔던 일이 열리기 시작했다
이걸로 한 일이 공개돼 있습니다. Cua 팀은 자동화를 걸 수 없던 옛 메일 서비스 프로그램을 다뤘습니다. "We also drove a legacy mail-service desktop app with no API." 사람이 쓰던 그 화면을 그대로 썼습니다. 클로드 코드에게는 앱을 통째로 맡겼습니다. "Claude Code wrote the app, launched it, inspected the real Windows UI, found rough edges, fixed them, QA'd the result."
쓴 사람들이 무엇을 말하나
써 본 사람들의 말이 남아 있습니다. 한 개발자는 블로그에 이렇게 적었습니다. "Cua is the first project I've seen that treats this as actual infrastructure instead of a weekend hack." 장난이 아니라는 평입니다. 반대쪽도 있습니다. "The repo moves fast. 1,300+ stars per week is great for momentum and bad for stable APIs." 빠르게 크는 만큼 기준도 자주 움직입니다.
쓰던 것에 그대로 얹는다
새 도구를 하나 더 들이는 방식이 아닙니다. "Using Claude Code, Codex, Cursor, OpenClaw, or another agent?" 공식 문서는 이미 쓰는 것에 붙이라고 안내합니다. 운영체제는 macOS Sequoia 와 Tahoe, Windows 11 과 Server 2025, Linux 의 X11 과 XWayland 입니다. 남은 과제는 속도입니다. 누를 때마다 화면을 보고 판단하느라 기다림이 생기는데, Cua 는 이걸 TypeSafe 의 젭과 붙여 줄이려 하고 있습니다. 아직 미리보기입니다.
켜는 순서와 막히는 곳
직접 따라 하실 분을 위해 저희가 겪은 것을 그대로 적습니다. 2026년 9월 21일 기준, cua-driver 0.28.2, 윈도우 11(빌드 10.0.26200) x86_64 환경입니다.
켜는 순서
- 설치는 한 줄입니다.
/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)" - 깔고 나면 상태부터 봅니다. 저희는 진단에서
overall: ok를 받았습니다. 윈도우에서는 두 가지가 확인되면 됩니다. UI 자동화가 닿는지, 화면 잡기가 되는지입니다. - 쓰는 방법은 세 가지입니다. 같은 실행 파일이 MCP 서버로도, 계속 떠 있는 데몬으로도, 한 번 쓰고 마는 명령으로도 돕니다. 클로드 코드나 코덱스처럼 MCP 를 받는 도구에 붙이면 그 도구 안에서 바로 부를 수 있습니다.
- 창을 다루기 전에 그 창의 상태를 한 번 읽습니다. 그때 나오는 요소 번호로 누르거나 값을 넣습니다. 번호는 다음에 다시 읽으면 갈리므로, 읽고 바로 쓰는 것이 안전합니다.
막히는 곳과 우회법 셋
첫째, 윈도우 11 의 기본 메모장은 띄워도 창이 안 잡힙니다. 최신 윈도우의 메모장은 스토어 앱이라 띄우기는 되는데(프로세스 번호는 돌아옵니다) 창 목록이 계속 비어 있었습니다. 두 번 시도해 모두 같았습니다. 우회법은 옛날식 프로그램을 전체 경로로 띄우는 것입니다. C:\Windows\System32\charmap.exe 처럼 주면 한 번에 창이 잡혔습니다.
둘째, 글자 넣기가 한 번 실패했다고 안 되는 게 아닙니다. 글쇠를 하나씩 보내는 방식으로는 문자표 입력칸에서 실패했습니다. 그런데 같은 칸에 값을 통째로 넣는 방식을 쓰니 한글 여덟 글자가 배경에서 그대로 들어갔습니다. 창 상태를 읽으면 칸마다 쓸 수 있는 동작이 함께 나오는데, 거기에 값 넣기가 있으면 그쪽을 먼저 쓰는 편이 낫습니다. 저희도 이걸 몰라 처음엔 "글자 넣기가 막힌다"고 잘못 적었다가 다시 재서 바로잡았습니다.
셋째, 강제 종료가 거부됩니다. 저희가 띄운 프로그램인데도 강제로 끄려 하자 "이 런타임이 띄운 것만 끌 수 있다"는 뜻의 답이 왔습니다. 우회법은 배경에서 창의 닫기 버튼을 누르는 것입니다. 그렇게 하니 창 목록이 정상으로 비었습니다. 아무거나 끄지 못하게 막아 둔 것으로 보여서, 오히려 안심하고 쓸 만한 신호로 봤습니다.
하나 더 — 모든 창이 글로 읽히지는 않습니다. 윈도우 설정 창은 요소 목록이 비어서 돌아왔고, 드라이버가 "이 창은 글로 못 읽으니 화면 좌표로 누르라"고 알려 줬습니다. 캔버스처럼 직접 그리는 화면이 이렇습니다. 안 되는 경우에 도구가 먼저 말해 주니, 그 말을 보고 방법을 바꾸면 됩니다.
출처: Cua Driver | Cua