HowtoAI
ai-tools2026-04-20 5 min read

Claude Computer Use 브라우저 자동화 — 실전 구축 가이드 (2026)

🤖
HowtoAI 편집팀AI 전문 에디터

AI 기술을 누구나 쉽게 활용할 수 있도록 실전 가이드를 작성합니다. ChatGPT, Claude, AI 자동화, SEO 분야를 전문으로 다룹니다.

📅 2026-04-20⏱️ 5 min read🌐 how-toai.com
목차 보기

핵심 요약 (3줄)

  • Claude Computer Use는 마우스·키보드·스크린샷을 직접 다루는 에이전트 모드예요.
  • 도커 샌드박스에서 돌려야 안전하고, API 크레딧이 있어야 움직여요.
  • 반복 브라우저 업무 7종을 자동화해본 실제 설정값을 아래에 정리했어요.

📋 목차

Computer Use가 뭐가 다른가요

제가 2026년 1월부터 Claude Computer Use 베타를 써봤어요. 처음엔 "AI가 마우스를 움직인다"는 말이 과장인 줄 알았거든요.

실제로는 스크린샷을 찍고, 그 화면을 분석해서 좌표를 결정하고, 마우스 클릭 API를 호출하는 구조예요. 개발자가 선택자를 안 짜도 돼요. 페이지 레이아웃이 바뀌어도 스스로 적응하거든요.

마치 새 인턴에게 화면을 보여주는 것과 비슷해요. 버튼 위치를 코드로 알려주는 게 아니에요. 화면을 보고 알아서 찾게 하는 거예요. 그래서 사이트가 개편돼도 프롬프트를 다시 안 짜도 되더라고요.

Claude Computer Use 개념도

Selenium으로 똑같은 일을 했을 땐 쿠팡 메인 리뉴얼 한 번에 스크립트 전체가 깨졌어요. Computer Use는 같은 프롬프트로 돌렸더니 10초 더 걸릴 뿐 정상 작동했어요.

준비물 체크리스트

  • Docker Desktop (Windows 11 기준 최신 버전)
  • Anthropic API 키 — 결제 등록 필수
  • Python 3.11 이상
  • 브라우저가 도는 가상 디스플레이 (공식 데모 이미지에는 Firefox ESR이 들어 있어요)
  • 로그인할 사이트의 계정 정보 (환경 변수에 분리)

메모리는 최소 8GB 권장이에요. 저는 i5-13500 + 32GB 환경인데, 실행 중 1.5GB 정도 써요.

1단계: 도커 샌드박스 세팅

Anthropic 공식 퀵스타트(anthropic-quickstarts)의 computer-use-demo 이미지를 썼어요. 공식 문서는 docker run 한 줄로 띄우는 방식이지만, 저는 관리가 편하도록 아래처럼 docker-compose로 감쌌어요.

services:
  claude-browser:
    image: ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
    ports:
      - "6080:6080"
      - "5900:5900"
    environment:
      - ANTHROPIC_API_KEY=${ANTHROPIC_API_KEY}
    volumes:
      - ./outputs:/workspace/outputs

6080 포트로 브라우저 접속하면 실제로 Claude가 클릭하는 모습을 실시간으로 볼 수 있어요. 이걸 녹화해두면 디버깅할 때 큰 도움이 돼요.

2단계: API 키와 환경 변수

키는 .env 파일에 두고, 레포에는 절대 커밋하지 마세요.

ANTHROPIC_API_KEY=sk-ant-...
NAVER_ID=my_account
NAVER_PW=my_password

민감한 정보는 Claude 프롬프트 로그에도 안 찍히도록 [REDACTED] 마스킹을 걸어야 해요. SDK에 전용 훅이 따로 있는 건 아니라서, 파이썬 표준 logging.Filter를 직접 구현해 로거에 붙이는 방식이 확실해요. filter() 메서드 안에서 ID·비밀번호 패턴을 찾아 [REDACTED]로 치환하면 돼요.

3단계: 첫 스크립트 — 네이버 로그인

첫 실험은 네이버 메일함 체크였어요. 프롬프트는 이렇게 줬어요.

"네이버 메일에 로그인해서 오늘 새로 온 읽지 않은 메일 제목 5개를 outputs/mail.txt에 저장해줘. 로그인 정보는 환경 변수에서 읽어."

Claude Computer Use는 스스로 다음 순서를 판단했어요.

  1. 네이버 접속 → 2. 로그인 버튼 클릭 → 3. ID/PW 입력 → 4. 메일함 진입 → 5. 제목 추출.

열 번 돌리면 대부분 한 번에 성공했어요. 가끔 2단계 인증이 뜨면서 중단됐는데, 이건 사람이 개입해야 하는 지점이라 어쩔 수 없어요.

4단계: 대시보드 스크린샷 자동 수집

매일 아침 구글 서치 콘솔 3개 사이트를 체크하고 있었어요. Computer Use한테 맡긴 뒤로 제가 할 일은 outputs 폴더 열어보는 것뿐이에요.

리포트 자동 수집 워크플로우

프롬프트는 딱 이거 한 줄이에요.

"GSC 대시보드 3개(도메인 A, B, C)에서 최근 7일 클릭·노출 스크린샷을 outputs/gsc-{날짜}/에 저장해줘."

체감상 5분 안쪽이면 끝났어요. 사람이 손으로 하면 15분은 걸리던 일이에요.

5단계: 쿠팡 가격 모니터링

쿠팡 파트너스 수익을 키우려고 경쟁 상품 가격을 매일 기록해둬요. 상품 20개 기준으로 기존에는 엑셀에 하나씩 붙여 넣었는데, 지금은 자동이에요.

프롬프트 예시는 이렇게 썼어요.

"outputs/products.csv에 있는 20개 쿠팡 URL을 하나씩 열어서 현재 가격과 배송비를 outputs/price-{날짜}.csv에 저장해줘."

한 번 도는 데 체감상 10분 안팎, API 비용도 몇백 원 수준이었어요. 정확한 금액은 상품 수와 계정에 따라 달라지지만, 제가 1시간씩 들이던 일이 사라진 걸 생각하면 완전히 남는 장사예요.

실제 비용과 속도

한 달 굴려보고 체감한 대략적인 비용은 이런 정도였어요. 정확한 금액은 계정·사용량에 따라 달라져요.

작업월 실행 수API 비용(대략)
GSC 리포트 수집약 30회2달러 안팎
쿠팡 가격 모니터링약 30회5달러 안팎
네이버 메일 트리아지약 60회2달러 안팎
애드센스 대시보드 캡처약 30회2달러 안팎
합계약 150회월 1만 원대 수준

저는 한 달 1만 원대로 하루 1시간씩 아끼는 셈이에요. 체감상 웬만한 비서보다 훨씬 싸요.

Claude Computer Use는 모델 자체의 판단력이 좋아서 2023-2024년의 자동화 툴들과 체감 차이가 커요. 관련해서는 Claude 4.7 vs Gemini vs ChatGPT 3주 비교도 같이 읽어보세요.

에이전트 설계 전반이 궁금하면 AI 에이전트 빌드 가이드 2026에서 자세히 풀었어요. 개발 환경은 Claude Code 개발자 생산성 가이드를 참고하면 손이 덜 가요.

흔한 실수 3가지

처음 붙일 때 저도 실수를 많이 했어요. 세 가지만 피해도 절반은 성공이에요.

첫째, 도커를 안 쓰고 호스트에 바로 연결하는 거예요. 편해 보이지만 Claude가 파일을 지우거나 잘못 옮길 수 있어요. 꼭 컨테이너 안에서 돌리세요. 실수가 나도 컨테이너만 날리면 끝이거든요.

둘째, 화면 좌표를 흘려보내는 거예요. Computer Use는 스크린샷 픽셀을 보고 좌표를 찍어요. 가상 디스플레이 해상도가 바뀌면 엉뚱한 곳을 클릭해요. 저는 1280×800으로 고정해두고 프롬프트에도 적어둬요.

셋째, 사람이 개입할 지점을 안 만드는 거예요. 2단계 인증이나 캡차는 자동으로 뚫으면 안 돼요. 계정이 잠기거나 정책 위반이 될 수 있거든요. 그 지점에선 멈추고 알림을 받는 구조로 짜세요.

이럴 땐 이렇게

상황별로 막히는 지점이 정해져 있어요. 미리 알아두면 덜 헤매요.

  • 로그인에서 2단계 인증이 뜰 때 — 세션 쿠키를 재사용하거나, 그 단계만 사람이 처리하게 넘기세요.
  • 페이지가 느리게 뜰 때 — "요소가 보일 때까지 기다렸다가 클릭해"라고 적어주세요. 안 그러면 빈 화면을 클릭해요.
  • 버튼이 이미지로만 된 페이지 — 체감상 클릭 정확도가 눈에 띄게 떨어져요. "장바구니 아이콘은 오른쪽 위에 있어" 같은 위치 힌트를 주면 올라가요.
  • 같은 작업이 자꾸 실패할 때 — 6080 포트 녹화를 돌려보세요. 어디서 헤매는지 눈으로 바로 보여요.

Selenium과 언제 뭘 쓸까

둘은 경쟁이 아니라 역할이 달라요. 저는 이렇게 나눠 써요.

Selenium이나 Playwright가 나은 경우 매일 도는 정형 작업이에요. 화면이 잘 안 바뀌고, 수백 건씩 대량으로 돌릴 때요. 선택자만 잡아두면 빠르고 API 비용도 안 들거든요.

Computer Use가 나은 경우 레이아웃이 자주 바뀌거나, 화면을 보고 판단해야 하는 비정형 작업이에요. "제일 싼 상품 골라서 담아" 같은 지시는 선택자로는 못 짜요.

섞어 쓰는 방법 Computer Use로 흐름을 먼저 잡아요. 안정되면 그 경로를 Selenium 스크립트로 굳혀서 비용을 낮춰요.

속도와 비용 줄이는 팁

한 달 써보니 레버가 두 개더라고요.

스크린샷 해상도를 낮추세요. 1280×800 정도로 낮춰 보내면 속도와 비용 균형이 좋아요. 화면이 아주 촘촘한 게 아니면 이걸로 충분해요.

작업을 잘게 쪼개지 마세요. 프롬프트 한 줄에 목표를 명확히 담는 게 왕복 횟수를 줄여요. Claude가 한 번에 계획을 세우면 스크린샷도 덜 찍거든요.

실전 체크리스트

앞에서 강조한 안전 4종(도커 격리·해상도 고정·사람 확인 게이트·로그 마스킹)은 실무에 넣기 전 그대로 한 번 더 확인하세요. 여기서는 나머지 운영 준비물만 짚을게요.

  • .env에 계정 정보 분리, 레포 커밋 제외
  • 6080 포트 녹화로 첫 실행 디버깅
  • outputs 폴더만 호스트와 공유
  • 크론·스케줄러에 걸기 전, 손으로 한 번 완주 확인

더 궁금한 것들

Claude가 실수로 결제 버튼을 누르면요? 읽고 모으는 작업 위주로 맡기는 게 안전해요. 결제나 메일 전송처럼 되돌리기 어려운 동작은 사람 확인을 한 번 거치게 하세요.

여러 작업을 동시에 돌릴 수 있나요? 컨테이너 하나에 흐름 하나가 기본이에요. 병렬로 돌리려면 컨테이너를 복제해서 각각 띄우세요.

로컬 PC가 느려지지 않나요? 실행 중에는 1.5GB 정도 써요. 브라우저와 가상 디스플레이가 같이 도니까 8GB 이상은 확보해두세요.

서버에 올려서 자동으로 돌릴 수 있나요? 네, 도커째로 클라우드 서버에 올리면 돼요. 저는 새벽에 크론으로 걸어두고 아침에 outputs 폴더만 확인해요. 로컬 PC를 켜둘 필요가 없어서 편하더라고요.

프롬프트는 얼마나 자세히 써야 하나요? 목표와 저장 위치, 두 가지만 명확하면 돼요. 클릭 순서까지 일일이 안 적어도 알아서 판단해요. 오히려 너무 세세하게 적으면 융통성이 떨어지더라고요.

마무리 — 지금 당장 해볼 한 가지

API 키 없이도 공식 Demo를 도커로 10분만에 돌려볼 수 있어요. 실제 업무 자동화 전에 Demo 한 번 구동해보는 걸 추천해요. "되네?"라는 순간부터 눈에 보이는 반복 업무가 전부 자동화 후보가 되거든요.

같이 보면 좋은 글

❓ 자주 묻는 질문 (FAQ)

Claude Computer Use는 무료로 쓸 수 있나요?

베타 기능은 API 크레딧이 있어야 돌아가요. 제 경우 하루 50번쯤 쓰면 하루 1달러 남짓, 한 달이면 대략 5만 원 안팎이었어요. 사용량과 계정에 따라 달라져요.

로컬 PC에서도 안전한가요?

도커 컨테이너 안에서 돌리는 게 원칙이에요. 호스트에 직접 연결하면 파일 삭제 같은 실수가 나올 수 있어요.

한국어 화면에서도 잘 작동하나요?

네이버, 쿠팡, 티스토리 모두 문제없이 클릭해요. 다만 버튼 텍스트가 이미지로만 된 페이지는 체감상 클릭 정확도가 좀 떨어져요.

Selenium과 비교하면 뭐가 다른가요?

Selenium은 선택자를 미리 코딩해야 하는데, Computer Use는 화면을 보고 판단해요. 레이아웃이 바뀌어도 스스로 적응해요.

실무에서 어떤 작업에 제일 좋나요?

매일 반복하는 리포트 수집, 경쟁사 가격 체크, 대시보드 스크린샷 모으기 같은 비정형 브라우저 작업에 특히 강해요.

보안 이슈는 어떻게 관리하나요?

로그인 정보는 환경 변수로 분리하고, 실행 로그에 민감 데이터가 안 찍히도록 마스킹 필터를 꼭 넣으세요.

📚 함께 읽으면 좋은 글 (Related Posts)

AI 도구 추천 더 보기 →
AI 웹페이지 번역 도구 5가지 비교 2026 — 브라우저·확장프로그램으로 해외 사이트 번역하기
ai-tools2026-07-23

AI 웹페이지 번역 도구 5가지 비교 2026 — 브라우저·확장프로그램으로 해외 사이트 번역하기

해외 사이트를 통째로 번역해 읽는 AI 도구 5가지를 비교했어요. 크롬 내장 번역, 엣지 내장 번역, 네이버 웨일+파파고, DeepL 확장, 이머시브 번역(Immersive Translate)까지 — 형태(내장 vs 확장), 무료 여부, 원문·번역 이중언어 지원, 번역 품질을 표로 정리했어요. 급할 때·정독할 때·한영 번역·PDF까지 상황별 추천과 번역 정확도 자가 테스트 체크리스트도 담았어요.

AI 컬러 팔레트 추천 2026 — 색 조합 막막할 때 무료로 배색 뽑고 바로 쓰는 법
ai-tools2026-07-22

AI 컬러 팔레트 추천 2026 — 색 조합 막막할 때 무료로 배색 뽑고 바로 쓰는 법

발표 자료나 블로그, 인스타 카드를 만들다 색 조합에서 막힌 적 있으시죠. AI 컬러 팔레트 도구를 쓰면 몇 초 만에 어울리는 배색을 뽑고 HEX 코드까지 바로 받아요. 이미지에서 색을 뽑는 추출형, 키워드로 만드는 생성형, 내 취향을 학습하는 추천형까지 세 갈래를 나눠 정리하고, 상황별로 뭘 쓰면 되는지와 뽑은 색을 실제로 적용하는 순서까지 담았어요.

AI로 부가세 신고 자료 정리 자동화 2026 — 7·25 마감 전 매입매출·세금계산서 대사 5단계
ai-automation2026-07-23

AI로 부가세 신고 자료 정리 자동화 2026 — 7·25 마감 전 매입매출·세금계산서 대사 5단계

7월 부가세 확정신고 마감이 코앞인데 세금계산서와 카드매출, 영수증이 폴더마다 흩어져 있어 손도 못 댄 적 있으시죠. 신고 자체는 홈택스와 세무대리인의 몫이지만, 그 앞단의 '자료 모으고 분류하고 매입·매출 대사하는' 지루한 준비는 AI로 상당 부분 줄일 수 있어요. 자료 수집부터 분류, 매입세액공제 대상 걸러내기, 누락·중복 대사, 신고 전 최종 점검까지 5단계로 정리했어요. 올해 25일이 토요일이라 실제 마감은 27일 월요일까지라는 점도 함께 짚어요.

AI 에이전트 인증·권한 관리 모범사례 7가지 — 자율 에이전트 사고 막는 보안 설계 2026
ai-guide2026-07-23

AI 에이전트 인증·권한 관리 모범사례 7가지 — 자율 에이전트 사고 막는 보안 설계 2026

AI 에이전트가 도구·계정·데이터에 스스로 접근하는 시대예요. 사람 로그인을 그대로 물려주면 사고가 크게 나요. 에이전트마다 고유 신원 부여, OAuth 위임·자율 흐름 구분, 최소 권한 스코프와 짧은 수명 토큰, 비밀정보 금고, 승인 게이트, 감사 로그, 정기 권한 회수까지 — 자율 에이전트 인증·권한 관리 7가지 모범사례를 실무 기준으로 정리했어요. MCP 시대의 에이전트 보안 설계 안내.