HowtoAI
ai-automation2026-06-02 5 min read

Codex 윈도우 컴퓨터 유즈 첫 주 실사용 — 앱 클릭부터 빌드 테스트까지 맡겨봤어요

🤖
HowtoAI 편집팀AI 전문 에디터

AI 기술을 누구나 쉽게 활용할 수 있도록 실전 가이드를 작성합니다. ChatGPT, Claude, AI 자동화, SEO 분야를 전문으로 다룹니다.

📅 2026-06-02⏱️ 5 min read🌐 how-toai.com
목차 보기

핵심 요약 (3줄)

  • OpenAI가 2026년 6월 1일 Codex Computer Use를 윈도우 PC로 확장했어요.
  • @Computer@AppName을 멘션하면 Codex가 데스크톱 앱을 직접 보고 클릭·입력해요.
  • PC를 모바일 앱에 연결해두면 폰에서 승인만 눌러도 빌드·UI 점검이 이어져요.

📋 목차

Codex 컴퓨터 유즈가 뭔가요

며칠 전까지만 해도 Codex는 터미널과 코드 안에서만 움직였어요. 그런데 6월 1일 업데이트로 윈도우 데스크톱 앱을 직접 조작하는 컴퓨터 유즈가 풀렸어요. 마치 옆자리 주니어 개발자가 제 키보드를 잠깐 빌려 화면을 클릭하는 느낌이에요.

원리는 단순해요. Codex가 화면을 읽고, 인터페이스 요소를 클릭하고, 작업 흐름을 따라 직접 타이핑해요. 그래서 인터페이스 테스트, 버그 재현, 그리고 프로젝트 맥락이 이미 PC에 있는 작업을 검토하는 데 써요. 제가 직접 써봤는데 "이 화면에서 저장 버튼이 비활성화되는 버그 재현해줘" 같은 지시가 의외로 잘 먹혔어요.

이게 왜 중요하냐면, 그동안 AI 코딩 도구의 약점이 "코드는 짜는데 실제 앱에서 도는지는 사람이 확인해야 한다"였거든요. 컴퓨터 유즈는 그 마지막 한 칸을 메워줘요. 코드를 고친 다음 진짜 앱을 띄워서 클릭으로 검증까지 한 세션에서 돼요. ChatGPT 에이전트 모드를 데스크톱으로 끌어내린 셈이라고 보면 이해가 빨라요.

윈도우에서 켜는 법

설치는 생각보다 간단했어요. 순서대로 정리하면 이래요.

  1. 윈도우용 Codex 앱 설치 — 이미 깔려 있으면 최신 버전으로 업데이트하세요.
  2. 설정 → Computer Use 플러그인 켜기 — 이걸 켜야 멘션이 활성화돼요.
  3. 프롬프트에서 @Computer 또는 @AppName 멘션 — 예: "@Chrome 열어서 로컬 서버 화면 확인해줘".
  4. 승인 프롬프트 확인 — Codex가 클릭하기 전에 사람이 한 번 OK를 눌러요.

여기서 꼭 알아둘 점이 하나 있어요. 윈도우 컴퓨터 유즈는 포그라운드 전용이에요. Codex가 화면을 잡고 작업하는 동안에는 백그라운드로 조용히 돌릴 수 없어요. 즉 "Codex가 일하는 동안 나는 다른 창에서 작업하기"는 같은 세션에서 안 돼요. 처음엔 이게 불편할까 싶었는데, 오히려 무슨 작업을 하는지 눈으로 보여서 안심이 됐어요.

윈도우 데스크톱에서 AI 코딩 에이전트가 앱 화면을 클릭하고 입력하는 컴퓨터 유즈 작업 흐름을 보여주는 모니터 화면

첫 주에 실제로 시켜본 작업 3가지

말로만 설명하면 와닿지 않으니, 일주일간 직접 맡겨본 작업을 공유할게요.

1) UI 회귀 점검. 로컬에서 돌아가는 웹앱을 띄우고 "로그인 폼에서 빈 값 제출했을 때 에러 메시지가 뜨는지 확인해줘"라고 했어요. Codex가 브라우저를 열고 폼을 비운 채 제출 버튼을 클릭했고, 결과 스크린샷을 같이 보여줬어요. 사람이 매번 하던 단순 클릭 검증이 사라졌어요.

2) 버그 단계별 재현. "결제 화면에서 두 번 연속 클릭하면 중복 요청이 나가는 것 같아, 재현해줘"라고 시켰어요. Codex가 화면을 단계별로 밟으며 어디서 문제가 생기는지 추적했어요. 재현 경로를 글로 정리해주니 디버깅 시작점이 명확해졌어요.

3) 빌드 후 동작 확인. 코드를 수정한 뒤 빌드를 돌리고, 빌드된 앱을 실제로 열어 핵심 화면이 깨지지 않는지 봤어요. 코드 수정 → 빌드 → 실행 검증이 한 흐름으로 묶이니, 컨텍스트 전환 비용이 확 줄었어요.

세 작업의 공통점은 "프로젝트 맥락이 이미 내 PC에 있다"는 거예요. 클라우드로 코드를 올리고 내리는 왕복 없이, 로컬 환경 그대로에서 검증한다는 게 핵심 차별점이에요. 같은 OpenAI 라인업인 Codex 모바일 출시 첫 주 후기와 비교하면, 데스크톱 컴퓨터 유즈는 "실제 GUI 검증"에 무게가 실려 있어요.

폰으로 원격 승인하는 워크플로

이번 업데이트에서 제일 신선했던 건 모바일 연동이었어요. PC를 ChatGPT 아이폰·안드로이드 앱에 연결해두면, 책상을 떠나도 작업을 이어볼 수 있어요.

구체적으로 폰에서 이런 걸 확인해요.

  • 승인(approvals) — Codex가 클릭하기 직전 단계를 폰에서 OK.
  • diff — 코드 변경 내역을 모바일에서 검토.
  • 테스트 결과 / 스크린샷 / 터미널 출력 — 작업 증거를 그대로 확인.

여기에 후속 지시를 보내거나, 연결된 호스트에 새 스레드를 시작하는 것도 돼요. 예를 들어 점심 먹으러 나가면서 빌드를 걸어두고, 카페에서 "UI 점검 통과했으면 다음 화면도 봐줘"라고 폰으로 이어 보낼 수 있어요. 빌드나 UI 체크가 책상을 떠나도 승인 지점을 잃지 않고 진행된다는 게 포인트예요.

스마트폰 화면에서 PC에 연결된 AI 코딩 작업의 승인, diff, 스크린샷을 원격으로 검토하는 모바일 원격 제어 인터페이스

단, 전제 조건이 있어요. 원격 워크플로는 연결된 윈도우(또는 맥) 머신이 깨어 있고, 온라인이고, 같은 계정에 로그인된 상태로 작업이 끝날 때까지 유지돼야 해요. 절전 모드로 들어가버리면 작업이 끊겨요. 저는 전원 옵션에서 절전 진입 시간을 길게 잡아두는 걸로 해결했어요.

Codex Profiles로 토큰 추적하기

이번에 Codex 앱의 프로필 섹션도 손봤어요. 프로필 상세, 사용량 통계, 토큰 활동을 한 화면에서 보여줘요. 어떤 작업에 토큰을 얼마나 썼는지 추적되니까, 비용 감각을 잡기 좋아졌어요.

특히 컴퓨터 유즈는 스크린샷을 읽고 화면을 해석하는 만큼 토큰을 더 먹을 수 있어요. 그래서 프로필에서 토큰 활동을 주기적으로 확인하는 습관을 들였어요. "이 작업은 컴퓨터 유즈로 돌릴 가치가 있나, 아니면 그냥 코드만 고치고 사람이 클릭할까"를 데이터로 판단하게 됐어요.

비용을 더 깐깐하게 관리하고 싶다면 GPT-5.5 새 토크나이저 토큰 절약 팁도 같이 보면 도움이 돼요. 모델 선택과 토큰 효율을 함께 챙기면 컴퓨터 유즈의 비용 부담을 꽤 줄일 수 있어요.

코딩 말고 어디까지 쓸 수 있을까

기본 설계는 개발 작업 검증이지만, 일주일 쓰다 보니 다른 가능성도 보였어요. 화면을 읽고 클릭·입력하는 동작 자체는 범용이거든요.

예를 들어 반복적인 데스크톱 클릭 작업이 떠올라요. 매번 같은 앱을 열어 같은 메뉴를 누르고 같은 값을 입력하는 단순 작업이라면, 컴퓨터 유즈가 대신 밟아줄 여지가 있어요. 제가 시험 삼아 "이 앱에서 설정 화면을 열어 특정 항목 상태를 확인해줘"라고 했더니, 화면을 읽고 메뉴를 찾아 들어갔어요. 코딩 맥락이 아니어도 동작은 됐어요.

다만 여기엔 분명한 선이 있어요. 첫째, 포그라운드 전용이라 사람이 그 PC를 동시에 못 써요. 둘째, 승인 단계가 잦아서 완전 무인 자동화와는 거리가 있어요. 셋째, 화면을 읽는 특성상 민감한 정보가 뜬 화면에서는 조심해야 해요. 그래서 저는 "개발 검증 + 가벼운 데스크톱 보조" 정도로 기대치를 잡았어요. 거창한 사무 자동화 도구로 보면 실망하기 쉬워요.

그래도 의미는 커요. 그동안 AI 자동화는 웹·API 영역에 머물렀는데, 컴퓨터 유즈는 로컬 데스크톱 앱이라는 가장 까다로운 영역에 발을 들였어요. API가 없는 옛날 프로그램, 웹으로 못 옮긴 사내 도구처럼 자동화 사각지대에 있던 작업이 시야에 들어온 거예요. 본격적인 워크플로 설계가 궁금하다면 n8n 2.0 AI 에이전트 만들기 7단계처럼 노코드 자동화와 데스크톱 제어를 어떻게 엮을지 함께 고민해보면 그림이 더 넓어져요.

써보고 느낀 한계와 주의점

일주일 써보니 명확한 한계도 보였어요. 솔직하게 정리할게요.

  • 포그라운드 전용이라 멀티태스킹이 막혀요. Codex가 화면을 점유하는 동안엔 사실상 그 PC로 다른 일을 못 해요. 백그라운드 자동화를 기대하면 실망해요.
  • 승인 단계가 잦아요. 보안상 좋은 설계지만, 승인을 자주 눌러야 해서 "완전 무인 자동화"와는 거리가 있어요. 사람이 운전대에 손을 얹고 있는 반자율에 가까워요.
  • 원격은 PC 전원 상태에 종속돼요. 머신이 절전·재부팅되면 끊기니, 장시간 작업은 전원 설정을 먼저 손봐야 해요.
  • 민감 화면 노출 주의. 컴퓨터 유즈는 화면을 읽어요. 비밀번호 입력 화면이나 개인정보가 뜬 창에서 작업시킬 땐 한 번 더 생각하세요.

그래도 방향성은 확실해요. AI가 코드만 짜던 시대에서, 진짜 화면을 클릭하며 검증하는 시대로 넘어가는 길목이에요. 데스크톱 앱 검증이라는 가장 번거로운 단계를 맡길 수 있다는 것만으로도 충분히 실용적이었어요.

일주일을 정리하면 이런 결론이 나와요. 컴퓨터 유즈는 "사람을 대체하는 자동화"가 아니라 "사람 옆에서 손을 보태는 보조"에 가까워요. 승인을 누르며 함께 일하는 반자율 방식이라, 신뢰가 쌓이기 전까지는 작은 작업부터 맡기는 게 안전해요. 저도 처음엔 단순 클릭 검증만 시키다가, 결과가 믿을 만해지자 점점 더 복잡한 흐름을 넘겼어요. 이렇게 신뢰를 한 단계씩 키워가는 도입 방식이 사고도 줄이고 효과도 빨리 봤어요.

지금 당장 해볼 액션

  1. 윈도우용 Codex 앱을 최신 버전으로 업데이트하고 설정에서 Computer Use 플러그인을 켜세요.
  2. 반복되는 UI 검증 작업 하나를 골라 @AppName 멘션으로 맡겨보세요. 단순 클릭 검증부터 시작하는 걸 추천해요.
  3. PC를 ChatGPT 모바일 앱에 연결하고, 전원 옵션에서 절전 진입 시간을 늘려 원격 워크플로를 테스트하세요.
  4. Codex Profiles에서 토큰 활동을 확인해 어떤 작업이 비용 대비 효과가 좋은지 기록해두세요.

처음부터 거창한 자동화를 노리지 마세요. 매일 손으로 하던 클릭 검증 한 개를 넘기는 것만으로도 체감 효과가 커요. 저도 그렇게 시작해서 일주일 만에 워크플로가 바뀌었어요.

자주 묻는 질문

❓ 자주 묻는 질문 (FAQ)

Codex 컴퓨터 유즈는 윈도우 어느 버전부터 되나요?

윈도우용 Codex 앱이 설치되는 환경이면 돼요. 설정에서 Computer Use 플러그인을 켜야 @Computer, @AppName 멘션이 활성화돼요.

백그라운드에서 조용히 작업도 되나요?

아니요. 윈도우 컴퓨터 유즈는 포그라운드 전용이에요. Codex가 화면을 잡고 있는 동안에는 같은 세션에서 다른 작업을 동시에 하기 어려워요.

폰으로 PC 작업을 이어서 볼 수 있다는 게 무슨 뜻인가요?

PC를 ChatGPT 모바일 앱에 연결해두면 아이폰·안드로이드에서 승인·diff·테스트 결과·스크린샷·터미널 출력을 확인하고 후속 지시를 보낼 수 있어요.

원격으로 이어 작업하려면 PC를 켜둬야 하나요?

네. 연결된 윈도우(또는 맥) PC가 깨어 있고 온라인 상태로 같은 계정에 로그인돼 있어야 작업이 끝까지 진행돼요. 절전 모드로 들어가면 끊겨요.

Codex Profiles는 뭐가 바뀐 건가요?

프로필 화면에서 프로필 상세, 사용량 통계, 토큰 활동을 볼 수 있게 업데이트됐어요. 어떤 모델로 얼마나 썼는지 한눈에 추적돼요.

보안이 걱정되는데 통제 장치가 있나요?

승인 단계가 화면 앞에 계속 떠요. Codex가 클릭·입력하기 전에 사람이 확인하는 구조라, 민감한 화면은 직접 멈출 수 있어요.

코딩 말고 일반 업무에도 쓸 수 있나요?

기본 설계는 개발 작업 검증이에요. 다만 화면을 읽고 클릭·입력하는 동작 자체는 범용이라, 반복적인 데스크톱 클릭 작업에도 응용 여지가 있어요.

📚 함께 읽으면 좋은 글 (Related Posts)

AI 업무 자동화 더 보기 →