컴퓨터 유즈 (Computer Use)
인공지능이 사람처럼 모니터 화면을 보고 마우스 클릭과 키보드 입력을 직접 수행하여 다양한 소프트웨어를 다루는 기술입니다.
컴퓨터 유즈(Computer Use)는 인공지능이 사람과 동일한 방식으로 컴퓨터 화면을 보고 마우스와 키보드를 직접 조작하여 작업을 수행하는 AI 제어 기술을 의미합니다. 기존의 인공지능이 텍스트로 답변을 출력하거나 별도의 시스템 연동 창구(API)를 통해서만 데이터를 주고받았다면, 컴퓨터 유즈 기술을 갖춘 AI 에이전트는 사용자가 보고 있는 그래픽 사용자 인터페이스(GUI) 환경에 직접 개입합니다.
AI 모델은 주기적으로 화면 스크린샷을 찍어 시각 정보를 분석하고, 버튼의 위치나 텍스트 입력창의 좌표를 파악한 뒤 마우스 커서를 이동해 클릭하거나 텍스트를 타이핑합니다. 별도의 개발 작업 없이도 사람이 쓰는 거의 모든 프로그램을 AI가 직접 다룰 수 있는 길을 열어준 셈입니다.
컴퓨터 유즈는 어떻게 작동하는가
컴퓨터 유즈는 대형 멀티모달 모델(LMM)의 시각 인식 능력과 에이전트의 도구 조작 능력을 결합해 동작합니다. 구체적인 처리 과정은 다음과 같은 순환 구조를 이룹니다.
- 화면 캡처와 분석: 운영체제의 현재 화면을 스크린샷으로 캡처하여 AI 모델에 전달합니다. AI는 화면 속 아이콘, 메뉴, 입력 상자, 체크박스 등의 픽셀 좌표를 계산합니다.
- 행동 결정: 사용자가 지시한 최종 목표를 달성하기 위해 지금 당장 수행해야 할 다음 행동을 판단합니다. 예를 들어 '로그인 버튼 클릭' 또는 '검색창에 단어 입력'을 계획합니다.
- 입력 제어 실행: AI가 마우스 이동, 좌클릭, 우클릭, 드래그, 키보드 타이핑, 스크롤 등의 명령어를 가상 입력 장치에 전달하여 실행합니다.
- 결과 검증 및 반복: 행동 후 화면이 어떻게 바뀌었는지 다시 캡처하여 확인하고, 오류가 발생했으면 이를 수정하며 작업이 끝날 때까지 단계를 반복합니다.
국내 업무 환경에서의 활용 예시
컴퓨터 유즈는 API 연동을 지원하지 않는 국내 특유의 레거시 업무 소프트웨어 환경에서 강력한 힘을 발휘할 수 있습니다. 예를 들어 서울 동대문이나 남대문 시장을 기반으로 활동하는 온라인 쇼핑몰 운영자는 매일 아침 여러 도매 플랫폼과 택배사 전산망, 그리고 자체 재고 관리 엑셀을 일일이 열어 주문서를 복사하고 붙여넣는 단순 반복 작업에 시달립니다.
외부 데이터 연동을 지원하지 않는 옛날 구축형 프로그램이나 공공기관 민원 서식 사이트라도 컴퓨터 유즈를 적용하면 사람이 하듯 손쉽게 자동화할 수 있습니다. AI가 웹 브라우저를 열어 택배사 페이지에 접속하고, 송장 번호를 조회한 뒤, 사내 전산망의 특정 입력 칸을 클릭해 값을 채워 넣는 작업까지 스스로 처리합니다. 전산망 개편을 위한 대규모 개발 비용을 들이기 어려운 소상공인이나 스타트업에게 유용한 대안이 됩니다.
기존 자동화 방식(RPA)과의 차이점
과거의 업무 자동화(RPA) 도구는 정해진 화면 좌표나 미리 약속된 HTML 코드 구조에만 의존했습니다. 만약 웹사이트 개편으로 버튼의 위치가 10픽셀 옆으로 이동하거나 팝업창이 하나라도 뜨면 전체 작업이 멈추는 한계가 있었습니다.
반면 컴퓨터 유즈는 AI가 화면 전체의 맥락을 시각적으로 이해합니다. 공지 팝업이 뜨면 '닫기' 버튼을 찾아 먼저 누르고 넘어가며, 버튼의 디자인이나 위치가 조금 바뀌어도 형태와 문맥을 파악해 정확한 지점을 스스로 찾아 클릭합니다. 예외 상황이 발생했을 때 사람처럼 유연하게 대처할 수 있다는 점이 가장 큰 차이입니다.
주의할 점과 한계
컴퓨터 유즈 기술은 매우 혁신적이지만 아직 초기 단계에 머물러 있어 주의가 필요합니다. 첫째, 입력 지연과 화면 갱신 속도 차이로 인해 웹페이지가 다 로딩되기 전에 엉뚱한 곳을 클릭하는 실수가 생길 수 있습니다. 둘째, 보안 및 권한 문제입니다. AI에게 컴퓨터 조작 권한을 전적으로 위임하면 중요 파일을 잘못 삭제하거나 보안 프로그램을 우회하는 오작동이 일어날 위험이 있습니다.
따라서 현재 단계에서는 금융 결제 승인, 민감한 개인정보 입력, 대량 데이터 영구 삭제 같은 위험성 높은 작업에 AI를 단독으로 투입하는 것을 피해야 합니다. 작업 단계마다 사람의 최종 승인을 거치도록 설정하는 등 안전장치를 마련하는 것이 필수적입니다.
자주 묻는 질문
컴퓨터 유즈를 쓰려면 전용 API나 플러그인이 필요한가요?
필요하지 않습니다. 컴퓨터 유즈의 가장 큰 장점은 전용 API가 없는 구형 프로그램이나 일반 웹사이트도 사람이 모니터를 보듯 그대로 제어할 수 있다는 점입니다.
AI가 잘못된 버튼을 누르거나 오작동할 위험은 없나요?
오작동 가능성이 존재합니다. 복잡한 인터페이스나 미세한 조작이 필요한 화면에서는 엉뚱한 곳을 클릭할 수 있으므로, 결제나 중요 파일 삭제 작업에는 사람이 개입하는 안전장치를 두어야 합니다.
기존 매크로나 RPA와 비교했을 때 가장 큰 장점은 무엇인가요?
유연성입니다. 기존 매크로는 버튼 위치가 1픽셀만 바뀌어도 작동을 멈추지만, 컴퓨터 유즈는 AI가 시각적으로 화면 맥락을 파악하므로 레이아웃 변경이나 갑작스러운 팝업창에도 스스로 대처합니다.
