컴퓨터 사용 에이전트

컴퓨터 사용 에이전트는 AI가 인간의 작업 방식을 그대로 모방하여 디지털 환경과 상호작용하는 기술적 패러다임을 의미한다. 기존의 인공지능 도구들이 정형화된 데이터나 API(Application Programming Interface)를 통해 외부 시스템과 연결되었다면, CUA는 그래픽 사용자 인터페이스(GUI) 자체를 인식하고 조작한다. 이를 통해 API가 제공되지 않는 레거시 소프트웨어나 복잡한 웹사이트에서도 인간과 동일한 방식으로 업무를 수행할 수 있다.

CUA의 핵심은 시각 언어 모델(Vision Language Model, VLM)을 기반으로 한 **인지-실행 루프(Perception-Action Loop)**에 있다. 작동 과정은 일반적으로 다음과 같은 단계를 반복한다.

1. 화면 캡처: 현재 컴퓨터 화면을 스크린샷 형태로 캡처하여 시각 데이터를 수집한다.
2. 시각적 이해: VLM이 화면 내의 버튼, 입력창, 텍스트 등의 위치와 의미를 분석한다.
3. 액션 결정: 사용자의 목표에 도달하기 위해 필요한 다음 동작(클릭, 타이핑, 스크롤 등)을 결정하고 해당 좌표를 계산한다.
4. 실행: 운영체제 제어 도구를 통해 마우스 이동이나 키보드 입력을 실제로 수행한다.
5. 결과 확인: 실행 후 변화된 화면을 다시 확인하며 목표 달성 여부를 판단한다.

CUA는 기존 자동화 기술과 차별화되는 몇 가지 특징을 보유한다.

• 범용성: 특정 소프트웨어 전용 API가 없어도 화면이 존재하는 모든 프로그램에서 작동이 가능하다.
• 워크플로우 통합: 웹 브라우저, 문서 편집기, 터미널 등 서로 다른 응용 프로그램을 넘나들며 하나의 연속된 작업을 수행할 수 있다.
• 자율적 문제 해결: 작업 도중 예상치 못한 팝업창이나 오류가 발생해도 시각 정보를 바탕으로 상황을 판단하여 대응한다.
• 인간 모방: 사람이 컴퓨터를 사용하는 방식과 동일하므로, 별도의 복잡한 시스템 통합 과정이 필요하지 않다.

주요 인공지능 기업들은 각자의 CUA 기술을 공개하거나 개발 중에 있다.

이 외에도 Agent S2, Jedi 등 다양한 오픈소스 프로젝트가 진행되고 있으며, WebArena와 같은 벤치마크를 통해 성능이 측정된다.

에이전트의 효율적인 운영을 위해 다음과 같은 구조적 패턴이 적용된다.

• 승인형 단일 작업: 사용자의 명시적 승인을 받은 후 개별 작업을 수행하는 방식이다.
• 연구 후 실행: 정보를 먼저 수집 및 분석한 뒤 최적의 실행 경로를 결정하는 구조이다.
• 정책 기반 큐: 설정된 우선순위와 정책에 따라 대기열의 작업을 순차적으로 처리한다.

AI가 실제 시스템을 직접 조작함에 따라 보안과 안전성 확보가 필수적이다.

• 최소 권한 원칙: 에이전트에게 작업 수행에 필요한 최소한의 권한만 부여한다.
• 인간 개입(Human-in-the-loop): 금융 결제나 데이터 삭제와 같은 민감한 작업 시에는 반드시 사용자의 확인을 거친다.
• 데이터 보호: 제로 데이터 보존(Zero Data Retention, ZDR) 정책 등을 통해 민감한 화면 정보가 API 응답 후 저장되지 않도록 관리한다.
• 방어 체계: 프롬프트 인젝션과 같은 공격으로부터 시스템을 보호하기 위한 가드레일을 구축한다.