MS, 모든 Windows 11에 'Hey Copilot' 음성비서·자율 에이전트 도입

Windows 11, 대화형 컴퓨팅으로의 전환

마이크로소프트가 음성 기반 AI 비서, 자율형 소프트웨어 에이전트, 문맥 인지를 Windows 11 전반에 통합한다고 발표했다. 챗봇을 넘어 사용자가 컴퓨터에 말로 지시하면 에이전트가 복합 작업을 대신 수행하는 상시적·대화형 모델로의 전환이며, 신규 칩이 없는 일반 PC에서도 동일하게 작동한다.

'Hey Copilot'로 말하는 입력 시대

마우스와 키보드에 이은 세 번째 기본 입력으로 음성을 제시하며, 한 번의 클릭으로 'Hey Copilot' 호출어를 켜면 운영체제 어디서든 음성으로 비서를 부를 수 있다. 내부 데이터에 따르면 음성 사용 시 Copilot 참여도가 문자 입력 대비 두 배 높았고, 공유 오피스의 프라이버시 우려에 대해 마이크로소프트는 헤드셋 활용 등 사용 행태가 자연스럽게 적응될 것이라고 밝혔다. 모든 기능은 텍스트 입력으로도 동일하게 접근 가능해 음성이 어려운 환경을 보완한다.

"AI PC의 약속"으로 마이크로소프트는 자연스러운 상호작용, 사용자가 보는 것을 보고 안내하는 능력, 그리고 사용자를 대신해 행동하는 능력을 꼽았다. 이 가운데 'Hey Copilot'은 타이핑을 말하기로 대체하는 관문 기능이다.

Copilot Vision: 화면을 이해하는 문맥형 지원

Copilot Vision은 화면의 내용을 분석해 맥락에 맞춘 도움을 제공한다. 음성 전용에서 텍스트 인터페이스로 확장되어, 사용자는 화면에 보이는 것에 대해 말 대신 타이핑으로 질문할 수 있다. 오피스 앱에서는 전체 문서 문맥에 접근해 프레젠테이션이나 스프레드시트 전체를 스크롤하지 않고도 분석한다.

브리핑 데모에서는 Spotify 무손실 음원 설정 찾기, 시각 포트폴리오 기반 작가 소개문 코칭, 유튜브 영상에 나타난 제품을 바탕으로 쇼핑 추천을 시연했다. 평균 검색 질의는 2.3개 키워드에 그치지만, AI는 풍부한 문맥과 상세 프롬프트에서 성능을 내기 때문에 Vision이 화면 맥락을 자동으로 모아 격차를 메운다는 설명이다. 별도 통합 없이 모든 앱과 작동하는 강력함은 동시에 접근 범위와 시점에 대한 프라이버시 질문을 동반한다.

Copilot Actions: 자율 에이전트의 가능성과 논란

Copilot Actions는 사용자의 PC를 에이전트가 직접 조작해 작업을 자율 수행하는 실험적 기능으로, 먼저 Copilot Labs에 등록한 Windows 참가자에게 제공된다. 사진 정리, 문서에서 데이터 추출, 다단계 업무 처리 등 데모가 이뤄졌으며, 별도의 샌드박스 환경에서 실행되고 진행 상황을 실시간 해설한다. 사용자는 언제든 개입해 중단·수정할 수 있다. 초기에는 제한된 시나리오부터 시작하며, 복잡한 인터페이스에서의 오류 가능성과 모델 성능 최적화를 전제로 현장 검증이 강조됐다.

보안 프레임워크: 통제, 투명성, 최소 권한

에이전트 계정과 작업 공간

에이전트는 사용자 계정과 분리된 전용 에이전트 계정으로 동작하며, 전용 데스크톱인 에이전트 워크스페이스에서 샌드박스로 실행된다. 이 경계 설정은 접근·수정 가능한 자원을 명확히 구분하기 위한 것이다.

사용자 통제와 운영 투명성

Copilot Actions는 기본 비활성화이며 명시적 동의가 있어야 켜진다. 민감·중요 작업 전에는 추가 승인을 요구하며, 전 과정은 에이전트 계정에 기록되어 사람과 AI의 활동이 구분 가능한 감사 추적을 남긴다.

남은 위험과 기업 제어

기본적으로 문서, 다운로드, 바탕화면, 사진 폴더에 대한 읽기 권한이 부여되는 점은 기업 IT에 우려가 될 수 있다. 또한 UI나 문서에 숨은 악성 컨텐츠가 프롬프트를 덮어쓰는 XPIA(교차 프롬프트 인젝션) 같은 새로운 위험이 지적됐으며, 엔터프라이즈 제어 방안은 11월 Ignite에서 추가 공개될 예정이다.

생산성과 생태계 업데이트

작업 표시줄에는 'Ask Copilot'이 추가되어 한 번의 클릭으로 대화 시작, 비전 기능 호출, 파일·설정 검색을 빠르게 수행한다(기존 검색은 유지). 파일 탐색기는 서드파티 통합으로 AI 기능을 얹어, Manus AI를 통해 로컬 이미지 우클릭만으로 웹사이트를 생성하고, Filmora 연동으로 바로 영상 편집 흐름에 진입할 수 있다. Copilot Connectors로 OneDrive, Outlook, Google Drive, Gmail, Google Calendar와 연결해 자연어로 개인 콘텐츠를 가로질러 조회할 수 있다. 게임 영역에서도 ASUS와 협력한 ROG Ally에 Gaming Copilot이 탑재되어, 전용 버튼으로 호출해 공략 조언과 UI 내비게이션을 음성으로 받는다. 이들 경험은 'Hey Copilot'과 결합될 때 더 매끄럽게 이어진다.

경쟁 구도와 전략적 함의

ChatGPT 출시 이후 빅테크는 핵심 제품에 생성형 AI를 빠르게 내장해 왔다. Bing의 정체된 점유율에도 불구하고, 마이크로소프트는 별도 과금보다 운영체제에 AI를 기본 탑재하는 전략으로 Windows 11 전환과 차별화를 노린다. 애플은 Apple Intelligence로 온디바이스 프라이버시를 앞세워 점진 도입 중이며, 구글은 정확성과 신뢰성 도전에 직면해 있다. 파트너의 Copilot+ PC가 649.99~1,499.99달러로 소개됐지만, 핵심 기능은 모든 Windows 11 PC에서 동작한다는 점이 채택을 가속하는 대신 프리미엄 하드웨어의 매력을 약화시킬 수 있다.

앞으로의 전망

마이크로소프트는 운영체제를 AI 중심으로 다시 쓰겠다는 비전을 제시했다. 성공한다면 생산성의 큰 도약이 가능하지만, 통제 실패나 신뢰성 문제는 새로운 보안·개인정보 리스크로 되돌아올 수 있다. 현재 Copilot Voice와 Copilot Vision은 전 세계 Windows 11에 제공 중이며, 실험적 기능은 수주 내 Windows 참가자에게 순차 제공된다. 일상 워크플로우 전반에 녹아드는 'Hey Copilot' 경험이 진정한 패러다임 전환으로 이어질지 주목된다.