Microsoft는 오늘 Copilot 경험을 대대적으로 개편하여 음성 및 비전 기능을 추가하여 보다 개인화된 AI 비서로 전환했습니다.제가 단독으로 공개한 대로메모장지난 주 뉴스레터Copilot의 새로운 기능에는 헤드라인을 읽어주는 가상 뉴스 발표자 모드, 현재 보고 있는 내용을 볼 수 있는 기능, Copilot과 자연스럽게 대화할 수 있는 음성 기능이 포함됩니다.OpenAI고급 음성 모드.

Copilot은 모바일, 웹 및 전용 Windows 앱 전반에 걸쳐 카드 기반의 사용자 환경으로 재설계되고 있으며 Inflection AI가 수행한 작업과 매우 유사합니다.파이맞춤형 AI 비서.마이크로소프트사람들을 많이 고용했어요Google DeepMind 공동 창립자이자 현재 Microsoft AI의 CEO인 Mustafa Suleyman을 포함하여 올해 초 Inflection AI에서 나왔습니다.이는 Suleyman이 AI 비서의 소비자 측면을 맡은 이후 Copilot에 대한 첫 번째 큰 변화입니다.

Suleyman은 오늘 공개 서한에서 Microsoft AI에서 모든 사람을 위한 AI 동반자를 만들고 있다고 말했습니다.'저는 이전에 본 것과는 전혀 다른, 더 차분하고, 더 도움이 되고, 지원적인 기술 시대를 만들 수 있다고 진심으로 믿습니다.'

Copilot은 이제 이전에 Microsoft에서 본 것과는 전혀 다른 인터페이스를 가지고 있으며 현재 존재하는 인터페이스와 크게 다릅니다.챗봇의 텍스트 입력 프롬프트보다 더 유용하고 매력적인 맞춤형 Copilot Discover 페이지가 있어 훨씬 더 따뜻합니다.Microsoft는 대화 기록을 기반으로 이 전체 Copilot 홈페이지를 사용자 지정하고 있으며 시간이 지남에 따라 유용한 검색, 팁 및 관련 정보가 포함됩니다.

Microsoft는 올해 초 Copilot의 소비자 버전을 Suleyman 팀으로 분리했으며 이를 통해 회사는 분명히 개성과 사용자 정의에 대해 더 많은 실험을 할 수 있었습니다.âPi 팀과 [Inflection AI] 사람들로부터 우리가 배운 것은 그들은 항상 고객의 요구 사항에 대한 세부 사항에 주의를 기울였다는 것입니다."라고 수석 부사장 겸 소비자인 Yusuf Mehdi는 말합니다.Microsoft의 최고 마케팅 책임자(CMO)와의 인터뷰에서더버지.â그들이 듣는 방식과 연구에서 긴 대화를 통해 배운 내용은 확실히 우리가 여기서 한 일에 영향을 미쳤습니다.

이 새로운 Copilot의 모양과 느낌 외에도 Microsoft는 OpenAI가 ChatGPT에 도입한 것과 매우 유사한 음성 기능을 추가하여 모든 사람을 위한 AI 동반자라는 비전에 대한 작업을 강화하고 있습니다.이제 친구나 동료와 대화하는 것처럼 AI 비서와 채팅하고, 질문하고, 중단할 수 있습니다.Copilot에는 이제 네 가지 음성 옵션 중에서 선택할 수 있으며, 이 업데이트된 Copilot 환경을 처음 사용할 때 하나를 선택하는 것이 좋습니다.

Mehdi는 “우리는 음성에 큰 투자를 하고 있습니다.”라고 말했습니다....우리가 디자인한 방식으로 사용하면 정말 자유롭게 대화를 나눌 수 있게 됩니다.그런 다음 AI가 실제로 도움을 줄 수 있는 비전과 함께 우리가 장기적으로 나아갈 방향이 어렴풋이 보이고, 원할 경우 무엇을 볼 수 있는지 알 수 있습니다.

Copilot Vision은 이러한 재설계를 통해 Microsoft가 두 번째로 시도한 큰 투자입니다. 이를 통해 AI 도우미는 사용자가 보고 있는 웹페이지에 표시되는 내용을 확인할 수 있습니다.현재 보고 있는 텍스트, 이미지, 콘텐츠에 대해 질문할 수 있으며, 새로운 Copilot Voice 기능과 결합되어 자연스럽게 응답합니다.웹에서 쇼핑하는 동안 이 기능을 사용하여 추천 제품을 찾을 수 있으며 Copilot이 다양한 옵션을 찾는 데 도움을 줄 수 있습니다.

Copilot Vision 세션은 선택적이고 임시적이며 Microsoft는 Copilot Vision이 참여하는 콘텐츠 중 어느 것도 교육용으로 저장되거나 사용되지 않는다고 말합니다.Microsoft가 Copilot Vision이 작동하는 웹 사이트 유형에 제한을 두었기 때문에 이 새로운 환경은 아직 모든 웹 사이트에서 작동하지 않습니다.Copilot 팀은 "우리는 모든 사람에게 안전한 환경을 제공하기 위해 제한된 목록의 인기 웹사이트부터 시작하고 있습니다."라고 말합니다.미리 보기 중에는 Copilot Vision이 페이월 및 민감한 콘텐츠에서도 작동하지 않습니다.

면책 조항에도 불구하고 Microsoft는 Copilot의 새로운 음성 및 비전 기능에 대한 장기적인 비전을 분명히 가지고 있습니다.한 데모에서는 Copilot Vision을 사용하여 오래된 손으로 쓴 요리법 사진을 보고 음식이 무엇인지 설명하고 요리법을 만드는 데 걸리는 시간에 대한 팁을 제공하는 것을 보여줍니다.마이크로소프트가 시연했다올해 초 Xbox 게임에 대한 유사한 보조 경험을 제공하여 Copilot이 탐색에 어떻게 도움이 될 수 있는지 보여줍니다.마인크래프트.

Copilot의 다음 단계에는 Copilot이 마치 CNN 앵커인 것처럼 읽어주는 뉴스 및 날씨에 대한 오디오 요약인 Copilot Daily도 포함되어 있습니다.아침에 들을 수 있는 짧은 클립으로 설계되었으며 Copilot에 콘텐츠 사용을 승인한 뉴스 및 날씨 제공업체의 콘텐츠만 사용합니다.마이크로소프트는 함께 일하고 있다로이터, 액셀 스프링거, 허스트 등파이낸셜 타임즈처음에는 시간이 지남에 따라 더 많은 소스를 추가할 계획입니다.

Copilot은 OpenAI의 최신 모델 덕분에 더욱 복잡한 질문도 처리할 수 있습니다.Think Deeper는 보조자가 응답하는 데 더 많은 시간을 할애하여 복잡한 질문에 대한 단계별 답변을 제공할 수 있도록 하는 Copilot의 새로운 기능입니다.예를 들어 '뉴욕으로 이사해야 할까요? 아니면 샌프란시스코로 이사해야 할까요?'와 같이 두 가지 옵션을 나란히 비교하려고 할 때 가장 잘 작동하도록 설계되었습니다.

Think Deeper는 아직 개발 초기 단계이며 Microsoft는 회사에서 아직 개발 중인 실험적 기능을 테스트하는 새로운 방법인 Copilot Labs에 이를 배치하고 있습니다.Copilot Vision은 처음에는 Labs 기능의 일부가 되며 참가자는 경험에 대한 피드백을 제공할 수 있습니다.Microsoft는 초기 리콜 보안 및 개인 정보 보호 문제에 대한 반발 이후 Copilot Vision을 신중하게 다루고 있습니다.마이크로소프트는 지난주에 이렇게 밝혔습니다.보안이 강화되어 리콜이 전면적으로 개편되었습니다.및 개인 정보 보호 옵션이 있으며, 기능을 완전히 제거하거나 처음에 활성화하지 않을 수도 있습니다.

이 업데이트된 Copilot 환경은 오늘부터 모바일 iOS 및 Android 앱과 웹에서 사용할 수 있습니다.copilot.microsoft.com, 그리고 Copilot Windows 앱을 통해.Copilot Voice는 처음에는 호주, 캐나다, 뉴질랜드, 영국, 미국에서 영어로 제공되며 향후 더 많은 지역과 언어로 확장될 예정입니다.Copilot Daily는 다른 지역으로 확장되기 전에 미국과 영국으로 제한되며, Copilot Vision은 미국 내 다수의 Copilot Pro 가입자로 제한됩니다.

저처럼 Copilot이 다음에는 어디로 향할지 궁금하신가요?Microsoft의 새로운 AI CEO는 몇 가지 원대한 아이디어를 가지고 있습니다..시간이 지남에 따라 귀하의 매너리즘에 적응하고 귀하의 선호도와 필요 사항을 중심으로 구축된 기능을 개발합니다.우리는 정적 도구를 만드는 것이 아니라 역동적이고 창발적이며 진화하는 상호 작용을 구축하는 것입니다.”라고 Suleyman은 말합니다.이 앱은 의사 진료를 받을 때까지 동행하여 적시에 메모하고 후속 조치를 취합니다.자녀의 생일 파티를 계획하고 준비하는 과정을 분담하게 됩니다.그리고 인생이 끝날 때 까다로운 인생 결정을 내리는 데 도움이 될 것입니다.