微軟今天公佈了對其 Copilot 體驗的重大改進，增加了語音和視覺功能，將其轉變為更個人化的人工智慧助理。正如我在我的文章中獨家透露的記事本上週的通訊，Copilot 的新功能包括為您朗讀頭條新聞的虛擬新聞主持人模式、Copilot 能夠看到您正在查看的內容的功能，以及讓您以自然方式與 Copilot 交談的語音功能，就像OpenAI 的高級語音模式。

Copilot 正在跨行動、網路和專用 Windows 應用程式進行重新設計，以提供更多基於卡片的使用者體驗，並且看起來與 Inflection AI 與其合作的工作非常相似圓周率個性化人工智慧助理。微軟雇了一群人今年早些時候，來自 Inflection AI 的成員包括 Google DeepMind 聯合創始人 Mustafa Suleyman，他現在是微軟 AI 的執行長。這是 Suleyman 自接管 AI 助理的消費者端以來對 Copilot 的首次重大改變。

「在 Microsoft AI，我們正在為每個人創建一個 AI 伴侶，」Suleyman 在今天的公開信中說道。“我堅信我們可以創造一個更平靜、更有幫助和支持性的技術時代，這與我們以前見過的任何時代都截然不同。”

Copilot 現在的外觀與我之前在微軟看到的任何產品都不一樣，其介面與現在的介面有很大不同。個人化的 Copilot Discover 頁面比聊天機器人的文字輸入提示更有用、更有吸引力，讓人感覺更加溫暖。Microsoft 正在根據您的對話記錄自訂整個 Copilot 主頁，隨著時間的推移，它將包括有用的搜尋、提示和相關資訊。

微軟今年稍早將其消費者版本的 Copilot 分給了 Suleyman 的團隊，這顯然允許該公司在個性和客製化方面進行更多嘗試。—我們從 Pi 團隊和過來的 [Inflection AI] 人員那裡學到的是，他們始終關注客戶需求的細節，」執行副總裁兼消費者 Yusuf Mehdi 說道微軟首席行銷長接受採訪時邊緣。—他們傾聽的方式以及他們從研究中的長時間對話中學到的東西無疑影響了我們在這裡所做的事情。

除了這款新 Copilot 的外觀和感覺之外，微軟還透過添加與 OpenAI 在 ChatGPT 中引入的語音功能非常相似的語音功能，加大力度實現其為每個人提供人工智慧伴侶的願景。現在，您可以與人工智慧助理聊天，向其提問，並像與朋友或同事交談時一樣打斷它。Copilot 現在有四種語音選項可供選擇，我們鼓勵您在第一次使用更新後的 Copilot 體驗時選擇一個。

「我們在語音上下了很大的賭注，」邁赫迪說。– 當您按照我們設計的方式使用它時，您就會真正開始放飛自我並進行對話。然後你會看到我們長期發展方向的曙光，人工智慧可以真正幫助你，並看到你所看到的，如果你願意的話。

Copilot Vision 是微軟在此次重新設計中的第二個大賭注，它允許人工智慧助理看到你在正在查看的網頁上看到的內容。您可以向它詢問有關您正在查看的文字、圖像和內容的問題，並結合新的副駕駛語音功能，它會以自然的方式做出回應。您可以在線上購物時使用此功能來尋找產品推薦，從而使 Copilot 能夠幫助您找到不同的選項。

Copilot Vision 會話是選擇性加入且短暫的，微軟表示 Copilot Vision 所涉及的任何內容都不會被儲存或用於培訓。這種新體驗尚不能在所有網站上使用，因為 Microsoft 對 Copilot Vision 所使用的網站類型進行了限制。「我們從有限的熱門網站清單開始，以幫助確保每個人都能獲得安全的體驗，」Copilot 團隊表示。在預覽期間，Copilot Vision 也無法處理付費內容和敏感內容。

儘管有免責聲明，但微軟顯然對 Copilot 中的這些新語音和視覺功能抱有長期願景。一個示範顯示 Copilot Vision 被用來查看舊手寫食譜的照片，幫助解釋食物是什麼，並提供有關製作食譜需要多長時間的提示。微軟展示了今年早些時候，Xbox 遊戲也推出了類似的輔助體驗，展示了 Copilot 如何幫助您瀏覽遊戲我的世界。

Copilot 的下一階段還包括 Copilot Daily，這是 Copilot 朗讀的新聞和天氣音頻摘要，就像 CNN 主播一樣。它被設計為您可以在早上收聽的短片，並且僅使用來自已授權 Copilot 使用其內容的新聞和天氣提供者的內容。微軟正在與路透社、阿克塞爾·施普林格、赫斯特和金融時報最初，計劃隨著時間的推移添加更多來源。

借助 OpenAI 的最新模型，Copilot 還可以處理更複雜的問題。Think Deeper 是 Copilot 的新功能，讓助手花更多時間回應，從而能夠為複雜問題提供逐步答案。當您嘗試並排比較兩個選項時，它的設計效果最佳，例如“我應該搬到紐約還是舊金山？”

Think Deeper 仍處於開發初期，微軟正在將其放入 Copilot Labs，這是一種測試該公司仍在開發的實驗性功能的新方法。Copilot Vision 最初也將成為實驗室功能的一部分，參與者將能夠提供有關體驗的回饋。在最初的召回安全和隱私問題引發強烈反對後，微軟顯然對 Copilot Vision 的態度非常謹慎。微軟上週透露對召回進行了徹底改革，並提高了安全性和隱私選項，您甚至可以完全卸載該功能或一開始就不打開它。

更新後的 Copilot 體驗將於今天在 iOS 和 Android 行動應用程式中提供，網址為：copilot.microsoft.com，以及透過 Copilot Windows 應用程式。Copilot Voice 最初將在澳洲、加拿大、紐西蘭、英國和美國提供英文版本，之後將擴展到更多地區和更多語言。Copilot Daily 在擴展到其他地方之前僅限於美國和英國，而 Copilot Vision 將僅限於美國的一些 Copilot Pro 訂戶。

如果您像我一樣想知道 Copilot 接下來要去哪裡，微軟新任人工智慧執行長有一些宏偉的想法。– 隨著時間的推移，它會適應您的習慣，並根據您的偏好和需求開發功能。我們不是在創建靜態工具，而是在建立動態的、突發的、不斷發展的交互，」Suleyman 說。– 它會陪伴您去預約醫生，記錄筆記並在適當的時間進行跟進。它將分擔您孩子生日派對的規劃和準備。而且它會在一天結束時幫助您思考棘手的人生決定。