Microsoftは本日、Copilotエクスペリエンスの大幅な見直しを発表し、音声とビジョン機能を追加して、よりパーソナライズされたAIアシスタントに変換します。私が独占的に明らかにしたように、メモ帳先週のニュースレターCopilot の新機能には、見出しを読み上げる仮想ニュース プレゼンター モード、ユーザーが見ているものを Copilot が確認できる機能、および次のような自然な方法で Copilot と会話できる音声機能が含まれます。OpenAIアドバンストボイスモード。

Copilot は、モバイル、Web、および専用の Windows アプリにわたって再設計され、よりカードベースで、Inflection AI が行ってきた作業と非常によく似たユーザー エクスペリエンスを実現しています。円周率パーソナライズされたAIアシスタント。マイクロソフト大勢の人を雇った今年初めに Inflection AI から参加したメンバーには、現在 Microsoft AI の CEO を務める Google DeepMind の共同創設者 Mustafa Suleyman も含まれます。これは、Suleyman 氏が AI アシスタントの消費者側を引き継いで以来、Copilot に対する最初の大きな変更です。

「Microsoft AI では、すべての人のための AI コンパニオンを作成しています」と Suleyman 氏は今日の公開書簡で述べています。「私たちは、これまでに見たことのない、より穏やかで、より役に立ち、協力的なテクノロジーの時代を作り出すことができると心から信じています。」

Copilot は、これまでに見た Microsoft のものとはまったく異なり、現在のものとは大きく異なるインターフェイスを備えています。これは、チャットボットのテキスト入力プロンプトよりも便利で魅力的な、パーソナライズされた Copilot Discover ページを備えた非常に温かみのあるものです。Microsoft は、会話履歴に基づいてこの Copilot ホームページ全体をカスタマイズしており、時間の経過とともに、役立つ検索、ヒント、関連情報が含まれるようになります。

Microsoft は今年初めに、消費者向けバージョンの Copilot を Suleyman チームに分割し、これにより同社が個性とカスタマイズをさらに実験できるようになったのは明らかです。–私たちが Pi チームとやって来た [Inflection AI] の人々から学んだことは、彼らは常に顧客のニーズに細部まで注意を払っていたということです」とエグゼクティブ バイス プレジデント兼消費者である Yusuf Mehdi 氏は言います。マイクロソフトの最高マーケティング責任者はインタビューでこう語った。ザ・ヴァージ。–彼らの聞き方と、その研究における長い会話から何を学んだかは、私たちがここで行ったことに確かに影響を与えています。」

この新しい Copilot の外観と操作性を超えて、Microsoft は OpenAI が ChatGPT に導入したものとよく似た音声機能を追加することで、すべての人のための AI コンパニオンというビジョンに向けた取り組みを強化しています。友人や同僚と会話しているときと同じように、AI アシスタントとチャットしたり、質問したり、中断したりできるようになりました。Copilot には 4 つの音声オプションがあり、この更新された Copilot エクスペリエンスを初めて使用するときに 1 つを選択することをお勧めします。

「私たちは音声に大きな賭けをしています」とメディ氏は言います。私たちが設計した方法で使用すると、本当に自分自身を解放して会話を始めることができます。そうすれば、AI が実際にあなたを助け、望むなら何が見えるかというビジョンとともに、私たちが長期的にどこへ向かうのかが見えてきます。」

Copilot Vision は、この再設計における Microsoft の 2 番目の大きな賭けであり、ユーザーが閲覧している Web ページに表示されている内容を AI アシスタントが確認できるようになります。表示しているテキスト、画像、コンテンツについて質問することができ、新しい Copilot Voice 機能と組み合わせることで、自然な方法で応答します。Web でのショッピング中にこの機能を使用すると、製品の推奨事項を見つけることができ、Copilot がさまざまなオプションを見つけるのに役立ちます。

Copilot Vision セッションはオプトイン型で一時的なものであり、Microsoft によれば、Copilot Vision が関与するコンテンツは保存されず、トレーニングにも使用されません。Microsoft が Copilot Vision が動作する Web サイトの種類に制限を設けているため、この新しいエクスペリエンスはまだすべての Web サイトで機能するわけではありません。「すべての人にとって安全なエクスペリエンスを保証するために、人気のある Web サイトの限定されたリストから始めます」と Copilot チームは述べています。プレビュー中は、Copilot Vision はペイウォールで保護された機密コンテンツに対しても機能しません。

免責条項にもかかわらず、Microsoft は明らかに、Copilot のこれらの新しい音声およびビジョン機能に対して長期的なビジョンを持っています。デモの 1 つは、Copilot Vision を使用して古い手書きのレシピの写真を見て、その食べ物が何であるかを説明し、レシピを作るのにかかる時間に関するヒントを提供する様子を示しています。マイクロソフトが実証しました今年初めに Xbox ゲームでも同様の支援エクスペリエンスを提供し、Copilot がゲーム内でのナビゲーションにどのように役立つかを示しました。マインクラフト。

Copilot のこの次の段階には、Copilot Daily も含まれています。Copilot Daily は、Copilot が CNN アンカーのように読み上げる、ニュースと天気の音声要約です。朝に聞くことができる短いクリップとして設計されており、Copilot にコンテンツの使用を許可したニュースおよび気象プロバイダーからのコンテンツのみが使用されます。マイクロソフトは協力していますロイター、アクセル・スプリンガー、ハースト、そしてフィナンシャル・タイムズ当初は、時間の経過とともにさらに多くのソースを追加する予定です。

Copilot は、OpenAI の最新モデルのおかげで、より複雑な質問にも対応できます。Think Deeper は Copilot の新機能で、アシスタントが応答するまでの時間が長くなり、複雑な質問に対して段階的に回答できるようになります。たとえば、「ニューヨークに引っ越しるべきか、それともサンフランシスコに引っ越しるべきでしょうか?」など、2 つの選択肢を並べて比較しようとする場合に最適に機能するように設計されています。

Think Deeper はまだ開発初期段階にあり、Microsoft はそれを Copilot Labs に導入しています。これは、同社が開発中の実験的な機能をテストするための新しい方法です。Copilot Vision も当初は Labs 機能の一部となり、参加者はその体験についてフィードバックを提供できるようになります。Microsoft は、最初のリコールのセキュリティとプライバシーの問題に対する反発を受けて、Copilot Vision に慎重に取り組んでいることは明らかです。Microsoftは先週、次のことを明らかにした。リコールが全面的に見直しられ、セキュリティが向上しましたプライバシー オプションも含まれており、この機能を完全にアンインストールしたり、最初からオンにしないこともできます。

この更新された Copilot エクスペリエンスは、モバイル iOS および Android アプリ、Web 上で本日より利用可能になります。copilot.microsoft.com、Copilot Windows アプリを通じて。Copilot Voice は、当初はオーストラリア、カナダ、ニュージーランド、英国、米国で英語で利用可能になり、その後さらに多くの地域と言語に拡大されます。Copilot Daily は、他の地域に拡大する前に米国と英国に限定され、Copilot Vision は米国内の一部の Copilot Pro 加入者に限定されます。

もしあなたが私と同じように、副操縦士が次にどこへ向かうのか疑問に思っているなら、Microsoft の新しい AI CEO には壮大なアイデアがある。時間の経過とともに、あなたの癖に適応し、あなたの好みやニーズに基づいて構築された機能を開発します。私たちは静的なツールを作成しているのではなく、動的で創発的で進化するインタラクションを確立しているのです」とスレイマン氏は言います。医師の診察に同行し、メモを取り、適切なタイミングでフォローアップします。お子様の誕生日パーティーの計画と準備の負担を分散します。そして、それは一日の終わりに、人生における難しい決断についてじっくり考える助けとなるでしょう。」