Googleは7月29日、Mac向けGeminiアプリをアップデートし、デスクトップ上のどのウィンドウからでも音声で操作できる新機能を追加しました。Fnキーを長押しするだけで自然な音声入力が可能になり、画面の内容を認識して複雑なタスクを実行する機能もオプトインで提供されます。
インテリジェントな音声書き起こし
新機能の核となるのが、Geminiのインテリジェントなディクテーション機能です。ユーザーが自然な話し言葉で話しかけると、Geminiがそれをきれいに整形されたテキストに変換し、カーソル位置に直接入力します。この際、「えーと」「あー」などのフィラーワードは自動的に除去されます。
話している最中に言い直した場合も文脈を把握し、意図を正確に反映したテキストを生成します。MacRumorsによると、Macの標準ディクテーション機能もFnキーのダブルプレスで起動できるため、既存の操作感に近い使い勝手が実現しています。
画面認識モードでタスク実行
もう一つの重要な機能は、オプトインの画面認識モードです。アプリ設定でGeminiの推論機能を有効にすると、画面上のコンテンツを理解した上で複雑な要求に応じることができます。ローカルファイルや画像、ドキュメントをハイライトして音声で指示すると、内容を抽出・要約したり、文章を書き直したりできます。
例えば「このメモをエグゼクティブサマリーに変換して先頭にTL;DRを置いて」と話しかければ、その場でテキストが書き換えられます。画像の生成や編集も音声で行え、デザインのダークモード版を作成するなどの指示に対応します。9to5Macによると、画面共有ボタンをプロンプト欄からタップして起動することも可能です。
提供状況と対応環境
新機能を利用するには、Gemini for Macの最新バージョン1.88への更新が必要です。Fnキーを長押しすると、画面下部に波形を表示するフローティングピルが現れ、音声入力中であることを示します。5月のI/O 2026で预告されていた機能が、約2カ月で正式提供に至りました。
現時点では英語で全世界のユーザーに順次展開されており、追加言語は今後サポートされる予定です。別ウィンドウを開いたりテキストをコピーしたりする手間なく、作業中のアプリ内で直接AIアシスタンスを利用できるのが特徴となっています。
出典: MacRumors — Gemini for Mac Adds System-Wide Voice Dictation and Screen-Aware Commands / 9to5Mac — Gemini for macOS rolling out voice control and Gboard Rambler-level transcription / AppleInsider — AI leaves the chat window behind with Gemini's new Mac voice mode
