Raycast、AIチャットルーム向けに「スクリーンリーダー」機能を発表

Raycastは「スクリーンアウェアネス」という新機能を発表し、ユーザーがアクティブなアプリケーションやウィンドウのコンテキストをAIチャットに直接持ち込むことを可能にしました。この機能に関する詳細情報は以下の通りです。

Raycast AIは、あなたのスクリーン上の内容を利用できるようになりました。AIチャットボット(ChatGPT、Claude、またはRaycast AIなど)を使用する方法に応じて、テキストをコピー&ペーストしたり、スクリーンショットをアップロードしたり、処理しているコンテキストを説明したりしてから助けを求める必要があるかもしれません。Raycastは最近、この機能を更新し、Raycast AIがフォーカスされたウィンドウの内容に直接アクセスできるようにすることで、ワークフローを簡素化することを目指しています。この「スクリーンアウェアネス」と呼ばれる機能は、「フォーカスされたアプリケーションやウィンドウのコンテキストをAIチャットやクイックAIに持ち込むことができるため、テキストをコピーしたり、スクリーンショットを添付したり、見ている内容を説明したりする必要がありません。」

Raycastのスクリーンアウェアネス機能がユーザーのワークフローを簡素化

ユーザーは「フォーカスウィンドウをAIに送信」コマンドを使用するか、@メニューからスクリーンアウェアネスを選択するか、「これを要約して」または「これに返信して」と直接リクエストすることができます。これを有効にすると、Raycast AIに送信されるコンテキストには、アプリケーションやウィンドウの詳細、選択したテキスト、フォーカスコントロール、およびフォーカスされたウィンドウのスクリーンショットが含まれる場合があります。Macでは、Finderからトリガーされた場合、選択したファイルやフォルダーに関する情報も提供され、Raycastのブラウザパートナーは、現在のスクリーンに表示されている内容の上にウェブページの詳細や内容を抽出することができます。

同社によれば、ユーザーは初めてこのコマンドを使用する際に表示される簡単なガイドを通じて、スクリーンアウェアネスをトリガーするためのホットキーを設定できます。Raycastはそのチームが「右側のCommandキーをダブルクリックするのが好きだ」と述べています。ユーザーは「選択したテキストをAIに送信」、「スクリーン領域をAIに送信」、「スクリーンをAIに送信」などの関連コマンドに対してもキーボードショートカットを設定できます。以下はこの機能の実際の使用例です:

さらに、Raycast v0.71に含まれる新機能には以下が含まれます:AI:フォーカスウィンドウをAIに送信するコマンドには、より豊富なアプリケーションとウィンドウのコンテキストが含まれています;AI:「スクリーンアウェアネスをリクエスト」AI拡張が新たに追加され、Raycast AIのコンテキストを迅速に提供します;AI:圧縮およびコンテキスト管理のサポートが追加されました;クイックAI:「メッセージを送信」AI設定がクイックAIでも尊重され、Command Returnでクエリを送信できるようになりました;ディクテーション:他のアプリケーションから語彙やホットキーをインポートする方法が新たに追加されました;ディクテーション:「語彙に単語を追加」コマンドが新たに追加され、選択した単語や入力したパラメータを語彙に追加できます;フィードバック:Raycastチームに連絡するための「フィードバックをリクエスト」AI拡張が新たに追加されました;ホットキー:両側の修飾キーを持つ和音のサポートが新たに追加され、ホットキーのレコーダーでの記録と表示が含まれます。

Raycastの最新の更新に関する詳細情報については、以下のリンクをクリックしてください。

Nakumura
Nakumura
関連サイト:中文版 / TechRitualThe Base Principle