自然言語指令でスマホを自動化、DroidRun Mobilerunがハンズフリー操作を実現

毎日スマートフォンでアプリを切り替え、パスワードを入力し、ウェブサイトを閲覧するのは、かなりの時間を浪費します。特に、テスターや生産性愛好者のように、迅速に複数のステップを処理する必要があるユーザーにとってはそうです。指の疲労にうんざりしていて、複雑なスクリプトツールに依存したくない場合、DroidRun Mobilerunは解決策となります。このオープンソースのモバイルエージェントは、「WhatsAppを開いてアミンとチャットする」のような自然言語コマンドを使用して、Androidデバイスの操作を自動化します。プログラミングの知識は不要で、開発者、自動化愛好者、日常のユーザーに適しています。

デバイスにPortalをインストールして自動化を開始する3ステップ

Mobilerunを使用する最も簡単な方法は、デバイス上のPortalインストールプロセスに従うことです。このPortalは実際にはローカルサーバーで、音声またはテキストコマンドを受信し、スマートフォンのアクションに変換します。ユーザーは関連するAPKをダウンロードするか、ADBを介してインストールするだけで、数分以内に設定が完了します。Taskerのような従来の自動化ツールと比較して、Mobilerunのインストールはルート権限を必要とせず、入門のハードルが低くなっています。

インストールが完了すると、Portalはローカルで実行され、LLMからのコマンドを監視します。この設計により、低遅延の応答が保証され、ネットワークがない環境でも基本的に動作します。移動中のユーザーにとって、これは特に便利で、クラウド依存によるプライバシーリスクを回避できます。

GitHub - droidrun/mobilerun: Automate your mobile devices with natural language commands - an LLM agnostic mobile Agent  · GitHub インターフェースのスクリーンショット
GitHub – droidrun/mobilerun: 自然言語コマンドでモバイルデバイスを自動化する – LLMに依存しないモバイルエージェント · GitHub公式ページのスクリーンショット

LLMプロバイダーを設定し、複数の大規模言語モデルをサポート

Mobilerunの最大の売りは、LLMに依存しないことです。特定の大規模言語モデルに完全に依存していません。OpenAI GPT、Anthropic Claude、またはローカルのOllamaなどのプロバイダーを簡単に切り替えることができ、設定ファイルにAPIキーとエンドポイント情報を入力するだけです。この柔軟な設計により、ユーザーは予算やプライバシーのニーズに応じて適切なプランを選択できます。たとえば、無料のローカルモデルを使用してデータ漏洩を回避することができます。

設定プロセスは直感的で、環境変数やJSONファイルの管理をサポートしています。接続が成功すると、システムは自動的に検証し、設定を保存します。単一のLLMにバインドされた競合製品と比較して、Mobilerunは拡張性において優れており、将来新しいモデルがリリースされる際には、設定を更新するだけで済みます。

コマンドを入力すると即座にスマートフォンのタスクと安全チェックを実行

すべてが整ったら、ユーザーは端末やアプリに自然言語を入力するだけです。たとえば、「メールをチェックして最新のメッセージに返信する」と入力すると、Mobilerunはタスクを分解し、クリックや入力をシミュレートします。このエージェントは、ナビゲーションアプリ、フォームの入力、スクリーンショットの共有など、複雑な複数ステップの操作をサポートしており、手動よりもはるかに効率的です。

安全面では、システムには悪意のあるコマンドの実行を防ぐための事前チェックメカニズムが組み込まれています。たとえば、ファイルの削除などの敏感なアクションを検証します。GitHubページには、詳細なリポジトリのドキュメントナビゲーション、コミット履歴、トピックタグも提供されており、開発者が機能を貢献したりカスタマイズしたりするのに便利です。QAテスターにとって、このツールは特に繰り返しのテストプロセスを自動化するのに適しており、大幅な時間を節約できます。

オープンソースのリソースが豊富で、カスタム拡張開発をサポート

GitHubプロジェクトとして、Mobilerunはスクリプト、依存関係リスト、使用例を含む完全なフォルダとファイル構造を提供します。ユーザーはリポジトリをフォークして、特定のニーズに合わせてコードを変更できます。たとえば、カスタムUIの自動化を統合することができます。最新のコミット記録は、チームが積極的にメンテナンスを行っていることを示しており、互換性が確保されています。

プロジェクトは、保存された検索やナビゲーションメニューもサポートしており、関連リソースの検索を加速します。初心者がチュートリアルに従う場合でも、開発者がコードを深く掘り下げる場合でも、このエコシステムは十分なサポートを提供し、自動化をシンプルなコマンドから専門的なアプリケーションに進化させることができます。

製品名:DroidRun Mobilerun
公式ウェブサイト:https://github.com/droidrun/droidrun

Stein Yep
Stein Yep