オープンソースプロジェクト phone-harness（作者 ShawnPana）が最近 GitHub に登場し、AI エージェントがユーザー自身の本物の iPhone を直接操作できることを特徴としています。脱獄も Xcode のインストールも必要なく、WebDriverAgent に依存することもありません。このプロジェクトはオンラインに登場してからわずか数日で千以上のスターを獲得し、MIT ライセンスで公開されています。
macOS の「iPhone ミラーリング」を橋渡しに
phone-harness の原理は、macOS Sequoia に内蔵された「iPhone ミラーリング」機能を利用しています。Mac が iPhone の画面をウィンドウに変換し、エージェントが screencapture でスクリーンショットを取得し、Apple Vision framework を使用して文字認識を行い、画面上の各文字の座標を特定します。操作は CGEvents を使用して HID レベルで実際のクリックやジェスチャーを模倣します。言い換えれば、Mac を起動し、iPhone ミラーリングウィンドウを接続しておく必要があり、デバイスから独立した、いつでもどこでも接続できるクラウドサービスではありません。初回使用時には、Mac のシステム設定で手動で画面録画とアクセシビリティの権限を承認する必要があります。
クラウドソリューション Airtap との違い
市場にはクラウドベースの同様の製品も存在します。例えば Airtap は、クラウド上で Android デバイスを提供し、エージェントが操作できるようにしています。ユーザーは iMessage、SMS、または Telegram を通じてテキストで指示を出します（例：航空券の予約）。注意が必要なのは、Airtap の公式サイトでユーザーが各アプリに画面上でログインする必要があると明記されており、エージェントは「画面を見ているがパスワードを読み取ることはできない」とされているため、最初からすべてのアプリにログインしているわけではありません。また、公式サイトには料金情報も公開されていません。両者のアプローチは異なります：phone-harness はユーザー自身の実際の iPhone を操作し、ローカルで処理します。一方、Airtap はクラウド上に常駐する Android デバイスであり、利点は自分の Mac を常に起動しておく必要がないことです。どちらを選ぶかは、ユーザーが自分の本物のスマートフォンを操作したいのか、クラウドデバイスを借りたいのかによります。