ハーバード大学が開発したモバイルアプリケーションMobilioは、視覚障害者や低視力者が屋外での歩行速度を日常のナビゲーション設定より約13%向上させ、屋内での障害物衝突回数も約41%減少させることができます。このアプリケーションは一般的なスマートフォン上で完全に動作し、追加のハードウェアは不要で、ユーザーのポケットにあるデバイスでサポートされます。
Mobilioはハーバード大学のJohn A. Paulson工学および応用科学学院の研究者によって開発され、機械学習、センサー融合技術、パーソナライズされた音声提示を組み合わせて、逐次ナビゲーション機能を提供します。研究を主導した大学院生のRaymond Liuと生物工学の助教授Patrick Sladeが共同で関連作業を実施しました。
ユーザーのニーズに基づく開発設計
研究チームは、プログラムコードを書く前に、100人以上の視覚障害者や低視力者にアンケートを実施し、彼らのナビゲーションニーズを理解しました。調査結果は、3つの機能が繰り返し言及されたことを示しています：信頼できる逐次ガイダンス、歩行者道や小道での継続的な指示、リアルタイムの障害物検出です。研究者たちは、既存のツールがこれら3つの機能を同時にカバーすることが難しいと指摘しています。
白杖や盲導犬は周囲の環境に対処するのに役立ちますが、ルートナビゲーションを提供することはできません。一般的なGPSナビゲーションアプリは逐次指示を提供しますが、視覚障害者や低視力者が安全に通行するための精度は不足しています。Mobilioはこのギャップを埋めることを目的としています。
歩行者視点のセンサーとコンピュータビジョンモデル
Mobilioはスマートフォンのカメラ、GPS、動作センサー、LiDARセンサー（デバイスに装備されている場合）からデータを取得します。そのコアは、歩行者視点でリアルタイムのカメラ映像をスキャンし、歩行可能なルートを識別するカスタムコンピュータビジョンモデルです。Sladeは、このシステムの動作方法を小型自動運転車のナビゲーションソリューションに類似していると説明し、スマートフォンのセンサー、GPSデータ、ユーザーの実際の動作を基に構築されています。
Liuは、現在公開されているほとんどのストリートビューデータセットが自動車からのものであり、歩行者の道や横断歩道を誤って分類する標準的なコンピュータビジョンモデルの問題を引き起こしていると指摘しています。この問題を修正するために、研究チームは歩行者視点の画像を使用してセマンティックセグメンテーションモデルを訓練し、すべてのアルゴリズムが一般的なスマートフォンハードウェア上でリアルタイムに動作できるようにし、専門的な計算機器に依存しないようにしています。
ユーザーの歩行に適応する音声提示メカニズム
Mobilioは音声指示に依存するだけでなく、ユーザーが歩行中に方向性のビープ音を継続的に発信し、左または右に方向を調整するよう指示します。システムは「人間がループにいる」(human-in-the-loop)最適化技術を利用して、各ユーザーの提示に対する従う精度を追跡し、個々のユーザーに適応するために音のトーンとリズムパターンを自動的に調整します。
研究者たちはマサチューセッツ州ニュートンのCarroll Center for the Blindで14名のボランティアを募集してテストを行いました。各参加者は屋外ルートと屋内障害物ルートを完了する必要があり、最初に白杖を使ってGoogle Mapsナビゲーションでテストを行い、その後白杖を使ってMobilioで再テストを行いました。
テスト結果と今後の発展方向
“`
速度や衝突率の改善に加えて、Mobilioはユーザーが目的地に到達する際の全体的な信頼性が、実際のナビゲーターと同等であることも示しています。Liu氏は、このプロジェクトが特別な意味を持つと述べており、彼の兄が視覚障害者であることが研究目標の形成に寄与し、真の独立したナビゲーションに焦点を当てることを助けたと語っています。Liu氏は、視覚障害の状況は人それぞれ異なるため、開発プロセスにおいて実際のユーザーとのテストを継続することが非常に重要であると強調しました。
研究チームは次のステップとして、ボストン周辺のより多くの実環境でMobilioをテストする計画を立てており、Harvard Grid Acceleratorの支援を受けて、より広範な公開を推進することに努めています。関連する研究結果は『Nature Biomedical Engineering』誌に掲載されています。
項目 規格 アプリ名 Mobilio 開発機関 ハーバード大学ジョン・A・ポールソン工学・応用科学大学院 動作プラットフォーム 一般的なスマートフォン 追加ハードウェア要件 なし コア技術 機械学習、センサー融合、パーソナライズされた音声提示 データソース カメラ、GPS、動作センサー、LiDARセンサー（ある場合） コンピュータビジョンモデル 歩行者視点のセマンティックセグメンテーションモデル ナビゲーション提示方法 持続的な方向性ビープ音、及び「人がループ内」によるパーソナライズ調整 テスト地点 マサチューセッツ州ニュートンの盲人センター テスト人数 14名の視覚障害または低視力のボランティア 屋外歩行速度向上 日常のナビゲーション設定より約13%速い 屋内障害物衝突減少 約41%