下の画像を比べてください

汎用データセットによる認識結果

VIDVIPデータセットによる認識結果

VIDVIPプロジェクトで開発したデータセットは国内における歩道移動時における歩行者目線の画像データから物体検出のアノテーションを行いました。横断歩道(crosswalk)、ガードレール(guadrail)、歩行者用信号が青であることを認識している様子がわかります。視覚障害を持つユーザにとって安全な歩道移動時に必要な情報は汎用データセットではカバーできないため、本研究では屋外移動時における視覚障害支援に必要なクラスラベルからなるデータセット開発を行いました。

学習済みモデルをダウンロードする

現在物体検出器による学習済みモデルとして、YOLO形式(weights)、COREML形式(mlmodels)を提供しています。なお、学習済みモデルはVIDVIPプロジェクトチームがアノテーションした独自データセットのみを基に作成されています.より精度の高いモデルや,認識ラベルの拡張などはプロジェクト代表者に別途ご相談ください.

クリエイティブ・コモンズ・ライセンス
この 学習済みモデルは クリエイティブ・コモンズ 表示 - 非営利 - 改変禁止 4.0 国際 ライセンスの下に提供されています。

.weights形式 (trained by darknet)

.mlmodels形式(trained by CreateML)

データセット開発に参加する

iOSアプリケーションをダウンロードして、あなたの通勤,通学,お散歩時における目線から撮影した画像を送ってください。わたしたちはそれらデータを利用し、さらに学習モデルの品質向上を行います。 アップロードされたすべてのデータはニューラルネットの学習に利用されるのみであり,一切公開されることはありません.アップロードされた画像やデータに関する個人情報の扱いについては Policies and Guidelinesを参照してください。

  • 1. アプリをインストールする

  • 2. 写真を取る

  • 3. データを送信する

プロジェクトの概要

このプロジェクトは視覚障害を持つユーザの屋外移動支援を目的としてスタートしました。盲導犬や介助者が同行するように、身の回りの障害物をリアルタイムに検出することで、単独移動時でも安全な支援を目指しています。それらの実現に向け,自動運転のようなコンピュータビジョンの為のデータセットが必要と考え,本プロジェクトでは歩道上の移動に特化した物体検出データセットの開発をはじめました.例えば点字ブロックや横断歩道、歩行者用信号の色等を高精度に認識することができます。

データセットには主に物体検出と領域分割の2種類を開発しており、現時点(2021年5月15日)では物体検出に関する学習済みモデルを提供しています。物体検出では日本国内の3万枚の画像に対して、50万のアノテーションがなされています。データセットの詳細は各VIDVIPデータセット及び学習モデルの詳細を知るにて確認ができます。

VIDVIPデータセット及び学習モデルの詳細を知る

最新のVIDVIPデータセットを利用して生成した学習モデルの精度やデータセットの質的評価に関して、mAPやデータの統計的性質からまとめています。

2021年5月16日現在、30,471枚の画像に対して、520,098箇所のインスタンス数(アノテーションされたバウンディングボックスの数)となっています。図1にはそれぞれの認識ラベルのインスタンス数、図2には各インスタンスの画像に対する面積比率を示します。VIDVIPデータセットは比較的自動運転用途のデータセットに近い性質がありますが,クラスラベルは視覚障害支援に特化した物体検出ラベルを中心にアノテーションされています.例えば図3は汎用データセットCOCOと同じ画像での認識結果を比較したものです.人や自転車の他,VIDVIDデータセットでは点字ブロックや歩行者用信号,横断歩道を認識している様子がわかります.

図1. 各インスタンス数一覧
図2. 各インスタンスの画像面積比率をboxplotにて表示したもの

誰がアノテーションしていますか?

アノテーションの品質は極めて重要です。認識ラベルの誤りが無いことはもちろん、精確なアノテーションがなければ障害物のズレが生じたり、安全性の高いガイドを提供することが困難になります。大規模データセット開発にはしばしばクラウドソーシングが活用されますが、低賃金労働によるデータセット開発ではその質の低下が近年問題視されており、例えば画像データセットとして有名なImageNetでは全体の6%にあたる2916箇所のラベル誤りが報告されています[1]。VIDVIPプロジェクトでは研究代表者である馬場哲晃研究室の中で、十分な訓練を積んだ学生がアノテーション作業を行い教員が目視チェックを一枚一枚行っています、さらには人工知能技術によるデータ整合性チェック等を合わせて行うことで高品質なデータセット開発を実現しています。

文献

本プロジェクトに関する文献は以下をご参照、引用をお願いいたします。