何が起きたか

YaakはHugging FaceのLeRobotチームと協力し、自動運転AIのための世界最大のマルチモーダルデータセット「Learning to Drive (L2D)」を発表した。L2Dはドイツ30都市の運転教習所で運行される60台の電気自動車に同一のセンサースイートを搭載し、3年間にわたって収集された。データセットには90テラバイト以上のマルチモーダルデータ(5000時間以上の運転)が含まれ、6方向のHDカメラ、車両状態(速度、方位、GPS、IMU)、連続アクション(ガス、ブレーキ、ステアリング)と離散アクション(ギア、ウインカー)、環境状態(車線数、道路タイプ、路面、制限速度)、環境条件(降水、天候、照明)が記録されている。各エピソードには自然言語指示(例:「信号が青になったら、路面電車の線路を渡って、その後ロータリーを通過してください」)と、OpenStreetMapグラフにスナップされた将来のウェイポイントが含まれる。また、運転教習官によるエキスパートポリシーと学習者によるスチューデントポリシーの2つのポリシーグループが提供される。Yaakは、データセット全体(1ペタバイト以上)をAIコミュニティに公開し、新規エピソードの検索と収集のレビューを将来のリリース(R5以降)にマージすることを呼びかけている。

Key Facts

YaakはHugging FaceのLeRobotチームと協力し、自動運転AIのための世界最大のマルチモーダルデータセット「Learning to Drive (L2D)」を発表した。[0]
L2Dはドイツ30都市の運転教習所で運行される60台の電気自動車に同一のセンサースイートを搭載し、3年間にわたって収集された。[0]
L2Dには90テラバイト以上のマルチモーダルデータ(5000時間以上の運転)が含まれる。[0]
データには6方向のHDカメラ、車両状態(速度、方位、GPS、IMU)、連続アクション(ガス、ブレーキ、ステアリング)と離散アクション(ギア、ウインカー)、環境状態(車線数、道路タイプ、路面、制限速度)、環境条件(降水、天候、照明)が含まれる。[0]
各エピソードには自然言語指示(例:「信号が青になったら、路面電車の線路を渡って、その後ロータリーを通過してください」)と、OpenStreetMapグラフにスナップされた将来のウェイポイントが含まれる。[0]
L2Dには運転教習官によるエキスパートポリシーと学習者によるスチューデントポリシーの2つのポリシーグループが含まれる。[0]
Yaakはデータセット全体(1ペタバイト以上)をAIコミュニティに公開し、新規エピソードの検索と収集のレビューを将来のリリース(R5以降)にマージすることを呼びかけている。[0]

なぜ重要か

このデータセットは、自動運転AIのためのオープンソースの大規模データセットとして世界最大とされ、エンドツーエンドのモデルトレーニングを可能にする。自然言語指示と将来のウェイポイントに基づく設計は、自動運転システムの開発に新たな可能性をもたらすと期待される。