Sven Behnke
収録論文 151本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- サンプル・シミュレート・セレクト：学習なしで実現するヒューマノイドの物理シミュレーション・イン・ザ・ループ型テキストtoモーションテキストtoモーション2026/9/22
学習済みテキストtoモーション生成モデルから複数候補を生成し、物理シミュレータ上で追従制御ポリシーにより実行して最良のものを選ぶことで、追加学習なしにヒューマノイドの動作生成精度を向上させる手法を提案。
- 実環境で働くロボットのベンチマーク：実験室から実運用へベンチマーク2026/9/22
公共環境で使うロボットの評価枠組みを提案し、清掃や図書館案内の3事例で3年間の実地ベンチマークを実施して、実運用に必要な要件を明らかにした。
- SlotDiT: 物体中心表現を用いた拡散トランスフォーマーVLA2026/9/15
シーンを物体ごとのスロットに分解し、その潜在空間でテキスト条件付き拡散トランスフォーマーを動作させることで、動画生成品質を保ちつつロボットタスクの成功率を向上させた研究。
- コンタクトフロー：異なる身体構造間で転移可能なビデオ行動条件付け世界モデル2026/7/1
操作における接触点の3D軌跡を行動表現として用いることで、人間のデモと異なるロボット間で共有可能な世界モデルを構築し、物理的に妥当な操作結果を予測する手法を提案した。
- Dream-MPC: 潜在想像を用いた勾配ベースのモデル予測制御モデルベースRL/MPC2026/5/1
学習した世界モデルとポリシーを組み合わせ、勾配上昇法で少数の候補軌道を最適化する新しいMPC手法を提案し、24の連続制御タスクで性能を向上させた。
- Slot-MPC: オブジェクト中心表現を用いた目標条件付きモデル予測制御モデル予測制御2026/5/1
オブジェクト中心の世界モデルを学習し、勾配ベースのMPCで行動計画を行うことで、ロボット操作タスクの性能と計画効率を向上させた。
- MonoEM-GS: 単眼期待値最大化ガウススプラッティングSLAMSLAM2026/4/1
フィードフォワード幾何基盤モデルから得られるノイズの多い単眼幾何予測を、期待値最大化とICP位置合わせを用いてグローバルなガウススプラッティング表現に統合し、頑健な単眼SLAMマッピングを実現する。
- ラベル伝播による半教師あり物体セグメンテーションを用いた効率的な画像アノテーション物体認識/セグメンテーション2026/4/1
家庭用ロボットの物体認識のため、少数のアノテーションで多数の画像を自動ラベリングする半教師あり手法を提案。セグメント提案とホップフィールドネットワークによるラベル伝播で、RoboCup@Home環境でデータの60%を自動ラベル付け可能。
- OMCL: オープン語彙モンテカルロ位置推定位置推定2025/12/1
視覚言語特徴をモンテカルロ位置推定に組み込み、異なるセンサで得た地図と観測でも頑健に自己位置推定できる手法を提案。自然言語による初期化も可能。
- LIO-MARS: 非一様連続時間軌道によるリアルタイムLiDAR慣性オドメトリSLAM/オドメトリ2025/11/1
連続時間Bスプライン軌道と非一様ノット配置を用いてLiDARとIMUを統合し、リアルタイムで高精度な自己位置推定を実現した研究。
- 民生用ドローンのための知覚考慮型探索群制御2025/11/1
DJI Mini 3 Proなどの民生用UAVで自律的な複数機探索を可能にするため、視点ペア選択と軌道計画、半分散通信方式を提案し、シミュレーションで有効性を示した。
- EL3DD: 言語条件付きマルチタスク操作のための拡張潜在3D拡散モデルマニピュレーション2025/11/1
視覚と言語入力を統合した拡散モデルベースの方策でロボットの操作軌道を生成し、CALVINデータセットで長期的タスク成功率を向上させた研究。
- ターンテーブル梯子運用における自動消火支援システムのための空中支援空中支援/消火2025/11/1
UAVが熱源を検出・位置推定し、ターンテーブル梯子の放水銃を自動制御して消火を支援するシステムを提案し、予備試験で有効性を確認した。
- TIAGoロボットのIsaac Sim統合：メカナム駆動モデリングと学習ベースS字速度プロファイルsim2real2025/10/1
移動マニピュレータTIAGo++ OmniをIsaac Simに統合し、メカナム駆動の物理モデルと軽量速度モデルを構築、実機のS字速度プロファイルを学習で再現した。
- GNSS拒否環境での捜索救助に向けた複数小型低コストUAVの遠隔自律制御群制御2025/10/1
Androidアプリで制御する民生用DJIドローンを用い、GNSSが使えない環境でも複数機を1人のオペレータが自律飛行・監視できるシステムを提案した。
- 強化学習による粒状媒体のインタラクティブな成形マニピュレーション2025/9/1
強化学習を用いてロボットアームで砂などの粒状媒体を目標形状に成形するフレームワークを提案し、実世界展開も実現した。
- AGILOped: 研究向けの俊敏なオープンソースヒューマノイドロボットヒューマノイド2025/9/1
市販のバックドライバブルアクチュエータと標準電子部品を使い、高さ110cm・重量14.5kgで1人でも運用可能なオープンソースヒューマノイドロボットを開発し、歩行・ジャンプ・衝撃緩和・起き上がりの実験で有効性を示した。
- OC-SOP: 物体中心の認識による視覚ベース3Dセマンティック占有予測の強化3Dセマンティック占有予測2025/6/1
検出ブランチから得た物体中心の手がかりをセマンティック占有予測に統合し、特に動的な前景物体の予測精度を向上させるフレームワークを提案。
- SWA-SOP: 自動運転における意味的占有予測のための空間認識ウィンドウアテンション意味的占有予測2025/6/1
LiDARやカメラで遮蔽・疎な領域の占有と意味を推定する意味的占有予測において、局所的な空間文脈をアテンションに組み込む空間認識ウィンドウアテンション(SWA)を提案し、LiDARベースで最先端性能を達成、カメラベースでも一貫した改善を示した。
- プロンプト応答型物体把持のための記憶拡張型生徒-教師学習マニピュレーション2025/5/1
プロンプト可能な基盤モデルと強化学習を組み合わせ、記憶拡張型の生徒-教師学習で雑然とした環境から指示された物体を巧みに把持する手法を提案した。
- 視覚言語モデルを活用したオープンボキャブラリ物体検出・追跡VLA2025/3/1
VLMの記述力とオープンボキャブラリ検出・動画セグメンテーションを組み合わせ、動的環境で未知物体をリアルタイムにセグメンテーション・追跡する手法を提案。
- LIAM: 言語指示・画像・行動・セマンティックマップのためのマルチモーダルTransformerVLA2025/3/1
家庭内サービスロボット向けに、言語指示・画像・行動履歴・セマンティックマップを入力として行動列を予測するエンドツーエンドモデルを提案し、ALFREDベンチマークで有効性を示した。
- PlaySlot: 制御可能な物体中心動画予測と計画のための逆潜在ダイナミクス学習物体中心動画予測2025/2/1
ラベルなし動画から物体表現と潜在行動を推論し、将来の物体状態や動画フレームを予測する物体中心モデルを提案。潜在行動を条件に多様な未来を生成でき、ロボット行動学習にも活用可能。
- 意識を持つサービスロボットに向けて認知ロボティクス2025/1/1
人間の認知アーキテクチャ（システム1・2、メタ認知、作業記憶など）を取り入れ、非定常環境や未知の状況に適応できる次世代サービスロボットの設計指針を論じた論文。
- LiLMaps: 学習可能な暗黙的言語マップVLA2025/1/1
視覚言語特徴を統合して増分暗黙的マップを強化し、新規物体出現時のデコーダ最適化と視点間の予測不一致を解決する手法を提案。
- LiDARと地理参照モデルの位置合わせによるグローバルに一貫したアロセントリックマップSLAM2024/12/1
GNSSの誤差が大きい都市部で、LiDARスキャンをCityGMLやDEMと位置合わせし、連続時間スプライン姿勢グラフ最適化でグローバルに一貫した地理参照マップを生成する手法を提案。
- ヒューマノイドロボットのサッカーキックにおける最大力積アプローチヒューマノイド2024/12/1
一定加速度の運動方程式に基づきキックを4段階に分け、ZMP歩行に統合可能な制約考慮型のパラメトリックキック生成法を提案し、シミュレーションと実機NimbRo-OP2Xで検証した。
- RoboCup@Home 2024 OPL優勝チームNimbRo：基盤モデルを活用した知覚と計画を行う人型サービスロボットサービスロボット2024/12/1
RoboCup@Home 2024 OPLで優勝したNimbRoチームの手法を報告し、オープンボキャブラリな物体セグメンテーション・把持とLLMによる言語理解・タスク計画で高汎用性を示した。
- マルチスケール神経特徴場を用いた階層的姿勢推定とマッピングSLAM2024/12/1
大規模なニューラル暗黙的SLAMにおいて、未知のセンサ姿勢と逐次計測に対処するため、確率的視点から階層的な姿勢推定と対応するネットワーク構造を提案し、LiDARスキャンで高精度な姿勢推定と安定したマッピングを実現した。
- 半球視野LiDARセンサのための人物セグメンテーションと行動分類認識/セグメンテーション2024/11/1
半球視野LiDARの3Dスキャンを用いて、MaskDINOベースの手法で人物の検出・セグメンテーションと歩行・手振り・着席の行動分類を行う。
- 移動サービスロボットによる安全なナビゲーションと効率的な協調マニピュレーションのための人間行動予測移動マニピュレーション2024/10/1
スマートエッジセンサネットワークで人間の行動を予測し、移動マニピュレーションロボットの安全なナビゲーションと家具運搬の協調作業を実現する統合システムを提案した。
- SOLD: スロット物体中心潜在ダイナミクスモデルによるピクセルからの関係操作学習マニピュレーション2024/10/1
ピクセル入力から物体中心の潜在ダイナミクスモデルを教師なしで学習し、モデルベース強化学習の性能と解釈性を高める手法を提案した。
- サービスロボティクスにおけるタスク計画・実行のためのプロンプトエンジニアリング手法の比較タスク計画2024/10/1
サービスロボットの高レベルタスク計画と実行において、複数のプロンプトエンジニアリング手法とその組み合わせを比較し、タスク達成精度と実行時間を評価した。
- DiffSSC: 拡散確率モデルによるLiDARセマンティックシーン補完3D知覚/シーン補完2024/9/1
LiDAR点群のノイズ除去拡散モデルを用いて、遮蔽領域の形状とセマンティクスを同時に予測するセマンティックシーン補完手法を提案し、自動運転データセットで最先端性能を達成した。
- テレプレゼンスとVRのためのハンズフリー移動制御を可能にする自己中心型3自由度足元コントローラテレプレゼンス/VR2024/8/1
足の傾きと回転で移動を操作し、バネで自動的に中央に戻る3自由度の足元コントローラを開発。HTC Viveトラッカーで向きを移動コマンドに変換し、ANA Avatar XPRIZEで実証した。
- 公共空間の清掃ロボット：ステークホルダーインタビューに基づくサーベイとベンチマーク提案サービスロボット2024/7/1
公共空間の清掃ロボットに関する7件のステークホルダーインタビューを分析し、ニーズと限界を整理した上で、実世界応用に向けたベンチマークシナリオを提案した。
- MCDS-VSS: 自己教師あり幾何・運動フィルタリングによる移動カメラ動的シーン動画セマンティックセグメンテーションセマンティックセグメンテーション2024/5/1
移動カメラの動画セマンティックセグメンテーションにおいて、シーン幾何・カメラ自己運動・物体運動を自己教師ありで推定し、それらをフィルタリングに用いて時間的一貫性を向上させる手法を提案した。
- SLCF-Net: 3DリカレントU-Netを用いたLiDAR-カメラ逐次融合による意味的シーン補完意味的シーン補完2024/3/1
LiDARとカメラのデータを逐次融合し、3DリカレントU-Netで時系列的に欠損した形状と意味を補完する手法を提案。SemanticKITTIで高精度と時間的一貫性を実現。
- HortiBot: ピーマン収穫のための適応型マルチアームロボットシステムマニピュレーション2024/3/1
温室でのピーマンの選択収穫を自動化するため、2本のマニピュレーションアームと1本の知覚用アームを備えた3本腕ロボットシステムを開発し、能動知覚とコンプライアント操作により高い成功率を達成した。
- あらゆる物体を把持する：教師拡張方策勾配学習とインスタンスセグメンテーションの融合マニピュレーション2024/3/1
強化学習と方策蒸留を組み合わせた二段階学習フレームワークTAPGを提案し、Segment Anything Modelによる物体セグメンテーションを用いて、シミュレーションから実機へのゼロショット転移で散らかった環境の多様な物体を把持できるようにした。
- MOTPose: 注意機構に基づく時間融合を用いた動画列中の複数物体6D姿勢推定6D姿勢推定2024/3/1
動画の複数フレームから注意機構で時間情報を統合し、物体検出と6D姿勢推定を同時に行う手法を提案。散らかったビンピッキング環境での精度を向上。
- Analysis and Perspectives on the ANA Avatar XPRIZE Competition2024/1/1
- RoboCup 2023 Humanoid AdultSize Winner NimbRo: NimbRoNet3 Visual Perception and Responsive Gait with Waveform In-walk Kicks2024/1/1
- Attention-Based VR Facial Animation with Visual Mouth Camera Guidance for Immersive Telepresence Avatars2023/12/1
- Centroidal State Estimation and Control for Hardware-constrained Humanoid Robots2023/12/1
- Field Robot for High-throughput and High-resolution 3D Plant Phenotyping2023/10/1
- The $10 Million ANA Avatar XPRIZE Competition Advanced Immersive Telepresence Systems2023/8/1
- NimbRo wins ANA Avatar XPRIZE Immersive Telepresence Competition: Human-Centric Evaluation and Lessons Learned2023/8/1
- Dexterous Pre-grasp Manipulation for Human-like Functional Categorical Grasping: Deep Reinforcement Learning and Grasp Representations2023/7/1
- Learning Generalizable Tool Use with Non-rigid Grasp-pose Registration2023/7/1
- Quadrupedal Footstep Planning using Learned Motion Models of a Black-Box Controller2023/7/1
- VR Facial Animation for Immersive Telepresence Avatars2023/4/1
- External Camera-based Mobile Robot Pose Estimation for Collaborative Perception with Smart Edge Sensors2023/3/1
- Robust Immersive Telepresence and Mobile Telemanipulation: NimbRo wins ANA Avatar XPRIZE Finals2023/3/1
- Audio-based Roughness Sensing and Tactile Feedback for Haptic Perception in Telepresence2023/3/1
- RoboCup 2022 AdultSize Winner NimbRo: Upgraded Perception, Capture Steps Gait and Phase-based In-walk Kicks2023/2/1
- Bimanual Telemanipulation with Force and Haptic Feedback through an Anthropomorphic Avatar System2023/1/1
- Rendering the Directional TSDF for Tracking and Multi-Sensor Registration with Point-To-Plane Scale ICP2023/1/1
- Lessons from Robot-Assisted Disaster Response Deployments by the German Rescue Robotics Center Task Force2022/12/1
- Accelerating Interactive Human-like Manipulation Learning with GPU-based Simulation and High-quality Demonstrations2022/12/1
- State Estimation for Hybrid Locomotion of Driving-Stepping Quadrupeds2022/11/1
- Efficient Representations of Object Geometry for Reinforcement Learning of Interactive Grasping Policies2022/11/1
- Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors2022/11/1
- Learning Implicit Probability Distribution Functions for Symmetric Orientation Estimation from RGB Images Without Pose Labels2022/11/1
- Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles with Label Propagation for Cross-Domain Adaptation2022/10/1
- Online Marker-free Extrinsic Camera Calibration using Person Keypoint Detections2022/9/1
- Predictive Angular Potential Field-based Obstacle Avoidance for Dynamic UAV Flights2022/8/1
- Direct Centroidal Control for Balanced Humanoid Locomotion2022/8/1
- Predicting Physical Object Properties from Video2022/6/1
- 3D Semantic Scene Perception using Distributed Smart Edge Sensors2022/5/1
- Two-step Planning of Dynamic UAV Trajectories using Iterative $\delta$-Spaces2022/5/1
- MSPred: Video Prediction at Multiple Spatio-Temporal Scales with Hierarchical Recurrent Networks2022/3/1
- Real-Robot Deep Reinforcement Learning: Improving Trajectory Tracking of Flexible-Joint Manipulator with Reference Correction2022/3/1
- Target Chase, Wall Building, and Fire Fighting: Autonomous UAVs of Team NimbRo at MBZIRC 20202022/1/1
- Flexible-Joint Manipulator Trajectory Tracking with Learned Two-Stage Model employing One-Step Future Prediction2021/12/1
- Semantic Interaction in Augmented Reality Environments for Microsoft HoloLens2021/12/1
- Low-Latency Immersive 6D Televisualization with Spherical Rendering2021/9/1
- Bimanual Telemanipulation with Force and Haptic Feedback and Predictive Limit Avoidance2021/9/1
- NimbRo Avatar: Interactive Immersive Telepresence with Force-Feedback Telemanipulation2021/9/1
- Mapless Humanoid Navigation Using Learned Latent Dynamics2021/8/1
- Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles2021/8/1
- Rendering and Tracking the Directional TSDF: Modeling Surface Orientation for Coherent Maps2021/8/1
- SynPick: A Dataset for Dynamic Bin Picking Scene Understanding2021/7/1
- Real-time Pose Estimation from Images for Multiple Humanoid Robots2021/7/1
- 6D Object Pose Estimation using Keypoints and Part Affinity Fields2021/7/1
- Autonomous Fire Fighting with a UAV-UGV Team at MBZIRC 20202021/6/1
- Real-Time Multi-View 3D Human Pose Estimation using Semantic Feedback to Smart Edge Sensors2021/6/1
- DeepWalk: Omnidirectional Bipedal Gait by Deep Reinforcement Learning2021/6/1
- Real-time Multi-Adaptive-Resolution-Surfel 6D LiDAR Odometry using Continuous-time Trajectory Optimization2021/5/1
- Team NimbRo's UGV Solution for Autonomous Wall Building and Fire Fighting at MBZIRC 20202021/5/1
- Bipedal Humanoid Hardware Design: A Technology Review2021/3/1
- Autonomous Flight in Unknown GNSS-denied Environments for Disaster Examination2021/3/1
- Search-based Planning of Dynamic MAV Trajectories Using Local Multiresolution State Lattices2021/3/1
- Autonomous Wall Building with a UGV-UAV Team at MBZIRC 20202020/11/1
- Trajectory Generation with Fast Lidar-based 3D Collision Avoidance for Agile MAVs2020/11/1
- Capture Steps: Robust Walking for Humanoid Robots2020/11/1
- NimbRo-OP2X: Affordable Adult-sized 3D-printed Open-Source Humanoid Robot for Research2020/10/1
- Visually Guided Balloon Popping with an Autonomous MAV at MBZIRC 20202020/10/1
- Category-Level 3D Non-Rigid Registration from Single-View RGB Images2020/8/1
- Fast Whole-Body Motion Control of Humanoid Robots with Inertia Constraints2020/7/1
- RoboCup 2019 AdultSize Winner NimbRo: Deep Learning Perception, In-Walk Kick, Push Recovery, and Team Play Capabilities2019/12/1
- Autonomous Bimanual Functional Regrasping of Novel Object Class Instances2019/10/1
- NimbRo Robots Winning RoboCup 2018 Humanoid AdultSize Soccer Competitions2019/9/1
- Flexible Disaster Response of Tomorrow -- Final Presentation and Evaluation of the CENTAURO System2019/9/1
- A VR System for Immersive Teleoperation and Live Exploration with a Mobile Robot2019/8/1
- Remote Mobile Manipulation with the Centauro Robot: Full-body Telepresence and Autonomous Operator Assistance2019/8/1
- Fast Time-optimal Avoidance of Moving Obstacles for High-Speed MAV Flight2019/8/1
- Semi-Supervised Semantic Mapping through Label Propagation with Semantic Texture Meshes2019/6/1
- Value Iteration Networks on Multiple Levels of Abstraction2019/5/1
- SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences2019/4/1
- Detection and Tracking of Small Objects in Sparse 3D Laser Range Data2019/3/1
- Towards Learning Abstract Representations for Locomotion Planning in High-dimensional State Spaces2019/3/1
- Search-based 3D Planning and Trajectory Optimization for Safe Micro Aerial Vehicle Flight Under Sensor Visibility Constraints2019/3/1
- Team NimbRo at MBZIRC 2017: Fast Landing on a Moving Target and Treasure Hunting with a Team of MAVs2018/11/1
- Autonomous Dual-Arm Manipulation of Familiar Objects2018/11/1
- Feature-based visual odometry prior for real-time semi-dense stereo SLAM2018/10/1
- Online Balanced Motion Generation for Humanoid Robots2018/10/1
- NimbRo-OP2X: Adult-sized Open-source 3D Printed Humanoid Robot2018/10/1
- Learning Postural Synergies for Categorical Grasping through Shape Space Registration2018/10/1
- Online Visual Robot Tracking and Identification using Deep LSTM Networks2018/10/1
- Tilt Rotations and the Tilt Phase Space2018/10/1
- Efficient Continuous-Time SLAM for 3D Lidar-Based Online Mapping2018/10/1
- Bipedal Walking with Corrective Actions in the Tilt Phase Space2018/10/1
- Fast Object Learning and Dual-arm Coordination for Cluttered Stowing, Picking, and Packing2018/10/1
- Team NimbRo at MBZIRC 2017: Autonomous Valve Stem Turning using a Wrench2018/10/1
- Real-Time Visual Tracking and Identification for a Team of Homogeneous Humanoid Robots2018/10/1
- First International HARTING Open Source Prize Winner: The igus Humanoid Open Platform2018/10/1
- NimbRo Rescue: Solving Disaster-Response Tasks through Mobile Manipulation Robot Momaro2018/10/1
- RoboCup 2016 Humanoid TeenSize Winner NimbRo: Robust Visual Perception and Soccer Behaviors2018/9/1
- NimbRo-OP2: Grown-up 3D Printed Open Humanoid Platform for Research2018/9/1
- Fused Angles and the Deficiencies of Euler Angles2018/9/1
- Robust Sensor Fusion for Robot Attitude Estimation2018/9/1
- Fused Angles: A Representation of Body Orientation for Balance2018/9/1
- Anytime Hybrid Driving-Stepping Locomotion Planning2018/9/1
- Grown-up NimbRo Robots Winning RoboCup 2017 Humanoid AdultSize Soccer Competitions2018/9/1
- Fast Autonomous Flight in Warehouses for Inventory Applications2018/9/1
- Transferring Grasping Skills to Novel Instances by Latent Space Non-Rigid Registration2018/9/1
- KittingBot: A Mobile Manipulation Robot for Collaborative Kitting in Automotive Logistics2018/9/1
- Advanced Soccer Skills and Team Play of RoboCup 2017 TeenSize Winner NimbRo2018/9/1
- Child-sized 3D Printed igus Humanoid Open Platform2018/9/1
- Supervised Autonomous Locomotion and Manipulation for Disaster Response with a Centaur-like Robot2018/9/1
- A ROS-based Software Framework for the NimbRo-OP Humanoid Open Platform2018/9/1
- Planning Hybrid Driving-Stepping Locomotion on Multiple Levels of Abstraction2018/9/1
- Combining Simulations and Real-robot Experiments for Bayesian Optimization of Bipedal Gait Stabilization2018/9/1
- Omnidirectional Bipedal Walking with Direct Fused Angle Feedback Mechanisms2018/9/1
- Transferring Category-based Functional Grasping Skills by Latent Space Non-Rigid Registration2018/9/1
- Hierarchical and State-based Architectures for Robot Behavior Planning and Control2018/9/1
- Learning to Improve Capture Steps for Disturbance Rejection in Humanoid Soccer2018/9/1
- Humanoid TeenSize Open Platform NimbRo-OP2018/9/1
- A Monocular Vision System for Playing Soccer in Low Color Information Environments2018/9/1
- The igus Humanoid Open Platform: A Child-sized 3D Printed Open-Source Robot for Research2018/9/1