Dzmitry Tsetserukou
収録論文 182本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Kintsugi-VLA: 失敗ロールアウトを介入的回復可能性で回復データに変換VLA2026/9/25
シミュレーションで失敗したロールアウトを、状態復元と分岐を利用して回復用の合成データに変換する枠組みを提案し、Frankaマニピュレーションで回復成功率を向上させた。
- CognitiveReality: LLMエージェントによるロボット非依存の意味的ガウスマッピングと没入型協調VRテレオペレーションVLA2026/9/25
ロボットのRGB-D映像から意味的に索引付けされたガウス-TSDFマップを生成し、VR上の操作者とツール利用型言語エージェントが共有して、音声やポインティングをロボット行動に変換するシステムを提案。2台の四足歩行ロボットで実証した。
- HapticWAM: 推論時の触覚センシングなしで想像上の触覚を世界行動モデルに蒸留触覚2026/9/20
触覚センサの情報を教師モデルで学習し、展開時には触覚入力なしで動作する生徒モデルに蒸留することで、接触の多い把持・配置タスクの成功率を向上させた研究。
- FlockDiffusion: 割当条件付き拡散モデルによるマルチドローンタスク割当と完了群制御2026/9/20
シーングラフエンコーダと拡散トランスフォーマを組み合わせ、複数ドローンのタスク割当と経路生成を高速かつ低コストで行う学習フレームワークを提案。
- ZeroTouch: 触覚教師あり視覚接触推定による接触リッチマニピュレーション触覚2026/9/18
訓練時のみ触覚を教師信号として使い、展開時は手首カメラ映像から接触変形・6軸力・把持圧縮目標を推定する枠組みを提案し、物体把持タスクで高い成功率を達成した。
- AcousticDiffusion: 意味条件付き音響誘導拡散ポリシーによる救助支援音響ナビゲーション2026/9/18
音声認識とマイクアレイの到来方向推定を統合し、拡散モデルで経路を生成する音響誘導ナビゲーション手法を提案。四足歩行ロボットに実装し、救助者への接近性能を向上させた。
- AgenticSwarm: 異種マルチUAVミッションのための意味的知覚と適応的タスク割り当て群制御2026/9/18
航空画像と言語指示からミッション表現を構築し、制約付きタスク割り当てと障害発生時の再計画を統合したマルチUAVエージェントフレームワークを提案。
- SmellDiffusion: 嗅覚シーングラフを用いた拡散モデルベース四足歩行ナビゲーション歩行2026/9/17
ガス漏れ源への四足ロボットナビゲーションのため、開語彙の嗅覚シーングラフと拡散プランナを組み合わせ、ピーク位置のずれを幾何ゲートで補正する手法を提案。
- OmniAI: 人間とドローンの対話のための表面適応型空中投影インターフェースヒューマンロボットインタラクション2026/8/1
ドローンに搭載したレーザープロジェクタで、機体画面と周囲の環境表面に適応的に投影し、LLMによるテキストや画像応答を表示する空中エージェントを提案。RGB-DセンサとRANSAC平面推定で投影面をオンライン検出し、音声とジェスチャーで操作できる。
- GeminiPainter: 知覚・認知・計画・行動の各段階からなるシーケンス型パイプラインロボットアート2026/8/1
リアルタイム顔検出、AIによるスケッチ生成、ロボット描画を統合した自律的な肖像画生成システムを提案し、ユーザー評価で高い満足度を得た。
- ORCESTRA: 複合現実におけるVLM駆動の視覚的ロボットプログラミングHRI/プログラミング2026/8/1
複合現実環境で、ユーザーがロボットのデジタルツインを配置し、軌道を教示したり、言語で指示を与えることで、視覚言語モデルが構造化された計画に変換し、ロボットをプログラミングするシステムを提案した論文。
- AgenticFocus: 人間の一人称視点ビデオからの物体保持型MR合成による器用なヒューマノイド学習模倣学習2026/7/1
人間の一人称視点ビデオから、隠れた物体の形状復元と手の動きの再構築を行い、ヒューマノイドロボットの学習用デモを生成するMR合成パイプラインを提案した。
- AnyGoal: 視覚言語ガイドによるマルチエージェント探索を用いた訓練不要の生涯ナビゲーションナビゲーション2026/6/1
VLMを探索の中心に据え、共有ベイズ価値マップでエージェントを協調させる訓練不要のマルチロボットナビゲーション手法を提案。GOAT-BenchでSOTAを達成した。
- 蒸留型視覚言語信頼性ガイド付き拡散モデルによる空中ナビゲーションナビゲーション2026/6/1
UAVの自律ナビゲーション向けに、観測の信頼性を考慮した拡散ベースの経路生成プランナーを提案。視覚言語モデルから蒸留した信頼性ヒートマップで不確実領域を検出し、ESDFコストで物理障害物と同等に扱うことで、衝突率を大幅に低減した。
- AgenticRL: 視覚条件付きUAVナビゲーションのための自己改善型エージェント強化学習強化学習/UAVナビゲーション2026/6/1
報酬設計とポリシー改善を大規模言語モデルエージェントが自動で行う、UAVナビゲーションのための強化学習フレームワークを提案した。
- 出力レベル正則化が単一GPU VLAファインチューニングにおけるシード抽選問題を解消するVLA2026/6/1
VLAモデルのファインチューニングで、ランダムシードによって成功率が大きく低下する「シード抽選」問題を発見し、出力レベルの正則化（VICReg、Dropout、学習率減衰）がこの問題を完全に解消することを示した論文。
- AgenticDiffusion: 視覚ベースUAVナビゲーションのためのエージェント型拡散経路計画ナビゲーション2026/6/1
言語指示と複数視点（前方視点と俯瞰視点）を組み合わせ、拡散モデルによる経路計画とNMPCを統合した屋内UAVナビゲーションフレームワークを提案。実環境で80%の成功率を達成。
- DIFF-IPPO: 拡散モデルに基づくオープンボキャブラリ信念マップを用いた情報経路計画経路計画2026/6/1
拡散モデルを用いて、非ガウス型の信念マップ上で情報利得を最大化する大域軌道を生成する経路計画手法を提案。シミュレーションの捜索救助シナリオで有効性を検証した。
- アクションエージェント：エージェント型ビデオ生成とフロー制約拡散の融合ナビゲーション2026/5/1
LLMによるビデオ生成とフロー制約拡散モデルを組み合わせ、複数のロボット形態でナビゲーションを実現する2段階フレームワークを提案した。
- GraspSense: 言語誘導知覚と力マップによる器用なロボットハンドの物理的根拠に基づく把持・握力計画マニピュレーション2026/4/1
物体表面の機械的特性の不均一性を考慮し、局所的な許容接触力マップを用いて把持候補を再ランク付けし、指の剛性を調整することで安全な把持を実現するパイプラインを提案した。
- 後期融合による協調軌道予測軌道予測2026/4/1
車車間通信で予測結果を共有する後期融合型の協調軌道予測フレームワークを提案し、通信負荷を抑えつつ予測精度を向上させた。
- EagleVision: 高速自動運転レースにおけるクロスドメイン知覚のためのマルチタスクベンチマーク自動運転/ベンチマーク2026/4/1
高速自動運転レース向けに、LiDARベースの3D検出と軌道予測を統合したマルチタスクベンチマークを新たに構築し、都市・シミュレータ・実レース間のドメイン転移性能を評価した。
- GenerativeMPC: VLM-RAGガイドによる仮想インピーダンスを用いた全身MPCによる双腕移動マニピュレーションマニピュレーション2026/4/1
視覚言語モデルと検索拡張生成を用いて、双腕移動マニピュレータの全身MPCの制御パラメータ（速度制限や安全マージン、仮想インピーダンス）を文脈に応じて調整する階層的フレームワークを提案した。
- GSDrive: 3Dガウススプラッティング環境によるマルチモード将来軌道探索で運転方針を強化自動運転2026/4/1
模倣学習と強化学習を組み合わせ、3Dガウススプラッティング環境で将来軌道を探索して密な報酬を生成し、エンドツーエンド自動運転のポリシーを改善するフレームワークを提案した。
- HapticVLA: 推論時触覚センシング不要のVision-Language-Actionモデルによる接触リッチマニピュレーションVLA2026/3/1
触覚をオフラインで学習し、推論時には触覚センサなしで接触を伴う器用な操作を実現するVLAモデルを提案。実世界実験で86.7%の成功率を達成。
- VersualRL: 視覚的実行フィードバックによる閉ループ言語強化学習を用いたタスクレベルロボット計画タスク計画2026/3/1
視覚言語モデルが実行結果を批評し、言語モデルが行動木を更新する閉ループ枠組みを提案し、実機ロボットの多段階タスクで有効性を示した。
- GustPilot: 風外乱に強いクアッドロータ航法のための階層型DRL-INDIフレームワーク飛行制御/外乱抑制2026/3/1
深層強化学習による速度指令生成とINDI制御による外乱抑制を組み合わせ、50gの小型ドローンで風のある環境でも高い成功率を実現した。
- DiffusionAnything: 統一ナビゲーションと把持前動作のためのエンドツーエンド・インコンテキスト拡散学習VLA/ナビゲーション/マニピュレーション2026/3/1
RGB画像のみから、メートル規模のナビゲーションとセンチメートル規模のマニピュレーションを単一モデルで計画する拡散ポリシーを提案。タスクごとに5分の自己教師ありデータで学習し、未知シーンへのゼロショット汎化を実現する。
- ImpedanceDiffusion: 拡散モデルによるUAV群ナビゲーションのための大域経路計画と生成的インピーダンス制御群制御2026/3/1
RGB画像から拡散モデルでUAV群の大域軌道を生成し、APF追従とVLM-RAGによる意味的インピーダンス制御を組み合わせて、混雑環境での安全な飛行とsim-to-real展開を実現した。
- DreamToNav: 生成ビデオ計画によるロボットの汎用ナビゲーションナビゲーション2026/3/1
生成ビデオモデルを計画エンジンとして使い、自然言語指示からロボットの動作を合成し、その映像から軌道を抽出して実機で実行するナビゲーションフレームワークを提案した。
- 適応SINDy：残差力システム同定に基づくUAV外乱抑制UAV制御2026/3/1
風などの外乱下でのUAV安定飛行のため、データ駆動のSINDyによる残差力モデリングとRLS適応制御を統合した手法を提案し、シミュレーションと実機で検証した。
- 移動マニピュレータ向け低コスト遠隔操作拡張遠隔操作2026/3/1
スマートフォン、リーダーアーム、フットペダルを用いた低コストな移動マニピュレータの遠隔操作フレームワークを提案し、ユーザー実験で有効性を検証した。
- H-RINS: スムージングとマッピングによる階層的密結合レーダー慣性状態推定状態推定2026/3/1
レーダーとIMUを階層的な因子グラフで密結合し、高速なオドメトリ推定とループ閉じ込めによるバイアス補正を組み合わせてドリフトを抑える手法を提案した。
- 視覚ベース自律飛行のためのF'とROS2ハイブリッドアーキテクチャ：設計と実験的検証自律飛行2026/2/1
NASAのF'フライトソフトウェアとROS2をProtocol Buffersで連携させ、屋内クアッドコプターの視覚ナビゲーション飛行実験でリアルタイム性能と統合の堅牢性を検証した。
- Glove2UAV: 直感的なUAV操作のためのウェアラブルIMUグローブウェアラブル操作インターフェース2026/1/1
手と指のジェスチャーでUAVを直感的に操作するIMUグローブを開発し、速度閾値超過時に振動触覚警告を提示する。シミュレーションと実機飛行でリアルタイム性とコマンド実行の安定性を検証した。
- DroneVLA：視覚言語行動モデルによる空中マニピュレーションVLA2026/1/1
自然言語の指示を理解するVLAモデルとGrounding DINOを組み合わせ、1自由度グリッパ付きドローンが対象物を把持し人へ受け渡すシステムを構築した。実機実験で位置推定・ナビゲーションの精度を検証した。
- HoverAI：自然な人とドローンのインタラクションを実現する身体性を備えた空中エージェント空中ロボット/対話AI2026/1/1
ドローンにレーザープロジェクタや会話AIを搭載し、音声・視覚で人を認識してリップシンク付きアバターで応答する、空間認識型の対話エージェントを開発した。
- 拡散モデルによるテキスト指示からの空撮シネマトグラフィドローン制御2026/1/1
自然言語の指示と機体カメラの初期画像から拡散モデルで飛行軌道を生成し、ドローンが自動でシネマティックな映像を撮影するシステムを提案した。
- HumanDiffusion: 捜索救助UAVのための人間条件付き目標を持つ視覚ベース拡散軌道プランナVLA2026/1/1
RGB画像から人間を検出し、拡散モデルで人間を考慮したナビゲーション軌道を生成する軽量プランナを提案し、救助UAVの実環境タスクで80%の成功率を示した。
- ニューロモーフィックプロセッサAltAiを用いたEMGと視線追跡による義手操作システム義手/ニューロモーフィック/EMG2026/1/1
筋電位と視線誘導の視覚情報を組み合わせ、ニューロモーフィックプロセッサ上でスパイキングニューラルネットワークを動かすことで、低消費電力かつ高精度な義手制御を実現した研究。
- GuideTouch: 視覚障害者向け触覚フィードバック搭載の障害物回避ウェアラブルデバイス触覚2026/1/1
視覚障害者向けに、2つのToFセンサと4つの振動アクチュエータを備えた小型ウェアラブルデバイスを開発し、頭上の障害物を含む回避支援と方向提示の有効性を検証した。
- HumanoidVLM: 視覚言語ガイドによるインピーダンス制御で接触の多いヒューマノイドマニピュレーションマニピュレーション2026/1/1
視覚言語モデルとRAGを用いて、一人称視覚画像からタスクに適したインピーダンスパラメータと把持設定を選択し、Unitree G1ヒューマノイドの柔軟な操作を実現した。
- EmbodiedDiffusion：異種ロボットナビゲーションのための走行可能性誘導型視覚拡散モデルナビゲーション2025/12/1
RGB画像から走行可能性マップと軌道を同時に生成する拡散ベースの枠組みを提案し、プランナー不要で異種ロボットへの迅速な適応を実現した。
- SafeHumanoid: VLMとRAGによる人型ロボット上半身インピーダンス制御ヒューマンロボットインタラクション2025/11/1
視覚言語モデルと検索拡張生成を組み合わせ、周囲の状況や人間との距離に応じて人型ロボットのインピーダンスと速度を調整する制御パイプラインを提案し、安全性の向上を実証した。
- YawSitter: ヨー制御を強化したテールシッターUAVのモデリングと制御飛行制御2025/10/1
差動推力によるプロペラ後流の影響をモデル化し、ロール結合なしでヨーによる横方向位置制御を可能にするテールシッターUAVの新手法を提案・検証した。
- AnywhereVLA: 言語条件付き探索と移動マニピュレーションVLA2025/9/1
未知の屋内環境で自然言語によるピックアンドプレースを実現するモジュール型移動マニピュレーションフレームワークを提案し、SLAMとVLAを組み合わせてエッジハードウェア上で46%の成功率を達成した。
- FlightDiffusion：拡散モデルによるFPV動画生成で自律ドローン訓練を革新VLA2025/9/1
単一フレームからFPV動画と行動空間を生成する拡散モデルを提案し、大規模な訓練データを合成してドローンのナビゲーション性能とsim-to-real転移を向上させた。
- GestOS: 大規模言語モデルによる高度なハンドジェスチャー解釈で多様なロボットを操作VLA2025/9/1
手のジェスチャーをLLMで意味解釈し、複数ロボットの能力に応じてタスクを動的に割り振る操作システムを提案した。
- PhysicalAgent：基盤世界モデルによる汎用認知ロボティクスの実現VLA2025/9/1
テキスト指示から拡散モデルで動画デモを生成し、ロボットで実行・失敗時に再計画する反復ループで、多様なロボットのマニピュレーション成功率を最大80%まで高めた。
- VLH：視覚・言語・触覚基盤モデル触覚2025/8/1
視覚と言語の理解から空中での力覚・振動フィードバックを生成する基盤モデルVLHを提案し、ドローンとVRで人間とのインタラクション性能を評価した。
- SwarmVLM：動的倉庫環境における異種ロボット群の自律ナビゲーションのためのVLM誘導インピーダンス制御群制御2025/8/1
UAVとAGVの異種ロボット群が、VLMとRAGを用いてインピーダンス制御パラメータを適応させ、動的倉庫内を協調自律ナビゲーションするシステムを提案。実環境12試行で92%の成功率を達成。
- FiDTouch：指腹への3Dウェアラブル触覚ディスプレイ触覚2025/7/1
指腹に接触・圧力・皮膚伸長・振動などの触覚刺激を与える小型逆デルタ機構を用いた3Dウェアラブル触覚デバイスを開発し、静的接触と皮膚伸長の知覚に関する二段階のユーザー研究で性能を評価した。
- HapticVLM：視覚言語モデルによる触覚テクスチャ認識と知的ハプティックインタラクション触覚2025/5/1
物体の素材を画像から認識し、環境温度も推定して、振動と熱で触感を再現するマルチモーダル触覚フィードバックシステムを提案した論文。
- NMPC-Lander: 移動プラットフォームへのUAV着陸のためのバリア関数付き非線形MPCUAV着陸/非線形MPC2025/5/1
非線形モデル予測制御(NMPC)と制御バリア関数(CBF)を組み合わせ、静的・動的なプラットフォームへの安全で高精度な自律着陸を実現する制御アーキテクチャを提案し、実機実験で有効性を示した。
- 逆カリキュラム学習による四足歩行ロボットのスケートボード搭乗マニピュレーション2025/5/1
逆カリキュラム強化学習を用いて、四足歩行ロボットがスケートボードに乗り込む動作を獲得できるようにした研究。
- DiffusionRL: 強化学習で強化した大規模データセットによるロボット把持のための拡散ポリシーの効率的訓練マニピュレーション2025/5/1
DexGraspNetデータセットを強化学習で強化し、5本指ロボットハンドの把持タスクで拡散ポリシーを軽量に訓練するパイプラインを提案。手動データ収集なしで80%の成功率を達成した。
- UAV-CodeAgents: マルチエージェントReActと視覚言語推論によるスケーラブルなUAVミッション計画VLA2025/5/1
LLM/VLMを活用したマルチエージェントフレームワークで、衛星画像と自然言語指示からUAVのミッションを自動生成し、火災検知タスクで93%の成功率を達成した。
- Echo: 力覚フィードバック付きのオープンソース低コスト遠隔操作システムによるロボット学習用データセット収集遠隔操作2025/4/1
力覚フィードバックと感度調整機能を備えた低コストな遠隔操作システムEchoを開発し、URマニピュレータでの両手タスクの模倣学習用データ収集を容易にした。
- MorphoNavi: デジタルツインにおけるオブジェクト指向マッピングを用いた空陸両用ロボットナビゲーション空陸両用ロボット/ナビゲーション2025/4/1
単眼カメラのみを用いて多様な物体を検出・位置推定し、デジタルツイン上で空陸両用ロボットをナビゲートするシステムを提案。模擬災害救助シナリオで有効性を実証した。
- ハンドヘルドモーションコントローラによる直感的なドローン操作ヒューマンドローンインタラクション2025/4/1
手の動きや指の操作でドローンを直感的に操縦できるハンドヘルド型モーションコントローラを開発し、実機・シミュレータ環境でユーザ評価を行った。
- CONTHER: 後知恵経験再生とTransformerによる専門家デモ不要の人間らしい文脈的ロボット学習強化学習/マニピュレーション2025/3/1
専門家のデモンストレーションなしで、後知恵経験再生(HER)を改良したリプレイバッファとTransformerを用いて、目標指向のマニピュレーションや障害物回避を効率的に学習する強化学習アルゴリズムを提案した。
- LLMグラス：視覚障害者ナビゲーションのための触覚フィードバック付き生成AI駆動メガネ触覚2025/3/1
YOLO-WorldとGPT-4oを組み合わせ、視覚情報を触覚パターンに変換して視覚障害者をリアルタイムに誘導するウェアラブルナビゲーションシステムを開発し、その有効性を3つの実験で検証した。
- AttentionSwarm: 動的環境におけるCrazyflieドローンのための注意制御バリア関数を用いた強化学習群制御2025/3/1
注意機構と制御バリア関数を組み合わせ、動的なドローン競争環境で衝突回避と軌道最適化を実現する群制御手法を提案し、Crazyflie 2.1で95-100%の衝突回避率を達成した。
- HIPPO-MAT: GraphSAGEとマルチエージェント深層強化学習による分散型タスク割り当て群制御2025/3/1
GraphSAGEベースのグラフニューラルネットワークと独立PPOを組み合わせ、UAVとUGVが中央制御なしで協調してタスクを割り当てる分散型フレームワークを提案し、実機検証も行った。
- UAV-VLRR: 視覚言語情報を用いたNMPCによるUAV捜索救助の迅速応答VLA2025/3/1
視覚言語モデルとLLMでシーンを解釈し、障害物回避機能付き非線形モデル予測制御でドローンを飛行させる捜索救助システムを開発し、既存の自動操縦や人間のパイロットより高速な応答を実現した。
- RaceVLA: 人間らしい挙動を実現するVLAベースのレーシングドローン航法VLA2025/3/1
視覚・言語・行動(VLA)モデルをドローンレース用データセットで微調整し、人間パイロットのような適応的な航法を実現した研究。
- UAV-VLPA*：大規模環境での最適経路生成のための視覚・言語・経路・行動システム経路計画2025/3/1
衛星画像と視覚言語モデル、GPTの自然言語処理を組み合わせ、テキスト指示から飛行計画を生成するUAVシステムを提案。TSP最適化とA*による障害物回避で経路長を18.5%削減した。
- CognitiveDrone: UAVのリアルタイム認知タスク解決と推論のためのVLAモデルと評価ベンチマークVLA2025/3/1
ドローンの複雑な認知タスク向けに、一人称視点の画像とテキスト指示からリアルタイム4D行動指令を生成するVLAモデルと、推論モジュールを組み合わせた改良版、および認知タスク評価用ベンチマークを提案した論文。
- ImpedanceGPT：VLM駆動のインピーダンス制御による動的環境下でのミニドローン群の知的ナビゲーション群制御2025/3/1
Vision-Language ModelとRAGを組み合わせ、障害物の種類に応じてインピーダンス制御パラメータをリアルタイムに調整することで、ミニドローン群の動的環境下での安全なナビゲーションを実現した研究。
- VDT-Auto: VLM誘導拡散トランスフォーマーによるエンドツーエンド自動運転自動運転2025/2/1
視覚言語モデル(VLM)で環境を幾何的・文脈的に理解し、拡散トランスフォーマーで行動を生成するエンドツーエンド自動運転パイプラインを提案。nuScenesで平均L2誤差0.52m・衝突率21%を達成。
- Evolution 6.0：生成AIによるロボット進化VLA2025/2/1
VLM・VLA・テキストto3D生成モデルを組み合わせ、人間の指示に必要な道具をロボットが自律的に設計・製作し、その使い方を学習してタスクを遂行するシステムを提案。
- AgilePilot: 物体検出を活用した動的環境におけるリアルタイム経路計画のためのDRLベースドローンエージェントドローン/経路計画/DRL/sim2real2025/2/1
深層強化学習とリアルタイム物体検出を組み合わせ、動的環境でドローンが安全かつ敏捷に飛行する経路計画手法を提案し、実機で90%の成功率を達成した。
- MAGNNET: 深層強化学習を用いた自律走行車のためのマルチエージェントグラフニューラルネットワークによる効率的なタスク割り当て群制御2025/2/1
通信制約下の異種マルチエージェント系で、グラフニューラルネットワークと集中訓練・分散実行型のマルチエージェント強化学習を組み合わせ、UAVとUGVが衝突なく動的にタスクを割り当てる枠組みを提案した。
- HetSwarm：インピーダンス誘導による動的・密集環境下での異種群ロボット協調ナビゲーション群制御2025/2/1
UAVと地上ロボットを組み合わせ、人工ポテンシャル場とインピーダンスリンクで密集・動的環境を協調移動するシステムを提案し、90%の成功率を実証した。
- UAV-VLA：大規模航空ミッション生成のための視覚言語行動システムVLA2025/1/1
衛星画像とVLM・GPTを組み合わせ、テキスト指示から飛行経路と行動計画を生成するUAV向けシステムを提案。
- GazeGrasp: ウェアラブル視線インターフェースによるDNN駆動ロボット把持マニピュレーション2025/1/1
ESP32カメラとMediaPipe・YOLOv8を組み合わせ、視線で協働ロボットを操作して物体を把持する支援システムを開発し、磁気スナップ効果で作業効率を31%改善した。
- GestLLM：大規模言語モデルによる高度なハンドジェスチャー解釈とヒューマンロボットインタラクションHRI2025/1/1
MediaPipeで手の特徴を抽出し大規模言語モデルで解釈することで、事前定義に縛られない多様なジェスチャーでロボットを直感的に操作できるシステムを提案した。
- Shake-VLA: 視覚言語行動モデルによる双腕ロボットのカクテル調製システムVLA2025/1/1
視覚・音声・言語モデルを統合したVLAシステムで、双腕ロボットが材料の検出・計量・混合作業を行い、カクテルを自動調製する。
- SafeSwarm: 密集群衆下で着陸するドローン群のための分散安全強化学習群制御2025/1/1
安全学習と強化学習を組み合わせ、障害物や機体間の衝突を避けながら移動する着陸パッドへ群れで着陸する分散制御を実現し、実機実験で高精度・無衝突着陸を示した。
- MissionGPT: ロボティクストランスフォーマーモデルに基づく移動ロボットのミッションプランナーVLA2024/11/1
Transformerと大規模言語モデルを用いて、知覚アルゴリズムなしにカメラ映像のみから移動ロボットのタスクを計画・実行するミッションプランナーを提案し、基本動作で50%以上の成功率を達成した。
- 平衡位置と剛性を適応制御する並列ねじりばねによる脚式ロボットのエネルギー消費最適化歩行2024/11/1
歩行や跳躍などの周期的運動において、ねじりばねの平衡位置と剛性をサーボ駆動のウォームギアで調整する適応コンプライアンス機構を開発し、モータ負荷と消費電力を大幅に削減できることをシミュレーションで示した。
- LucidGrasp: 6D姿勢推定による透明度の異なる実験器具の自律操作ロボットフレームワークマニピュレーション2024/10/1
透明度が異なる液体入り実験器具を6D姿勢推定で認識し、注液などの繊細な操作を自律的に行うロボットフレームワークを開発した。
- SwarmPath：人工ポテンシャル場とインピーダンス制御を活用した混雑環境下でのドローン群ナビゲーション群制御2024/10/1
人工ポテンシャル場とインピーダンス制御を組み合わせ、仮想リーダーに追従するドローン群が障害物を避けつつ狭い通路を効率的に通過する手法を提案した論文。
- SharpSLAM: 高速ドローン向けブレ除去を備えた3Dオブジェクト指向ビジュアルSLAMSLAM2024/10/1
高速移動するドローンの画像ブレを除去することで、オブジェクト指向SLAMの位置推定・マッピング・物体再構成の精度を向上させる手法を提案した。
- FlightAR: 複数映像ストリームと物体検出を統合した没入型ドローン操縦支援ARインターフェースヒューマンドローンインタラクション2024/10/1
ドローンのFPVカメラと底面カメラ映像をARでHMDに重畳表示し、周囲状況の把握と直感的操縦を支援するインターフェースを開発、FPVゴーグルより高いユーザ評価を得た。
- 動的サブゴールに基づく経路形成とタスク割り当て：スケーラブルな群ロボティクスへのNeuroFleetsアプローチ群制御2024/9/1
視覚的に連結したサブゴールを介して経路を形成する新手法と、局所通信・光信号でロボット数を最適化するタスク割り当て戦略を提案し、群ロボットの探索・ナビゲーション性能を向上させた。
- Industry 6.0：生成AIと異種ロボット群が駆動する次世代産業群制御2024/9/1
自然言語の指示だけで製品設計から製造・組立までを自律的に行う完全自動生産システムを提案し、熟練開発者チームの4.4倍の速さで生産を完了できることを示した。
- TiltXter: ピペット遠隔操作のためのCNNによる傾斜角電気触覚レンダリング触覚2024/9/1
ロボットグリッパで把持した変形可能なピペットの傾きをCNNで推定し、その情報を電気触覚刺激として提示することで、遠隔操作の精度と成功率を向上させるシステムを提案した。
- METDrive: 時系列ガイダンスを用いたマルチモーダル端到端自動運転自動運転2024/9/1
自車状態の時系列特徴を活用した時間的ガイダンスにより、知覚データの幾何特徴と統合してウェイポイント予測を行う端到端自動運転システムを提案し、CARLAベンチマークで評価した。
- OmniRace: 6自由度ハンドポーズ推定による直感的なレーシングドローン操作ドローン操作/ジェスチャー認識2024/7/1
6自由度の手のポーズ推定とジェスチャー認識により、高速レーシングドローンを直感的に低レベル制御するシステムを提案し、シミュレーションで従来より25.1%速い完走を実現した。
- GazeRace: 視線制御による遠隔ドローン操縦の革新遠隔操縦/視線制御2024/7/1
アイトラッキング技術とMediaPipeを用いて目の動きをドローン操作コマンドに変換し、遠隔操縦を可能にするシステムを開発した。従来の操作と比べて飛行経路長を18%短縮しつつ同等の速度を維持し、操作精度の向上とユーザーのストレス軽減を示した。
- MorphoMove: 多肢形態形成型UAVのためのMPCベース経路追従を備えたバイモーダル経路プランナ経路計画/歩行2024/7/1
飛行と地上歩行の両方が可能な多肢形態形成型ドローンMorphoGearに対し、A*ベースのハイブリッド経路計画とMPCによる歩行経路追従を開発し、Unityシミュレーションで検証した。
- HyperSurf: GRUと実機-シミュレーション転移による表面認識が可能な四足歩行ロボットの脚触覚2024/7/1
四足歩行ロボットの脚で表面を認識するため、交換可能な表面を踏める単脚装置とGRUベースの認識システムを開発し、実機からシミュレーションへの表面特性転移を可能にした。
- AirNeRF：ドローンとNeRFによる人間の3D再構成3D再構成2024/7/1
ドローンで自動撮影した映像とNeRFを組み合わせ、高品質な人間の3Dアバターを素早く作成するシステムを提案した論文。
- MARLander: マルチエージェント深層強化学習によるドローン群の局所経路計画群制御2024/6/1
マルチエージェント深層強化学習を用いてドローン群を移動する目標地点へ精密に着陸させる手法を提案し、実機実験でPID+APFを上回る着陸精度を達成した。
- TornadoDrone: 風外乱下で6Dプラットフォームに着陸する生物模倣DRLドローン飛行制御/着陸2024/6/1
鳥の適応機構に着想を得た深層強化学習モデルで、風の直接測定なしに位置・速度変化から風力を推定し、動くプラットフォームへの高精度着陸を実現した。
- FADet: 局所特徴注意に基づくマルチセンサー3D物体検出ネットワーク3D物体検出/マルチセンサー融合2024/5/1
カメラ・LiDAR・レーダーそれぞれの特性に応じた局所特徴注意モジュールを設計し、これらを融合することで複雑な長尾シーンでも高精度な3D物体検出を実現した。
- FlockGPT: 言語指示でドローン群れを誘導する群制御2024/5/1
大規模言語モデルを使い、自然言語の指示からドローン群れの目標形状を生成・制御するインターフェースを開発し、ユーザー研究で直感的な操作と高い形状認識率を示した。
- ロボットは感じられる：LLMベースのロボット倫理推論フレームワーク倫理推論2024/5/1
感情重み係数を用いて人間らしい感情をシミュレートし、ロボットに倫理的判断を行わせるLLMベースのフレームワークを開発し、8つのLLMで評価した。
- GrainGrasp: 指先ごとの接触誘導による巧みな把持生成マニピュレーション2024/5/1
各指先の接触マップを生成モデルで予測し、点群のみを入力とする最適化で人間らしい巧みな把持姿勢を生成する手法を提案した。
- Bi-VLA: 視覚-言語-行動モデルによる双腕ロボットの巧みな操作システムVLA2024/5/1
視覚・言語・行動を統合したBi-VLAモデルを提案し、人間の指示からサラダ調理などの双腕家庭タスクを実行、83.4%の成功率を達成した。
- MoveTouch: ウェアラブル触覚ディスプレイを備えたロボット動作計測システムによる安全なHRIの実現触覚2024/5/1
手首に装着するウェアラブルロボットでマーカーを保持し動作計測と振動触覚フィードバックを行い、協働作業の安全性を高めるシステムを提案し、振動パターンの認識率と応答時間を評価した。
- VR-GPT: インテリジェントなVRアプリケーションのための視覚言語モデルVLA2024/5/1
Unity上に視覚言語モデルを組み込み、音声対話でVR内のユーザーをタスクへ誘導するシステムを開発し、従来のVR操作より作業時間短縮と快適性向上を示した。
- VLM-Auto: 複雑な道路シーンに対応する人間らしい振る舞いと理解を備えたVLMベースの自動運転アシスタント自動運転/VLM2024/5/1
視覚言語モデル(VLM)を用いて道路シーンを理解し、調整可能な運転行動を生成する自動運転支援システムを提案。CARLAとROS2で検証し、夜間・薄暗いシーンでも高い予測精度を達成した。
- HawkDrive: 夜間自動運転のためのTransformer駆動型視覚認識システム自動運転/視覚認識2024/4/1
夜間の自動運転向けに、ステレオ視とTransformerベースのニューラルネットワークを組み合わせ、低照度強調・深度推定・セマンティックセグメンテーションをROS2上で統合した認識システムを開発した。
- FlyNeRF：ドローンとNeRFによる高品質3Dシーン再構成のための空中マッピングNeRF/3D再構成2024/4/1
ドローンで撮影した画像と位置情報をNeRFに統合し、再構成品質を評価するニューラルネットワークに基づいて追加撮影位置を自律決定することで、3D再構成の品質を向上させるシステムを提案した。
- MorphoGear: 不整地移動のための多肢形態形成ギアを備えたUAV歩行2024/3/1
4本の3自由度ロボット肢を脚とマニピュレータとして兼用する新型ロータUAVを開発し、飛行・複数歩容での歩行・把持を実現、歩行精度と歩幅を実験で評価した。
- Lander.AI: 動的3Dプラットフォームへの適応型着陸エージェント飛行制御/強化学習2024/3/1
強化学習を用いて、風外乱や動くプラットフォーム上でもドローンを高精度に着陸させるエージェントを開発し、実機検証した。
- DogSurf: Quadruped Robot Capable of GRU-based Surface Recognition for Blind Person Navigation2024/2/1
- CognitiveOS: Large Multimodal Model based System to Endow Any Type of Robot with Generative AI2024/1/1
- CognitiveDog: Large Multimodal Model Based System to Translate Vision and Language into Action of Quadruped Robot2024/1/1
- LLM-MARS: Large Language Model for Behavior Tree Generation and NLP-enhanced Dialogue in Multi-Agent Robot Systems2023/12/1
- PolyMerge: A Novel Technique aimed at Dynamic HD Map Updates Leveraging Polylines2023/10/1
- HaptiCharger: Robotic Charging of Electric Vehicles Based on Human Haptic Patterns2023/10/1
- LocoNeRF: A NeRF-based Approach for Local Structure from Motion for Precise Localization2023/10/1
- TeslaCharge: Smart Robotic Charger Driven by Impedance Control and Human Haptic Patterns2023/10/1
- DNFOMP: Dynamic Neural Field Optimal Motion Planner for Navigation of Autonomous Robots in Cluttered Environment2023/8/1
- AirTouch: Towards Safe Human-Robot Interaction Using Air Pressure Feedback and IR Mocap System2023/8/1
- NeuroSwarm: Multi-Agent Neural 3D Scene Reconstruction and Segmentation with UAV for Optimal Navigation of Quadruped Robot2023/8/1
- ArUcoGlide: a Novel Wearable Robot for Position Tracking and Haptic Feedback to Increase Safety During Human-Robot Interaction2023/7/1
- MorphoArms: Morphogenetic Teleoperation of Multimanual Robot2023/7/1
- MorphoLander: Reinforcement Learning Based Landing of a Group of Drones on the Adaptive Morphogenetic UAV2023/7/1
- POA: Passable Obstacles Aware Path-planning Algorithm for Navigation of a Two-wheeled Robot in Highly Cluttered Environments2023/7/1
- GHACPP: Genetic-based Human-Aware Coverage Path Planning Algorithm for Autonomous Disinfection Robot2023/7/1
- Hierarchical Visual Localization Based on Sparse Feature Pyramid for Adaptive Reduction of Keypoint Map Size2023/5/1
- LLM-BRAIn: AI-driven Fast Generation of Robot Behaviour Tree based on Large Language Model2023/5/1
- Hierarchical Whole-body Control of the cable-Suspended Aerial Manipulator endowed with Winch-based Actuation2023/5/1
- SwipeBot: DNN-based Autonomous Robot Navigation among Movable Obstacles in Cluttered Environments2023/5/1
- SwarmGear: Heterogeneous Swarm of Drones with Reconfigurable Leader Drone and Virtual Impedance Links for Multi-Robot Inspection2023/4/1
- DeltaFinger: a 3-DoF Wearable Haptic Display Enabling High-Fidelity Force Vector Presentation at a User Finger2022/11/1
- LiePoseNet: Heterogeneous Loss Function Based on Lie Group for Significant Speed-up of PoseNet Training Process2022/11/1
- SwarMan: Anthropomorphic Swarm of Drones Avatar with Body Tracking and Deep Learning-Based Gesture Recognition2022/10/1
- DroneARchery: Human-Drone Interaction through Augmented Reality with Haptic Feedback and Multi-UAV Collision Avoidance Driven by Deep Reinforcement Learning2022/10/1
- HyperDog: An Open-Source Quadruped Robot Platform Based on ROS2 and micro-ROS2022/9/1
- MeSLAM: Memory Efficient SLAM based on Neural Fields2022/9/1
- MuCaSLAM: CNN-Based Frame Quality Assessment for Mobile Robot with Omnidirectional Visual SLAM2022/9/1
- HyperPalm: DNN-based hand gesture recognition interface for intelligent communication with quadruped robot in 3D space2022/9/1
- DandelionTouch: High Fidelity Haptic Rendering of Soft Objects in VR by a Swarm of Drones2022/9/1
- HyperGuider: Virtual Reality Framework for Interactive Path Planning of Quadruped Robot in Cluttered and Multi-Terrain Environments2022/9/1
- CloudVision: DNN-based Visual Localization of Autonomous Robots using Prebuilt LiDAR Point Cloud2022/9/1
- Exploring the Role of Electro-Tactile and Kinesthetic Feedback in Telemanipulation Task2022/8/1
- DogTouch: CNN-based Recognition of Surface Textures by Quadruped Robot with High Density Tactile Sensors2022/6/1
- DarkSLAM: GAN-assisted Visual SLAM for Reliable Operation in Low-light Conditions2022/6/1
- SwarmHive: Heterogeneous Swarm of Drones for Robust Autonomous Landing on Moving Robot2022/6/1
- SwarmHawk: Self-Sustaining Multi-Agent System for Landing on a Moving Platform through an Agent Supervision2022/6/1
- CNN-based Omnidirectional Object Detection for HermesBot Autonomous Delivery Robot with Preliminary Frame Classification2021/10/1
- GraspLook: a VR-based Telemanipulation System with R-CNN-driven Augmentation of Virtual Environment2021/10/1
- WareVR: Virtual Reality Interface for Supervision of Autonomous Robotic System Aimed at Warehouse Stocktaking2021/10/1
- CoboGuider: Haptic Potential Fields for Safe Human-Robot Interaction2021/10/1
- CoHaptics: Development of Human-Robot Collaborative System with Forearm-worn Haptic Display to Increase Safety in Future Factories2021/9/1
- SwarmPlay: Interactive Tic-tac-toe Board Game with Swarm of Nano-UAVs driven by Reinforcement Learning2021/8/1
- UltraBot: Autonomous Mobile Robot for Indoor UV-C Disinfection2021/8/1
- Comparison of modern open-source visual SLAM approaches2021/8/1
- UltraBot: Autonomous Mobile Robot for Indoor UV-C Disinfection with Non-trivial Shape of Disinfection Zone2021/8/1
- DeepScanner: a Robotic System for Automated 2D Object Dataset Collection with Annotations2021/8/1
- DronePaint: Swarm Light Painting with DNN-based Gesture Recognition2021/7/1
- MobileCharger: an Autonomous Mobile Robot with Inverted Delta Actuator for Robust and Safe Robot Charging2021/7/1
- DeltaCharger: Charging Robot with Inverted Delta Mechanism and CNN-driven High Fidelity Tactile Perception for Precise 3D Positioning2021/7/1
- SwarmPaint: Human-Swarm Interaction for Trajectory Generation and Formation Control by DNN-based Gesture Interface2021/6/1
- DroneTrap: Drone Catching in Midair by Soft Robotic Hand with Color-Based Force Detection and Hand Gesture Recognition2021/2/1
- ZoomTouch: Multi-User Remote Robot Control in Zoom by DNN-based Gesture Recognition2020/11/1
- MaskBot: Real-time Robotic Projection Mapping with Head Motion Tracking2020/11/1
- LinkRing: A Wearable Haptic Display for Delivering Multi-contact and Multi-modal Stimuli at the Finger Pads2020/8/1
- DroneLight: Drone Draws in the Air using Long Exposure Light Painting and ML2020/7/1
- CobotGear: Interaction with Collaborative Robots using Wearable Optical Motion Capturing Systems2020/7/1
- TeslaMirror: Multistimulus Encounter-Type Haptic Display for Shape and Texture Rendering in VR2020/6/1
- Optimal Oscillation Damping Control of cable-Suspended Aerial Manipulator with a Single IMU Sensor2020/3/1
- SwarmCloak: Landing of Two Micro-Quadrotors on Human Hands Using Wearable Tactile Interface Driven by Light Intensity2020/1/1
- Development of MirrorShape: High Fidelity Large-Scale Shape Rendering Framework for Virtual Reality2019/11/1
- TouchVR: a Wearable Haptic Interface for VR Aimed at Delivering Multi-modal Stimuli at the User's Palm2019/11/1
- SwarmCloak: Landing of a Swarm of Nano-Quadrotors on Human Arms2019/11/1
- WiredSwarm: High Resolution Haptic Feedback Provided by a Swarm of Drones to the User's Fingers for VR interaction2019/11/1
- SlingDrone: Mixed Reality System for Pointing and Interaction Using a Single Drone2019/11/1
- AeroVR: Virtual Reality-based Teleoperation with Tactile Feedback for Aerial Manipulation2019/10/1
- SwarmTouch: Tactile Interaction of Human with Impedance Controlled Swarm of Nano-Quadrotors2019/9/1
- SwarmTouch: Guiding a Swarm of Micro-Quadrotors with Impedance Control using a Wearable Tactile Interface2019/9/1
- DronePick: Object Picking and Delivery Teleoperation with the Drone Controlled by a Wearable Tactile Display2019/8/1
- Asynchronous Behavior Trees with Memory aimed at Aerial Vehicles with Redundancy in Flight Controller2019/7/1
- Development of SAM: cable-Suspended Aerial Manipulator2019/3/1
- Finger Grip Force Estimation from Video using Two Stream Approach2018/3/1
- Haptics of Screwing and Unscrewing for its Application in Smart Factories for Disassembly2018/1/1
- Semi-Automatic Control of Telepresence Robots2017/9/1