Heng Zhang
Istituto Italiano di Tecnologia
収録論文 43本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- VidAct: 物体中心の3D認識で野生動画からマニピュレーションを学習マニピュレーション2026/9/29
単眼の実世界動画から物体メッシュと運動を再構成し、残差軌道転移と物体中心の3D点群予測を組み合わせて、ゼロショットで実機展開可能なマニピュレーションポリシーを学習するフレームワーク。
- 不確実なときは切らない：ロボット収穫のためのVLA方針における拒否可能で較正された決定ヘッドVLA2026/9/28
VLA方針に「拒否」と「較正」を可能にする出力インターフェースを追加し、遮蔽下での収穫判断の信頼性を向上させた研究。
- Imp-ACT: 適応インピーダンス制御とTransformerによるアクションチャンキングで接触の多いマニピュレーションをデモから学習マニピュレーション2026/9/25
テレオペレーション中に自己調整インピーダンス制御で運動方向の剛性を適応させ、その剛性を視覚・固有感覚・力覚と共に記録し、TransformerベースのACTで把持動作と剛性を予測する手法を提案。拭き取りやプラグ挿入で低接触力と高成功率を実現。
- FORTE: 移動マニピュレータのためのタスク適応型力能力最適化マニピュレーション2026/9/18
VLMで物体の物理特性を推定し、タスク要求力と残余力ポリトープの整合性を指標化して、全身軌道最適化に組み込むことで、重負荷時は力能力を、軽負荷時は操作性を両立させる移動マニピュレータ制御手法を提案。
- WorldContact: 接触中心の世界モデルによるスケーラブルなロボット学習sim2real2026/9/17
変形物体操作のための接触中心の世界モデルを提案し、限られた軌道データから効率的に追加学習データを生成して、実機ロボットのポリシー適応を成功させた。
- DeCAL: 接触認識型潜在共想像による物理基盤の巧みな視覚-言語-行動モデル巧みな操作/VLA/触覚2026/9/8
接触の多い巧みな操作のための、触覚を適応的に統合し視覚と触覚のダイナミクスを共同で想像する新しいVLAモデルを提案し、高い成功率と汎化性能を達成した。
- CR-VLA-Force: 制御認識型コンプライアンスVLAモデルによる頑健な接触豊富なロボット操作の学習VLA/力覚制御2026/9/5
力覚認識を統合したVLAモデルが精密な力追従と迅速な調整に弱い問題を解決するため、マルチモーダルMoEと多段階訓練、適応コンプライアンス制御を備えたCC-VLAフレームワークを提案し、実機実験で有効性を示した。
- 人間が避ける行動からどう学ぶか？介入認識型ワールドモデルと実世界RLによる器用な操作操作2026/9/5
人間の介入を単なる修正ではなく、将来のリスク予測信号として活用する安全重視のRLフレームワークWHIRLを提案し、多指ロボットハンドでの複雑な把持・操作タスクで成功率向上と介入削減を実証した。
- MANGO-Grasp: 幾何指向3Dガウス上のマハラノビス場によるクロスエンボディ器用把持把持2026/8/3
異なる多指ハンド間で安定した把持を合成するクロスエンボディ器用把持のため、物体を幾何指向3Dガウスプリミティブで、ロボットハンドを形態・運動学的記述子で表現し、マハラノビス場を用いて相互作用を予測・最適化するフレームワークを提案した。
- 集中訓練と批評家分解による実世界オンライン強化学習の効率化：ロボット操作への応用マニピュレーション2026/8/1
実世界でのオンライン強化学習を効率化するため、集中訓練と分散実行（CTDE）とハイブリッド報酬アーキテクチャ（HRA）を組み合わせ、複数のエージェントが共有する多頭批評家を導入した。タスク報酬と把握報酬を分離し、サンプル効率と性能を大幅に向上させた。
- BoxTwin: ビデオから弾塑性関節物体の動力学を学習する変形物体操作2026/7/1
ビデオから弾塑性関節物体の動力学を学習するデジタルツインフレームワークを提案し、手動折りたたみや双腕操作実験で長期的な塑性変形挙動を正確に再現した。
- エージェント型Real2Sim：視覚言語エージェントによる物理ベースの世界モデリングsim2real2026/7/1
ロボットと物体の相互作用の実世界記録を、物理シミュレーション可能な双子モデルに自動変換するフレームワークを提案。視覚言語エージェントが幾何・物理パラメータ・軌道などを自律的に推定し、剛体操作から変形物体、人型動作までを統一的に扱う。
- AnchorVLA: 離散的な意思決定と連続的な軌道を橋渡しする視覚言語行動計画自動運転/VLA2026/7/1
自動運転の計画において、高レベルの意思決定を表すアンカートークンと、その残差空間での連続軌道生成を組み合わせたVLA計画フレームワークを提案した。
- NeuralActuator: ロボット動力学と外力知覚のためのニューラルアクチュエータモデリングアクチュエータモデリング2026/7/1
低コストロボットのアクチュエータ動力学をニューラルネットでモデル化し、トルク予測・外力知覚・異常検知を同時に行う手法を提案した。
- HiL-ResRL: 人間参加型残差強化学習によるモデル非依存のファインチューニングアダプタロボットマニピュレーション2026/6/1
模倣学習のVLAモデルに対して、モデル非依存でプラグイン可能な残差ポリシーを強化学習で訓練し、実ロボットで1.5時間の学習で成功率95%以上を達成するファインチューニング手法を提案した。
- HyperSim: ロバストなロボット操作のための包括的シミュレーションから実世界へのフレームワークsim2real2026/5/1
シミュレーションから実世界への転移を改善するため、高忠実度環境合成、敵対的軌道生成、シミュレーションと実世界の共学習を組み合わせた包括的フレームワークHyperSimを提案し、実世界タスクで高い成功率を達成した。
- UniLab: GPU中心パラダイムを超えたロボット強化学習のためのヘテロジニアスアーキテクチャ強化学習/システムアーキテクチャ2026/5/1
CPUシミュレーションとGPU学習を分離したヘテロジニアスな強化学習システムUniLabを提案し、GPUシミュレーションに依存せずに3〜10倍の学習効率向上を実証した。
- GS-Playground: 視覚に基づくロボット学習のための高スループット写実的シミュレータシミュレーション2026/4/1
3Dガウススプラッティングと並列物理エンジンを統合した高速写実シミュレータを開発し、視覚ベースの強化学習を大規模に加速する。
- 触覚を活用した四脚ロボットの移動操作ポリシー学習移動操作/触覚/強化学習2026/4/1
四脚ロボットの移動操作において、視覚と自己受容感覚に加えて触覚情報を活用する階層的ポリシー学習手法を提案。実世界の人間デモから触覚条件付き高レベルポリシーを学習し、シミュレーションでの大規模強化学習により全身制御ポリシーを獲得し、実世界へゼロショット転送する。接触を伴うタスクで平均28.54%の性能向上を達成。
- TacVLA: 接触認識型触覚融合による堅牢な視覚言語行動操作VLA/触覚/操作2026/3/1
視覚と言語に依存するVLAモデルに触覚を統合し、接触検出時のみ触覚トークンを活性化するゲーティング機構を導入して、細かい操作や視覚遮蔽下での性能を向上させた。
- 非無視可能なダイナミクスを持つ変形可能な線状物体の自己教師あり物理情報マニピュレーション変形物体マニピュレーション2026/2/1
ロープなどの変形可能な線状物体の動的操りを、物理モデルと自己教師あり学習を組み合わせて実現するフレームワークSPiDを提案し、ロープ安定化タスクで有効性を示した。
- カテゴリレベルで汎化可能な触覚ツール操作のためのセマンティック・コンタクト場触覚2026/2/1
視覚的意味情報と密な接触推定を統合した3D表現「SCFields」を提案し、シミュレーション事前学習と実データ微調整により、未知のツールへの触覚操作の汎化を実現した。
- PLanAR: 計画言語に基づくエージェント推論によるロボットマニピュレーションマニピュレーション2026/2/1
VLMの推論空間を計画言語で定義し、各行動後にシンボリックな効果を検証して失敗検出と再計画を行う、長期的なオープンボキャブラリ操作のためのロボットエージェントフレームワーク。
- CompliantVLA-adaptor：VLM誘導可変インピーダンスによる安全な接触リッチマニピュレーションマニピュレーション2026/1/1
VLAモデルにVLMが解釈したタスク文脈で可変インピーダンス制御を適応させ、力覚フィードバックで安全性を確保することで、接触を伴うマニピュレーションの成功率と安全性を向上させた。
- 接触を伴うロボットタスクの安全な学習：古典的手法から安全な基盤モデルまでのサーベイ安全学習2025/12/1
接触を伴うロボットタスクにおける安全な学習手法を、安全な探索と安全な実行の二軸で整理し、制約付き強化学習やCBFなどの古典的手法からVLM/VLA基盤モデルへの拡張までを概観したサーベイ。
- OmniVIC: 視覚言語インコンテキスト学習による自己改善型可変インピーダンス制御で安全なロボットマニピュレーションマニピュレーション2025/10/1
視覚言語モデルと自己改善型RAG・インコンテキスト学習を組み合わせ、接触を伴う多様なマニピュレーションタスクで適応的なインピーダンスパラメータを生成する可変インピーダンス制御器を提案。
- MachaGrasp: 形態認識型クロスエンボディメント巧みな手の把持のための関節動作生成マニピュレーション2025/10/1
手の形態記述から固有把持（eigengrasp）を導出し、低次元の関節係数を予測することで、異なる多指ハンドでも高速かつ高成功率に把持を生成するフレームワーク。
- ActivePose: ロボットマニピュレーションのための能動的6D物体姿勢推定と追跡マニピュレーション2025/9/1
VLMと「ロボットの想像力」を組み合わせ、曖昧さを検出してカメラを次の最良視点へ動かすことで、6D物体姿勢推定・追跡を能動的に高精度化する手法を提案。
- AsyMoE: モーダル非対称性を活用した大規模視覚言語モデルにおける専門家の特化VLA2025/9/1
視覚と言語の処理の非対称性に着目し、モダリティ特化・双曲線的クロスモーダル・証拠優先の3種の専門家群で構成される新しいMoEアーキテクチャを提案し、精度向上とパラメータ削減を実現した。
- INTENTION：対話的直感と接地されたVLMによるヒューマノイドロボット動作の傾向推論VLA2025/8/1
視覚言語モデルによるシーン推論と対話駆動型メモリを統合し、新しい環境でも人間のように直感的に操作行動を推論できるロボットフレームワークを提案。
- ロボティクスにおける接触の多いタスクのための模倣学習に関する調査模倣学習2025/6/1
接触を伴うロボットタスクにおける模倣学習の研究動向を、デモ収集法やマルチモーダル学習、基盤モデルの活用まで体系的に整理した調査論文。
- HiBerNAC：複雑なマニピュレーションを解きほぐす階層型脳模倣ロボット神経エージェント集団マニピュレーション2025/6/1
脳の神経回路と階層的意思決定に着想を得て、VLA計画とマルチエージェント協調を組み合わせた階層型フレームワークを提案し、複雑な長期的マニピュレーションタスクの実行性能を向上させた。
- Bresa: 接触の多いロボットタスクのための生物に着想を得た反射的安全強化学習安全強化学習2025/3/1
生物の反射を模倣し、タスク学習と安全学習を分離した階層型安全強化学習を提案。高頻度の安全クリティックが低レベルでリアルタイム介入し、接触の多いタスクでの安全性と適応性を向上させた。
- 接触リッチなロボットタスクのための受動性中心の安全強化学習安全強化学習2025/3/1
接触を伴うロボットタスクにおいて、強化学習方策に受動性制約を導入し、訓練時と展開時の両方で安全性と安定性を確保する手法を提案した。
- Transformer強化強化学習による大規模マルチターゲット包囲群制御2025/3/1
Transformerベースの政策ネットワークとターゲット選択を組み合わせ、小規模訓練から大規模な多目標包囲タスクへゼロショットで汎化する強化学習フレームワークを提案。
- AIとロボット科学者による科学発見のスケーリング則自律実験/ロボット科学者2025/3/1
エージェントAIと身体性ロボティクスを統合した自律型汎用科学者（AGS）を構想し、研究ライフサイクル全体の自動化と新たなスケーリング則の可能性を論じた論文。
- SRL-VIC: 可変剛性に基づく接触の多いロボットタスクのための安全強化学習マニピュレーション2024/6/1
安全クリティックと復旧ポリシーを事前学習し、可変インピーダンス制御と組み合わせることで、接触の多いタスクを安全に探索する強化学習フレームワークを提案した。シミュレーションで学習した方策を実機にそのまま展開できることを示した。
- An Intraoperative Force Perception and Signal Decoupling Method on Capsulorhexis Forceps2023/11/1
- Refining 6-DoF Grasps with Context-Specific Classifiers2023/8/1
- A Novel Graph-based Motion Planner of Multi-Mobile Robot Systems with Formation and Obstacle Constraints2022/10/1
- A Novel Semi-Coupled Hierarchical Motion Planning Framework for Cooperative Transportation of Multiple Mobile Manipulators2022/8/1
- Multi-Robot Object Transport Motion Planning with a Deformable Sheet2021/11/1
- Design and Control of a Highly Redundant Rigid-Flexible Coupling Robot to Assist the COVID-19 Oropharyngeal-Swab Sampling2021/2/1