Zhengyi Luo
収録論文 30本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ASENA: 自己進化型エージェントによる身体性ナビゲーションナビゲーション2026/9/30
コーディングエージェントがプログラムを書いて実行・修正・経験を蓄積しながらロボットをナビゲーションさせるシステムを提案し、4Bの単眼ナビゲーション方策と組み合わせてR2RやRxRで高性能を達成した。
- 人間のデモから接触力ガイダンスを用いた器用操作の学習器用操作2026/7/1
人間のデモから物体に加わる力・トルク空間でガイダンスを作り、強化学習で長期的な器用操作を学習するフレームワークCHORDを提案。大規模ベンチマークで高い成功率を示し、実世界にも転移可能。
- Vesta: 汎用身体化推論モデルVLA2026/6/1
ロボットのための単一の基盤モデルで、位置推定・空間推論・ナビゲーション・長期計画を統合し、専門モデル群を上回る性能を示した。
- GRAIL: 3Dアセットとビデオ事前知識から人型ロコ操作を生成ロコ操作2026/6/1
物理環境や遠隔操作を必要とせず、3Dアセットとビデオ基盤モデルの事前知識を用いて、人型ロボットの全身操作デモを仮想的に生成するパイプラインを提案した。
- MotionBricks: モジュール型潜在生成モデルとスマートプリミティブによるスケーラブルなリアルタイムモーション生成モーション生成2026/4/1
大規模なモーション生成をリアルタイムで行うためのフレームワークを提案し、35万以上のモーションクリップを単一モデルで扱い、速度指令やスタイル選択などの細かい制御を可能にするスマートプリミティブを導入した。
- 接地反力慣性ポーザー：スパースIMUとインソール圧力センサによる物理ベースの人間動作キャプチャ動作キャプチャ2026/3/1
IMUと足裏圧力センサを組み合わせ、物理シミュレータ上のデジタルツインを制御して物理的に妥当な全身動作を再構成する手法GRIPを提案した。
- ヒューマノイドのピクセル入力から行動へのポリシー転移におけるSim-to-Realの扉を開くsim2real2025/12/1
GPU加速のフォトリアルシミュレーションと教示者-生徒-ブートストラップ学習を用い、RGB画像のみからヒューマノイドが多様な扉を開けるロコマニピュレーションポリシーをシミュレーションだけで学習し、実機でゼロショット転移を実現した。
- CHIP: 後知恵摂動によるヒューマノイドの適応的コンプライアンス制御マニピュレーション2025/12/1
後知恵摂動を用いて、動的動作の追従性を保ちながらエンドエフェクタの硬さを調整可能にするプラグアンドプレイモジュールCHIPを提案し、力強いマニピュレーションタスクを実現した。
- SONIC: 自然なヒューマノイド全身制御のための運動追跡の超大規模化ヒューマノイド制御2025/11/1
運動追跡をスケーラブルなタスクと位置づけ、モデル容量・データ・計算量を大規模化することで、自然で堅牢な全身運動が可能な汎用ヒューマノイド制御器を構築した研究。
- BFM-Zero: 教師なし強化学習によるヒューマノイド制御のためのプロンプト可能な行動基盤モデルヒューマノイド制御2025/11/1
教師なし強化学習とForward-Backward表現を用いて、運動・目標・報酬を共通の潜在空間に埋め込み、再学習なしに多様な全身タスクを実行できるヒューマノイド制御の基盤モデルを提案し、実機Unitree G1でゼロショット運動追従や目標到達を実現した。
- 残差強化学習によるデータ生成で自己改善する視覚言語行動モデルVLA2025/11/1
VLAモデルの失敗領域を残差RLで探索し、展開分布に沿った軌道を収集・蒸留することで、追加の人間デモなしに性能を自己改善させるフレームワークPLDを提案。
- VIRAL: ヒューマノイドの移動操作に向けた大規模視覚Sim-to-Realsim2real2025/11/1
シミュレーションのみでヒューマノイドの移動を伴う操作スキルを学習し、実機にゼロショット転移する視覚ベースのフレームワークを提案。大規模ドメインランダム化と実機整合により、Unitree G1上で連続的な移動操作を実現した。
- HDMI: 人間の動画から対話型ヒューマノイド全身制御を学習全身操作2025/9/1
単眼RGB動画から人間と物体の軌道を抽出・再ターゲットし、強化学習でヒューマノイドの全身物体操作スキルを学習、実機にゼロショット展開するフレームワーク。
- 視覚強化学習から創発するシミュレーション人型ロボットの能動的知覚と器用さVLA2025/5/1
自己中心視覚のみを入力とする強化学習フレームワークPDCを提案し、シミュレーション人型ロボットが物体探索・把持・配置・関節物体操作などの家事タスクを単一ポリシーで遂行できることを示した。
- 全身マニピュレーションを実現する汎用生成制御ポリシーマニピュレーション2025/5/1
大規模モーションキャプチャから蒸留した生成制御ポリシーにより、目標物体姿勢や身体姿勢を指定するだけで全身を使った多様な物体操作動作を物理シミュレーション上で生成する手法を提案。
- UniPhys: 拡散モデルによるプランナーとコントローラの統合で柔軟な物理ベースキャラクタ制御物理ベースキャラクタ制御2025/4/1
拡散モデルを用いて運動計画と制御を単一モデルに統合し、テキストや軌道などの多様な指示に応じて物理的に自然な長期キャラクタ動作を生成する手法を提案。
- ASAP: シミュレーションと実世界物理の整合による俊敏なヒューマノイド全身スキルの学習sim2real2025/2/1
シミュレーションと実世界のダイナミクス差を補正する残差行動モデルを実機データから学習し、事前学習済みの運動追従方策を微調整することで、ヒューマノイドの俊敏な全身動作を実現する二段階フレームワークを提案した。
- HOVER: ヒューマノイドのための汎用全身制御ニューラルコントローラヒューマノイド全身制御2024/10/1
全身の運動模倣を共通の抽象表現として活用し、ナビゲーションや卓上操作など複数の制御モードを単一の方策に蒸留統合したヒューマノイド全身コントローラを提案した。
- SkillMimic: デモンストレーションからバスケットボールのインタラクションスキルを学習模倣学習2024/8/1
人間と物体のインタラクションを模倣する統一的な報酬設計で、バスケットボールのドリブル・レイアップ・シュートなど多様なスキルを単一の方策で学習し、スキル遷移や長期タスクも可能にした研究。
- SMPLOlympics：物理シミュレーションされたヒューマノイドのためのスポーツ環境ヒューマノイド制御2024/7/1
人間の動作データと互換性のあるヒューマノイドモデルを用いて、ゴルフやテニスなど多様なオリンピック競技を物理シミュレーションで再現する環境群を構築し、強力な動作事前分布と単純な報酬の組み合わせで人間らしいスポーツ行動が学習できることを示した。
- Omnigrasp: シミュレーションされたヒューマノイドによる多様な物体の把持マニピュレーション2024/7/1
シミュレーション上のヒューマノイドが1200以上の多様な物体を把持し、ランダムな軌道に沿って運搬できる制御器を学習した研究。
- OmniH2O：汎用的で器用な人間からヒューマノイドへの全身遠隔操作と学習遠隔操作2024/6/1
VR・音声・RGBカメラなど多様な入力で人間がヒューマノイド全身を遠隔操作できる学習ベースのシステムを構築し、実世界でのスポーツや物体操作を実現した。
- 人間からヒューマノイドへのリアルタイム全身テレオペレーションの学習テレオペレーション2024/3/1
RGBカメラ1台で人間の動きを捉え、強化学習で訓練した全身運動模倣器により、等身大ヒューマノイドをリアルタイムで遠隔操作するフレームワークH2Oを提案した。
- ヘッドマウントセンサからのリアルタイムシミュレーテッドアバターアバター制御2024/3/1
AR/VRヘッドセットのカメラと姿勢情報から、物理シミュレーション上のヒューマノイドアバターをリアルタイムに制御する手法を提案。大規模合成データセットで学習し、実世界のキャプチャでも動作を実証した。
- PhysHOI: Physics-Based Imitation of Dynamic Human-Object Interaction2023/12/1
- Universal Humanoid Motion Representations for Physics-Based Control2023/10/1
- Perpetual Humanoid Control for Real-time Simulated Avatars2023/5/1
- Trace and Pace: Controllable Pedestrian Animation via Guided Trajectory Diffusion2023/4/4
- Transform2Act: Learning a Transform-and-Control Policy for Efficient Agent Design2021/10/1
- Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation2021/6/1