Joshua B. Tenenbaum

Massachusetts Institute of Technology

収録論文 70本 ・ フィジカルAI/ロボット学習

※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。

論文

• 制御へのコード合成：パラメータ化されたリアクティブコントローラの合成
  制御/プログラム合成2026/9/30

  LLMでコントローラの構造を合成し、パラメータを微分不要の探索で調整することで、実行時にLLM推論や計画を必要としないリアルタイム制御ポリシーを生成する手法を提案。

• EMPIRIC: ロボットプランニングのための実験駆動型残差世界モデル学習
  世界モデル2026/9/28

  物理エンジンに不足するメカニズムをコードとして学習し、ベイズ推論でパラメータを推定する残差世界モデルを提案。シミュレーションと実機でタスク解決性能を向上。

• PhyScensis: 物理エンジンで拡張されたLLMエージェントによる複雑な物理シーン配置
  シーン生成/LLMエージェント2026/2/1

  LLMエージェントと物理エンジンを組み合わせ、接触や支持・収納といった物理関係を考慮した複雑な3Dシーンを自動生成するフレームワークを提案。

• 環境レベルのクエリで世界モデル学習をベンチマークする
  世界モデル2025/10/22

  世界モデルが環境全体に関する多様なクエリに答えられるかを評価するWorldTestプロトコルと、43のグリッドワールド環境・129タスクからなるAutumnBenchを提案し、人間とAIモデルの性能差を明らかにした。

• ExoPredicator: ロボット計画のための動的環境の抽象モデル学習
  ロボット計画2025/9/1

  ロボットの行動だけでなく外部プロセスも同時に進行する動的環境において、記号状態表現と因果プロセスを同時に学習し、長期計画を可能にするフレームワークを提案。

• 神経記号的コンセプト
  VLA2025/5/1

  感覚入力と行動出力に基づく神経記号的コンセプトの語彙を用いて、継続学習と柔軟な推論が可能なエージェントを構築する概念中心の枠組みを提案。

• PickScan: 手持ち操作による物体発見と再構成
  3D再構成2024/11/1

  RGB-Dカメラで物体を持ち上げながら撮影し、物体ごとの3Dモデルを生成するクラス非依存な手法を提案。操作検出とマスク抽出により高精度な再構成を実現した。

• 大規模モデルによるキーポイント抽象化を用いた物体相対模倣学習
  模倣学習2024/10/1

  大規模視覚言語モデルを活用してタスクに関連し物体間で一貫したキーポイントを自動生成し、少数の実演データから物体姿勢や視点の変化に頑健な模倣学習を実現するフレームワークKALMを提案。

• VisualPredicator：ロボット計画のための神経記号的述語を用いた抽象世界モデルの学習
  ロボット計画2024/10/1

  記号と神経の知識表現を組み合わせた一階述語言語を提案し、述語をオンラインで発明しながら抽象世界モデルを学習する手法を開発。五つのロボットシミュレーション領域で階層強化学習や視覚言語モデル計画より優れたサンプル効率と分布外汎化、解釈性を示した。

• 心の理論を用いた人間とロボットの協調における実用的な音声指示追従
  VLA2024/9/1

  雑音や発音の乱れがある音声指示でも、環境の文脈と心の理論に基づく推論でロボットが実用的に従えるニューロシンボリックモデルSIFToMを提案し、シミュレーションと実環境で有効性を示した。

• ポテンシャルベース拡散運動計画
  運動計画2024/7/1

  ポテンシャルベースの運動計画をニューラルネットワークで学習し、拡散モデルを用いて局所解を回避しながら高次元空間での計画を可能にした手法を提案。

• Learning adaptive planning representations with natural language guidance
  2023/12/1
• Bayes3D: fast learning and inference in structured generative models of 3D objects and scenes
  2023/12/1
• Learning Reusable Manipulation Strategies
  2023/11/1
• Learning to Act from Actionless Videos through Dense Correspondences
  2023/10/1
• Video Language Planning
  2023/10/1
• HandMeThat: Human-Robot Communication in Physical and Social Environments
  2023/10/1
• Compositional Diffusion-Based Continuous Constraint Solvers
  2023/9/1
• ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning
  2023/9/1
• Tactile Estimation of Extrinsic Contact Patch for Stable Placement
  2023/9/1
• Neural Amortized Inference for Nested Multi-agent Reasoning
  2023/8/1
• Building Cooperative Embodied Agents Modularly with Large Language Models
  2023/7/1
• Inferring the Goals of Communicating Agents from Actions and Instructions
  2023/6/1
• Physion++: Evaluating Physical Scene Understanding that Requires Online Inference of Different Physical Properties
  2023/6/1
• DexDeform: Dexterous Deformable Object Manipulation with Human Demonstrations and Differentiable Physics
  2023/4/1
• PDSketch: Integrated Planning Domain Programming and Learning
  2023/3/1
• NeuSE: Neural SE(3)-Equivariant Embedding for Consistent Spatial Understanding with Objects
  2023/3/1
• 3D Concept Learning and Reasoning from Multi-View Images
  2023/3/1
• Tactile-Filter: Interactive Tactile Perception for Part Mating
  2023/3/1
• SoftZoo: A Soft Robot Co-design Benchmark For Locomotion In Diverse Environments
  2023/3/1
• ConceptFusion: Open-set Multimodal 3D Mapping
  2023/2/1
• NOPA: Neurally-guided Online Probabilistic Assistance for Building Socially Intelligent Home Assistants
  2023/1/1
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions
  2022/10/1
• Robust Change Detection Based on Neural Descriptor Fields
  2022/8/1
• Finding Fallen Objects Via Asynchronous Audio-Visual Integration
  2022/7/1
• Prompting Decision Transformer for Few-Shot Policy Generalization
  2022/6/1
• Learning Neuro-Symbolic Skills for Bilevel Planning
  2022/6/1
• RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation
  2022/5/1
• Contact Points Discovery for Soft-Body Manipulations with Differentiable Physics
  2022/5/1
• ComPhy: Compositional Physical Reasoning of Objects and Events from Videos
  2022/5/1
• Fixing Malfunctional Objects With Learned Physical Simulation and Functional Prediction
  2022/5/1
• Learning Neural Acoustic Fields
  2022/4/1
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools
  2022/3/1
• DURableVS: Data-efficient Unsupervised Recalibrating Visual Servoing via online learning in a structured generative model
  2022/2/1
• Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation
  2021/12/1
• Learning to Compose Visual Relations
  2021/11/1
• OPEn: An Open-ended Physics Environment for Learning Without a Task
  2021/10/1
• Incorporating Rich Social Interactions Into MDPs
  2021/10/1
• Discovering State and Action Abstractions for Generalized Task and Motion Planning
  2021/9/1
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing
  2021/9/1
• Learning Neuro-Symbolic Relational Transition Models for Bilevel Planning
  2021/5/1
• PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics
  2021/4/1
• The ThreeDWorld Transport Challenge: A Visually Guided Task-and-Motion Planning Benchmark for Physically Realistic Embodied AI
  2021/3/1
• Neural Radiance Flow for 4D View Synthesis and Video Processing
  2020/12/1
• Data-Efficient Learning for Complex and Real-Time Physical Problem Solving using Augmented Simulation
  2020/11/1
• ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation
  2020/7/1
• Noisy Agents: Self-supervised Exploration by Predicting Auditory Events
  2020/7/1
• Look, Listen, and Act: Towards Audio-Visual Embodied Navigation
  2019/12/1
• Accurate Vision-based Manipulation through Contact Reasoning
  2019/11/1
• DualSMC: Tunneling Differentiable Filtering and Planning under Continuous POMDPs
  2019/9/1
• Rapid trial-and-error learning with simulation supports flexible tool use and physical reasoning
  2019/7/1
• DensePhysNet: Learning Dense Physical Object Representations via Multi-step Dynamic Interactions
  2019/6/1
• Combining Physical Simulators and Object-Based Networks for Control
  2019/4/1
• Reasoning About Physical Interactions with Object-Oriented Prediction and Planning
  2018/12/1
• Learning Particle Dynamics for Manipulating Rigid Bodies, Deformable Objects, and Fluids
  2018/10/1
• ChainQueen: A Real-Time Differentiable Physical Simulator for Soft Robotics
  2018/10/1
• Propagation Networks for Model-Based Control Under Partial Observation
  2018/9/1
• 3D Shape Perception from Monocular Vision, Touch, and Shape Priors
  2018/8/1
• Augmenting Physical Simulators with Stochastic Neural Networks: Case Study of Planar Pushing and Bouncing
  2018/8/1
• Discovery and usage of joint attention in images
  2018/4/1