Shan Luo
King's College London
収録論文 68本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- AVT-Fabric: 適応的証拠選択による能動的視触覚知覚で効率的なロボット布地比較触覚2026/9/18
RGB画像を起点に、比較の難易度に応じて触覚情報を追加取得するか判断する枠組みを提案し、布地比較タスクで高精度かつ効率的な視触覚推論を実現した。
- ロボットのための視覚ベース触覚知能：センシング、学習、身体化された操作触覚2026/8/16
視覚ベース触覚センサ（VBTS）のハードウェア、学習手法、シミュレーション、データセットを統合したレビュー論文。接触による変形を画像化するVBTSのパイプライン全体を俯瞰し、今後の課題と方向性を示す。
- VTLoc: 視覚点群における学習ベースの触覚接触位置推定触覚/視覚統合2026/7/1
触覚データと視覚点群を統合し、物体表面での接触位置を高精度に推定するフレームワークVTLocを提案した。幾何学的マルチモーダル整列と反復更新により、実世界100物体のベンチマークで精度を向上させた。
- HapTile: 接触を伴う模倣学習のための触覚情報を統合した視覚・触覚・言語・行動データセットデータセット/触覚/模倣学習2026/6/1
接触を伴う操作タスクの模倣学習向けに、指先触覚とオペレータへの触覚フィードバックを統合した視覚・触覚・言語・行動データセットを構築し、ベンチマーク評価も行った。
- 視覚-触覚を用いたペグ穴挿入の学習：ペグ引き抜き動作からの転移マニピュレーション2026/4/1
ペグ穴挿入作業を、より簡単な逆タスクであるペグ引き抜き動作の学習を利用して効率的に学習するフレームワークを提案。視覚と触覚の情報を統合し、成功率を向上させた。
- ViTac-Tracing: 変形物体のトレーシングのための視覚-触覚模倣学習模倣学習/触覚/変形物体2026/3/1
変形物体を1次元・2次元でトレースする統一モデルを、視覚と触覚の情報を組み合わせた模倣学習で実現した論文。局所的な触覚中心の接触維持と大域的なタスク進行の損失を導入し、低コスト遠隔操作システムに触覚を統合して汎用性と実世界での信頼性を向上させた。
- 単一視点点群からのエンドツーエンド器用把持学習：多物体シーンデータセットによるアプローチマニピュレーション2026/3/1
多物体シーンでの器用な把持を実現するため、単一視点の点群から把持構成を直接予測するエンドツーエンドネットワークDGS-Netと、それを訓練するための多物体シーンデータセットを提案した。
- UniForce: 多様な触覚センサに対応するロボットマニピュレーションのための統合力潜在モデル触覚2026/2/1
異なる触覚センサ間で共有される力の潜在空間を学習し、再学習なしでゼロショット転移可能な力認識マニピュレーションを実現する統合触覚表現フレームワークを提案。
- UniMorphGrasp: 形態認識拡散モデルによるクロスエンボディメント巧みな把持生成マニピュレーション2026/2/1
多様なロボットハンドの把持を人間の手の標準ポーズに統一し、ハンド構造をグラフで条件付けた拡散モデルで、未知のハンドにも汎化する把持生成を実現した。
- MagicSkin: 半透明スキンでマーカー有無のトレードオフを解消する視覚触覚センサ触覚2025/12/1
半透明の着色マーカーを触覚スキンに用いることで、マーカーあり・なしの両モードの長所を両立し、物体・テクスチャ分類、接線変位追跡、力予測を同時に高精度化した。
- Vision-Language-Actionモデルの解剖学：モジュールからマイルストーン、課題までVLA2025/12/1
VLAモデルの基本構成から歴史的発展、そして表現・実行・汎化・安全性・データセットと評価という5大課題を整理したサーベイ論文。
- SimTac：生体模倣構造を持つ視覚ベース触覚センシングの物理シミュレータ触覚2025/11/1
生体の触覚構造に着想を得た形状の触覚センサを設計・検証するための物理シミュレータを提案し、物体分類や滑り検出などのSim2Realタスクで有効性を示した。
- ViTacGen: 視覚から触覚を生成するロボット押し動作マニピュレーション2025/10/1
視覚画像から触覚情報（接触深度画像）を生成し、強化学習に統合することで、実触覚センサーなしでロボットの押し動作を実現するフレームワークを提案。
- OVGrasp: マルチモーダル意図検出によるオープンボキャブラリ把握支援把持支援/外骨格/マルチモーダル2025/9/1
RGB-D視覚・オープンボキャブラリプロンプト・音声コマンドを統合し、未学習物体でもゼロショットで把持意図を推定するソフト外骨格型把持支援フレームワークを提案。
- CEDex: 人間らしい接触表現から大規模なクロスエンボディメント巧みな把持を生成マニピュレーション2025/9/1
人間の把持接触データを学習した生成モデルとロボット運動学を組み合わせ、任意のロボットハンド向けに人間らしい巧みな把持を大規模生成する手法を提案し、50万物体・2000万把持のデータセットを構築した。
- TacEva：視覚ベース触覚センサの性能評価フレームワーク触覚2025/9/1
視覚ベース触覚センサ（VBTS）の性能を定量的に評価するためのフレームワークTacEvaを提案し、複数のセンサに適用して有効性を示した。
- Embodied Arena：具現化AIのための包括的・統合・進化型評価プラットフォーム評価基盤2025/9/1
具現化AIの能力を3階層・7能力・25次元で体系化し、22のベンチマークと30以上のモデルを統合評価する進化型プラットフォームを構築した。
- 触覚ロボティクス：展望触覚2025/8/1
触覚センシング技術の現状と課題を整理し、製造・医療・リサイクル・農業などへの応用に向けた今後の方向性を展望した論文。
- MLLM-Fabric：マルチモーダル大規模言語モデルによる布地の選別・選択ロボットフレームワークマニピュレーション2025/7/1
マルチモーダル大規模言語モデルを活用し、RGB画像と視触覚・圧力データから布地の特性をランク付けして選別・選択するロボットシステムを提案し、220種の布地データセットを公開した。
- ConViTac: 対照表現による視覚・触覚融合の整合触覚2025/6/1
視覚と触覚の入力を自己教師あり対照学習で統一潜在空間に射影し、クロスモーダル注意で融合を整合させる表現学習ネットワークを提案。実世界の材質分類と把持予測で最大12%の精度向上を達成した。
- 透明物体把持支援のためのマルチモーダル軟体外骨格グローブMultiClearマニピュレーション2025/4/1
RGB-Dカメラとマイクを備えた軟体外骨格グローブで、視覚・聴覚・触覚を融合し透明物体の把持を支援するシステムを提案した。
- 点群を用いたソフトハンド外骨格の把持制御把持/外骨格2025/4/1
深度知覚による点群から把持対象を予測し、幾何モデルに基づいてソフトハンド外骨格の次の制御状態を決定する視覚ベースの予測制御フレームワークを提案した。
- 触覚センサ間で力覚を相互学習させるフレームワークGenForce触覚2025/3/1
触覚信号を共通のマーカー表現に統一することで、あるセンサで学習した力予測モデルを他のセンサへ転移可能にし、把持や滑り検出などの力制御を実現した研究。
- ViTacTip：透明スキンと生体模倣チップを備えたロボットマニピュレーション用マルチモーダルセンサの設計とベンチマーク触覚2025/1/1
透明スキンと生体模倣チップで視覚・近接・触覚・力覚を同時に取得する小型センサViTacTipを設計し、GANによるモダリティ間変換と多タスク学習でその性能を実証した論文。
- ManiSkill-ViTac 2025：視覚と触覚を用いたマニピュレーション技能学習チャレンジ触覚2024/11/1
触覚と視覚を融合させた接触の多いマニピュレーション技能学習を競うチャレンジを開催し、触覚操作・視触覚融合・触覚センサ設計の3部門で評価する。
- ManiSkill3: 汎化可能な身体性AIのためのGPU並列ロボティクスシミュレーションとレンダリングsim2real2024/10/1
接触の多い操作タスク向けに、シミュレーションとレンダリングをGPUで並列化した高速ロボティクスシミュレータManiSkill3を開発し、12分野の多様なタスクとデモデータ、ベースラインを提供した。
- RoTip: 能動回転機能を備えた指型触覚センサ触覚2024/10/1
指型の視覚ベース触覚センサに独立制御の関節と回転機能を持たせ、柔軟物を含む物体操作を可能にした研究。
- TransForce: 視覚触覚センサのための画像変換による転移可能な力予測触覚2024/9/1
視覚触覚センサの画像と力のペアデータを、照明色やマーカーパターンの異なる新センサに転移し、時系列画像変換と再帰モデルでせん断方向を含む高精度な力予測を実現した。
- マーカーかマーカーレスか？多様なロボットタスクのためのモード切替可能な光学触覚センシング触覚2024/8/1
光学触覚センサのマーカー/マーカーレスモードを生成モデルと回帰モデルで相互変換し、単一センサで知覚と操作の両タスクを可能にした。
- 光学式触覚センサの力校正に向けた深層ドメイン適応回帰触覚2024/7/1
校正済みの光学式触覚センサから未校正のセンサへ力予測能力を転移する深層ドメイン適応手法を提案し、マーカーや照明、弾性体の違いを超えて高精度に3軸力を校正できることを示した。
- 視覚・音声・触覚のクロスモーダル検索に関するケーススタディマルチモーダル検索2024/7/1
視覚・音声・触覚の3モダリティを統合し、優勢モダリティ選択で表現の識別性を高めるクロスモーダル物体検索モデルVAT-CMRを提案した。
- Transformerベースの触覚制御方策による安定把持の学習触覚2024/7/1
触覚フィードバックから回転ずれや滑りを検出し、重心が未知で移動する物体に対して把持位置と把持力を同時に最適化するTransformer強化学習フレームワークを提案し、シミュレーションと実機でゼロショット転移を実現した。
- 視覚と触覚の融合：信号処理の観点から見た視触覚センサの最新レビュー触覚2024/6/1
視触覚センサを信号処理の観点から包括的にレビューし、ハードウェアだけでなく処理手法の重要性を示して今後の研究方向を展望した。
- RoTipBot: 回転可能な触覚センサを用いた薄く柔軟な物体のロボットハンドリング触覚2024/6/1
回転する触覚センサRoTipを指先に搭載し、薄く柔軟な物体を複数枚同時に把持・計数できるロボットシステムを開発した。従来法より高成功率かつ最大3倍高速に動作する。
- 視覚触覚センサを用いた柔軟接触シミュレーションと変形物体操作学習変形物体操作2024/5/1
視覚触覚センサをエンドエフェクタに用い、弾性・塑性・弾塑性変形を再現するシミュレータで強化学習と模倣学習を行い、実機へ転移して変形物体操作を90%の成功率で実現した。
- FOTS: 触覚-運動ロボット操作スキルのSim2Real学習のための高速光学触覚シミュレータ触覚2024/4/1
光学触覚センサの画像生成とマーカー運動を高速にシミュレートするFOTSを提案し、MuJoCoと統合してペグ挿しタスクでゼロショットSim2Real学習を実現した。
- PointGrasp：腱駆動ソフトロボットグローブのための点群ベース把持ソフトロボティクス2024/3/1
RGB-DカメラとIMUを腱駆動ソフトロボットグローブに統合し、3D点群から家庭内物体の形状を解析して把持対象をリアルタイムに特定するシステムを提案した。
- 未来観測生成による混雑環境での把持成功率推定マニピュレーション2024/3/1
把持成功を直接推定するモデルフリー手法と、自己教師あり予測モデルで把持後の未来画像を生成して推定するモデルベース手法を比較し、後者が82%と高い精度を示した。
- ViTacTip: Design and Verification of a Novel Biomimetic Physical Vision-Tactile Fusion Sensor2024/2/1
- Leveraging Multi-modal Sensing for Robotic Insertion Tasks in R&D Laboratories2023/7/1
- Learn from Incomplete Tactile Data: Tactile Representation Learning with Masked Autoencoders2023/7/1
- Multimodal Zero-Shot Learning for Tactile Texture Recognition2023/6/1
- Beyond Flat GelSight Sensors: Simulation of Optical Tactile Sensors of Complex Morphologies for Sim2Real Learning2023/5/1
- Robotic Perception of Transparent Objects: A Review2023/4/1
- Vis2Hap: Vision-based Haptic Rendering by Cross-modal Generation2023/1/1
- Tacchi: A Pluggable and Low Computational Cost Elastomer Deformation Simulator for Optical Tactile Sensors2023/1/1
- Where Shall I Touch? Vision-Guided Tactile Poking for Transparent Object Grasping2022/8/1
- A4T: Hierarchical Affordance Detection for Transparent Objects Depth Reconstruction and Manipulation2022/7/1
- Visual-Tactile Multimodality for Following Deformable Linear Objects Using Reinforcement Learning2022/4/1
- Multimodal perception for dexterous manipulation2021/12/1
- Reducing Tactile Sim2Real Domain Gaps via Deep Texture Generation Networks2021/12/1
- GelTip Tactile Sensor for Dexterous Manipulation in Clutter2021/12/1
- Robotic Perception of Object Properties using Tactile Sensing2021/12/1
- Vision-Guided Active Tactile Perception for Crack Detection and Reconstruction2021/5/1
- TouchRoller: A Rolling Optical Tactile Sensor for Rapid Assessment of Large Surfaces2021/3/1
- Generation of GelSight Tactile Images for Sim2Real Learning2021/1/1
- Spatio-temporal Attention Model for Tactile Texture Recognition2020/8/1
- GelTip: A Finger-shaped Optical Tactile Sensor for Robotic Manipulation2020/8/1
- Surface Following using Deep Reinforcement Learning and a GelSightTactile Sensor2019/12/1
- GarmNet: Improving Global with Local Perception for Robotic Laundry Folding2019/7/1
- Fly Safe: Aerial Swarm Robotics using Force Field Particle Swarm Optimisation2019/7/1
- Fully Convolutional One-Shot Object Segmentation for Industrial Robotics2019/3/1
- "Touching to See" and "Seeing to Feel": Robotic Cross-modal SensoryData Generation for Visual-Tactile Perception2019/2/1
- iCLAP: Shape Recognition by Combining Proprioception and Touch Sensing2018/6/1
- ViTac: Feature Sharing between Vision and Tactile Sensing for Cloth Texture Recognition2018/2/1
- Robotic Tactile Perception of Object Properties: A Review2017/11/1
- Iterative Closest Labeled Point for Tactile Object Shape Recognition2017/8/1
- Localizing the Object Contact through Matching Tactile Features with Visual Map2017/8/1