日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2609.18213

CANTABILE: ロボットピアノ演奏のための表現豊かなダイナミクス学習

CANTABILE: Learning Expressive Dynamics for Robotic Piano Performance

シェア:XThreadsFacebookLINEはてブBluesky

ロボットピアノ演奏において、音の強弱（ダイナミクス）を考慮したフレームワークを提案し、ベースラインより表現力豊かな演奏を実現した。

詳しい要約

1. どんなもの？

- ロボットによるピアノ演奏のための動力学を考慮したフレームワークCANTABILEを提案。 - 従来は音符の正確さ（ピッチとオンセット）のみで評価されていたが、表現力に不可欠なダイナミクス（強弱）を評価・報酬に組み込む。 - スコアから接触までのループを閉じ、打鍵時の角速度をMIDIベロシティにマッピング。 - ベロシティ忠実度報酬とオンセットカバレッジ報酬を組み合わせ、難しい音符を省略してダイナミクスを改善することを防ぐ。 - 凍結したダイナミクス対応ベースポリシーを、指のみの残差（alphaスケール）で微調整し、打鍵強度の適応を局所化。

2. 先行研究と比べてどこがすごい？

- 従来のロボットピアノ演奏は音符の正確さ（ピッチとオンセット）のみで評価され、表現力に必要なダイナミクスは報酬も評価もされていなかった。 - CANTABILEはダイナミクスを明示的に評価・報酬に組み込み、Velocity F1を0.06から0.34に向上。 - 51曲すべてで改善し、マッチした音符のベロシティ誤差を半減以上、参照音声とのlog-mel距離を8%削減。 - 強度ランダム化トレーニングにより、再トレーニングなしで実行時の演奏強度制御が可能。

3. 技術・手法の肝は？

- スコアから接触までのループを閉じる：ポリシーを今後のベロシティ目標で条件付け、打鍵時の各キーの角速度をMIDIベロシティにマッピング。 - 報酬設計：ベロシティ忠実度報酬とオンセットカバレッジ報酬を結合し、難しい音符を省略してダイナミクスを改善することを防止。 - 微調整：凍結したダイナミクス対応ベースポリシーに対し、alphaスケールの指のみの残差を適用し、打鍵強度の適応を名目上の音符実行から局所化。 - 強度ランダム化トレーニングにより、実行時の強度制御を実現。

4. どうやって有効だと検証した？

- EXPRESSIVE-51（RoboPianistのダイナミクス豊富な51曲サブセット）で評価。 - Velocity F1（ピッチ、オンセット、強度を±8 MIDIベロシティ許容内で同時評価）を0.06から0.34に向上。 - 51曲すべてで改善。 - マッチした音符のベロシティ誤差を半減以上。 - 参照音声とのlog-mel距離を8%削減。 - 強度ランダム化トレーニングにより、再トレーニングなしで実行時の演奏強度制御が可能であることを確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- RoboPianist（ベースライン） - EXPRESSIVE-51（評価データセット） - 関連手法：ダイナミクスを考慮したロボットマニピュレーション、強化学習による音楽表現、残差ポリシー学習

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Woosik Kim, Wonhyeok Choi, Sunghoon Im

分類: cs.RO

原文アブストラクト

Robotic piano playing has emerged as a standard benchmark for dexterous bimanual manipulation, yet progress on it has been measured almost entirely by note accuracy -- which keys are pressed (pitch) and when (onset) -- leaving the musical dynamics essential for expressive performance neither rewarded nor evaluated. We propose CANTABILE, a dynamics-aware framework for robotic piano performance that (i) closes the score-to-contact loop by conditioning the policy on upcoming velocity goals and mapping each key's angular velocity at onset back to MIDI velocity, (ii) couples a velocity-fidelity reward with an onset-coverage reward, so that dynamics cannot be improved by omitting difficult notes, and (iii) refines a frozen dynamics-aware base policy with an alpha-scaled, finger-only residual that localizes strike-intensity adaptation away from nominal note execution. On EXPRESSIVE-51, a dynamics-rich 51-song subset of RoboPianist, CANTABILE raises Velocity F1 -- jointly measuring pitch, onset, and intensity within a +/-8 MIDI-velocity tolerance -- from 0.06 to 0.34 over the RoboPianist baseline, improves all 51 songs, more than halves matched-note velocity error, and reduces log-mel distance to reference audio by 8%. Intensity-randomized training further enables runtime control of performance intensity without retraining.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI