フィジカルAI入門：模倣学習・強化学習・VLAと実機の壁

要旨

フィジカルAIは、物理世界の知覚・判断・行動に関わるAIを指す広い言葉である。ヒューマノイド専用の技術でも、ロボットを万能にする単一のモデルでもない。 アーム、移動ロボット、移動と操作を組み合わせた機体などに関係する。

重要なのは「どのAIを載せたか」だけではなく、何を入力し、どの行動を出し、どの条件で学び、失敗時に何が起きるか。機構・座標・認識・制御の基本はロボットの基礎で扱う。

本稿は概念と研究例の学習ノート。研究プロジェクトの実験結果を、量産設備の信頼性や安全性の証明として扱わない。

1. 関連する言葉を分ける

NVIDIAの用語解説では、物理世界を知覚・理解・推論し、行動する自律システムという広い説明が使われている。ただし企業の用語説明であり、統一された規格上の分類ではない。

言葉	このノートでの捉え方	注意点
ロボティクス	機構から認識・計画・制御・運用までを扱う分野	学習モデルを使わない手法も多い
ロボット学習	データや経験からロボットの能力を獲得する研究・技術	認識や動作など、学ぶ対象はさまざま
Embodied AI	身体や環境との相互作用を通じた知能の研究	仮想環境のエージェントも対象になり得る
フィジカルAI	物理環境での認識・判断・行動を支えるAIという広い概念	発信者によって含める範囲が異なる

従来のロボットもセンサーを使い、環境に応じて動いてきた。「以前は何も認識できず、今のAIで初めて自律化した」という二分法にはしない。

2. 言葉から実際の動きまで

「赤いカップを箱へ入れて」という指示を考えると、次のような情報のつながりが必要になる。

画像・機体の状態・言語指示など
              ↓
       認識・推論・行動の生成
              ↓
  手先や関節の目標、ハンドの開閉など
              ↓
     制御器・アクチュエータ
              ↓
       実世界で動く → 再観測

入力や出力は方式によって違う。画像だけでは見えない関節状態を使う構成もあれば、行動を一つずつではなく短い系列で生成する構成もある。

この流れには、出力の妥当性確認、異常検知、リスクに応じた安全関連制御を組み合わせる必要がある。単に上位モデルが「安全」と判断したことを、設備の安全機能の代わりにはしない。

3. どう学ぶか：模倣学習と強化学習

学び方	主な材料	得意とする考え方	難しい点
模倣学習	人や既存の制御器による実演	観測に対してどの行動を選ぶかを学ぶ	実演にない状態に外れると立て直せない場合がある
強化学習	環境との相互作用や記録済みデータ、報酬	長期的に望ましい結果を得る行動を学ぶ	試行コスト、報酬設計、望ましくない近道の学習

模倣学習の基本的な方法である行動クローニングは、実演の観測と行動の対応を学習する。わずかな動作の誤差で実演とは違う状態に進むと、その後の誤差が大きくなることがある。成功例の数だけでなく、状態の多様さや復旧の実演も重要になる。

強化学習は、ロボットに無制限に実世界で試行錯誤させるという意味ではない。シミュレーションや既存データを使う方法もある。高い報酬を得ても、本当に望む作業や安全条件を満たすとは限らないため、報酬と評価基準を分けて確認する。

両者は排他的ではない。実演で初期の行動を学び、その後に強化学習で改善する構成もある。また、認識の事前学習には画像や動画を用いた自己教師あり学習などが使われる。

4. VLMとVLA：何を出力するモデルか

モデル	主な入出力の捉え方	ロボットで使うときの注意
LLM	主に言語などから言語や構造化した出力を生成する	手順の説明だけでは、機体が実行可能とは限らない
VLM	画像と言語を結び付け、内容の説明や判断などを行う	対象物を言い当てても、正確な把持位置が分かるとは限らない
VLA	視覚・言語をロボットの行動出力に結び付ける	行動の表現、対応機体、学習データ、制御との接続を確認する

VLAはVision-Language-Actionの略。これは入出力やモデル構成に関わる呼び方で、模倣学習・強化学習という学び方とは分類の軸が違う。

OpenVLAは、画像と言語指示からロボットの行動を生成する研究例である。公開説明では、視覚エンコーダと事前学習済み言語モデルを組み合わせ、行動をトークンとして予測して連続値へ戻す構成が示されている。

これはすべてのVLAが同じ出力方式を使うという意味ではない。また、モデルが出す手先の移動量などと、モーターへ直接与える電流指令は別の段階である。機体への接続方法、座標、制御周期を合わせる必要がある。

5. Diffusion Policyと世界モデル

Diffusion Policyは、観測を条件にした行動の生成に拡散モデルを使う研究である。画像をつくるのではなく、行動の分布を学ぶ。短い行動系列を予測し、その一部を実行した後に再び観測して計画し直す構成が示されている。

同じ物体を左右どちらからでもつかめるなど、複数の妥当な行動がある場合を扱う考え方として重要になる。ただし、推論にかかる時間や、実演の範囲から外れた条件への対応は別に評価する。

世界モデルは、環境の状態や観測が、行動などによってどう変わるかを学習・予測するモデルを指す。計画、学習用の経験生成、将来の予測などに利用される。何を条件に何を予測するかはモデルごとに異なる。

見た目が自然な動画を生成できても、接触力、摩擦、寸法、時間的な因果関係が正確とは限らない。映像としてもっともらしいことと、機体を安全に動かすための予測として正しいことは違う。

物理方程式などで接触や運動を計算するMuJoCoのような物理エンジンとも区別する。学習されたモデルと物理シミュレーションを組み合わせることはあるが、同じものではない。

6. 学習データとSim-to-Real

ロボットの学習データでは、画像や文章だけでなく、「いつ、どの機体で、何を観測し、どの行動をして、どうなったか」が重要になる。

カメラ画像、関節状態、力などの観測。
行動の座標系、単位、周期、機体・ハンドの仕様。
作業指示、開始条件、成功・失敗・中断の判定。
操作者の介入、復旧、センサーや通信の異常。
撮影や利用の許諾、機密情報、データやモデルの利用条件。

データ件数が多くても、同じ物体・背景・動作に偏っていれば、別の環境で動く保証にはならない。学習と評価にほぼ同じ場面が混ざらないよう、物体・場所・収集日などを考慮して分ける。

Sim-to-Realは、シミュレーションで得た能力を実世界へ移すこと。画像だけでなく、摩擦、質量、接触、センサーのノイズ、制御遅延などに差がある。

対策には、条件を変えて学習するドメインランダマイゼーション、実測からモデルの値を合わせるシステム同定、実データでの追加学習などがある。ただし、想定していない差まで必ず吸収できるわけではない。

7. 研究例は条件付きで読む

資料・プロジェクト	確認できること	そこからは言えないこと
OpenVLA	複数の機体・作業での評価と、新しい条件への追加学習の例	未評価の機体や現場でも、そのまま所定の性能が出るとは言えない
Diffusion Policy	行動系列を生成する方式と、指定されたシミュレーション・実機タスクでの評価	あらゆる作業やモデルに対して優位とは言えない
NVIDIAのPhysical AI解説	提供企業が想定する概念と開発の流れ	特定の製品導入による効果を独立に検証した資料ではない

OpenVLAのプロジェクトページでは、評価した狭い単一指示のタスクでDiffusion Policyが強く、複数物体・言語指示を扱う条件では事前学習した方策が有利な例も示されている。この比較を、その実験条件を超えた一般的な順位にはしない。

OpenVLAは2024年、Diffusion Policyは2023年に発表された研究を入口にしている。2026年時点の最新モデル一覧ではなく、仕組みと比較方法を理解するための例である。

8. 実運用では何を評価するか

観点	確認したいこと
成功率	何回試したか、成功の定義、失敗・中断・やり直しを含むか
汎化	初めての物体・位置・背景・指示のうち、何を変えたか
作業品質	位置精度、傷、落下、対象物の変形が許容範囲か
時間	認識・推論・動作・待機・復旧までの合計、ばらつき
介入	人が何回・何分助けたか。遠隔操作と自律動作を区別したか
計算資源	メモリ、電力、発熱、通信依存、モデル更新の負担
異常時	見失い、把持失敗、通信断、再起動で何が起きるか
安全・保守	リスク評価、停止と再開、校正、変更管理、責任分担

短い動作の成功率と、長い一連の作業の成功率は違う。仮に各工程が独立に95%で成功し、10工程すべての成功が必要なら、一連の成功率は約60%になる。実際には失敗の相関や復旧もあるため、この数字は説明用の仮定であり、実機性能の予測ではない。

モデルは誤っていても確信のある出力を出すことがある。自己申告の確信度だけに頼らず、対象条件を明確にした評価と、異常を扱うシステム設計が必要になる。学習後に固定する構成と、稼働中にも更新する構成では、検証・変更管理の問題も異なる。

9. 学習の進め方

一つの作業について、モデルの入力・出力と機体の動作を図にする。
実演データの一例を読み、観測・行動・成功判定を区別する。
模倣学習と強化学習が何を材料に改善するかを説明する。
OpenVLAやDiffusion Policyの実験条件と失敗例を読む。
シミュレーションで条件を変え、学習時と評価時の差を記録する。
実機へ進む際は、教育・許可・安全対策・復旧手順を先に確認する。

最初から大型モデルや実機を購入する必要はない。公開資料とデータの構造を理解してから、目的・計算環境・機体に合う実験を選ぶ。工場での導入判断は工場ロボティクスの総論につなげて考える。

参考情報

確認日：2026年9月11日。研究者・提供企業による説明と実験報告を参照したもので、本稿で実験を再現したわけではない。

NVIDIA：What Is Physical AI?：用語の使われ方と、企業が説明する開発の流れ。
OpenVLA：研究プロジェクト：モデル構成、学習データ、機体ごとの評価、追加学習、比較実験。
Diffusion Policy：研究プロジェクト：行動の拡散モデル、行動系列の生成、実験条件と結果。
MuJoCo：公式サイト：物理シミュレーションとその用途。

全体像へ戻る / 基礎を確認する