F-01 観測データ取得
頭部カメラ (RGB/深度) と関節状態を時刻同期。20 ms 以内のドリフト、50 ms タイムアウトで破棄・再取得。
自然言語でヒューマノイドを動かす
制御AI (VLAモデル) システム
「左手で赤いブロックを右のトレイに置いて」。TF-VLA は Vision-Language-Action モデルを軸に、歩行・両手把持・安全ガード・学習パイプラインまでを一つの開発基盤にまとめた制御AIシステムです。
システムを開く (HMI) 導入・共同開発の相談 仕組みを見るVision-Language-ActionUnitree G1 モデルMuJoCoSmolVLA ファインチューニングISO 10218 / ISO/TS 15066 準拠設計
機能一覧 (F-01〜F-12)
設計書「制御AI (VLAモデル) システム 基本設計書・機能設計書」の 12 機能を、実行系・データ系・運用系に分けて実装しています。
F-02 指示理解・タスク管理
日本語 / 英語の指示をタスク定義に変換。使用する手の指定、歩行指示、曖昧なら確認要求、未定義は保留。
F-03 VLA 行動生成
観測と指示からアクションチャンク (両手 + 歩行の 11 次元 × 10 ステップ) を生成。デッドゾーン・安全域クリップ後に再検証。
F-04 動作実行・制御
チャンクを 125 Hz の関節目標へ補間し、冗長腕の IK を追従可能な範囲にクランプ。追従誤差と通信断を監視。
F-05 安全機能
E-Stop はハードウェア経路で動力遮断。ソフトガードで速度・トルク・作業域・自己衝突・人接近を多重化。停止応答 8 ms。
F-06〜F-09 データ系
遠隔操作デモの収録、品質フィルタと分割、SmolVLA のファインチューニング、分布内 / 分布外評価と合否判定。
F-10 デプロイ・モデル管理
ハッシュ検証付き分割配信、新旧並列ロードとスモークテスト、即時ロールバック。
F-11 監視・ロギング / F-12 校正
非同期アクションログとメトリクス、優先度付きアラート。頭部カメラの eye-in-head 校正 (再投影誤差 0.24 px)。
アーキテクチャ
実行系 (オンライン) とデータ系 (オフライン) を分離。実行系はロボットの制御周期に追従し、学習・評価・改善はオフラインで行います。
視覚・関節状態 (10〜50 Hz)→指示をプロンプト化→VLA がアクションチャンク生成→安全ガードが検証→ロボットへ送信 (125 Hz)→新しい観測で再推論
ロボット治具
実機 Unitree G1 (脚 6×2・腰 3・腕 7×2・Dex3 ハンド 7×2) の MuJoCo モデル。歩容生成、腕 7 自由度 IK、指の接触停止、しゃがみ・足踏み。
頭部カメラ (ロボット視点)
胴体に固定した egocentric カメラ。実機メッシュ・テクスチャ・影付きで描画し、ドメインランダマイゼーションで学習分布を広げます。
VLA バックボーン
SmolVLA (4.5 億パラメータ、Apache 2.0) を LeRobot でファインチューニング。π0 / GR00T N1 へ差し替え可能なポリシーインターフェース。
HMI (操作パネル)
指示入力、ロボット視点、全身状態、E-Stop、モデル切替を Web で提供。アクセストークン認証と監査ログ。
動作の様子
「赤いブロックを右のトレイに置いて」の一連の動作 (シミュレーション)。
安全設計
AI の出力は「補助動作」と位置づけ、本質安全は従来のハードウェア安全回路で担保します。
| 項目 | 設計 | 治具での実測 |
|---|---|---|
| 非常停止 | 安全 PLC 経由で動力を物理遮断 (ソフトウェア非依存)。オートリセット禁止 | 歩行中も即時停止、明示的リセットまで復帰しない |
| ソフト安全ガード | 関節・手先速度、トルク予測、作業域、両手の最小距離、人接近時の減速 | 停止応答 8 ms (要件 100 ms) |
| 推論の異常 | タイムアウト→安全停止、同一指示の即時リトライは 1 回 | 推論 130 ms (予算 500 ms) |
| アクセス制御 | 操作 API はトークン認証 + TLS、監査ログに操作元を記録 | 未認証 401 / 403、入力上限 422 / 413 |
検証結果 (シミュレータ治具)
開発中の数値をそのまま掲載しています。学習モデルの成功率は今後のデータ拡充で改善を進めています。
| 方針 | 成功率 | 備考 |
|---|---|---|
| スクリプト方針 (治具の基準) | 12 / 12 | 歩行・片手把持・対側トレイへの横歩き配置を含む。平均 7.6 秒 |
| SmolVLA ファインチューニング (1,070 エピソード, 10,000 step) | 1 / 20 | 歩行→停止と待機手の静止を獲得。対象特定が課題 |
| 安全ガード | 逸走 100% 停止 | 学習モデルの逸走を全件 8 ms で停止 |
VLA システム (操作パネル) を開く
シミュレータ治具上で稼働する TF-VLA の操作パネル (HMI) を公開しています。ロボット頭部視点を見ながら、自然言語の指示・歩行・手足の手動操作・非常停止を試せます。
アクセス
https://hmi.tf-vla.net/
閲覧 (状態・映像) は誰でも可能。ロボットを動かす操作にはアクセストークンが必要です。トークンは お問い合わせ から発行します。
できること
「左手で赤いブロックを右のトレイに置いて」「前に0.3m歩いて」などの指示、指のプリセット、しゃがみ・足踏み、非常停止と復帰、学習済みモデルへの切替。
注意
共有デモ環境のため同時に操作できるのは 1 人です。実機は接続されておらず、MuJoCo 上の Unitree G1 モデルが動作します。操作は監査ログに記録されます。
よくある質問
VLA モデルとは何ですか？
Vision-Language-Action モデルは、カメラ画像と自然言語の指示を入力として、ロボットの行動 (関節や手先の動き) を直接出力する基盤モデルです。従来の認識→計画→制御のパイプラインを一つのモデルで置き換え、タスクを言葉で再定義できます。
実機がなくても開発できますか？
はい。ロボット・カメラ・安全 PLC・遠隔操作をソフトウェア治具として実装し、MuJoCo で実機 Unitree G1 の 3D モデルを描画します。設計書の機能をローカル環境で検証したうえで、ROS 2 経由で実機へ移行する構成です。
どのモデルを使いますか？
オープンウェイトの VLA (SmolVLA / π0 / GR00T N1 系) をファインチューニングして制御バックボーンにします。ポリシーインターフェースで差し替え可能です。
対象となる作業は？
ピッキング・配置・箸詰め・整列などのマニピュレーションと、作業台への接近などの短距離歩行です。高速組立やサブミリ精度は対象外です。
お問い合わせ
導入検討、共同開発、デモのご依頼は Technology Frontier Co., Ltd. までご連絡ください。
株式会社 Technology Frontier (Technology Frontier Co., Ltd.)
メール: info@technologyfrontier.co.jp