GMO AI&ロボティクス商事株式会社

ヒューマノイドブログ

Unitree H2をゲームパッドから操作してみる

エンジニアブログ

Unitree H2をゲームパッドから操作してみる

Unitree の人型ロボット H2(身長 182 cm・約 70 kg)を、USB 接続のゲームパッド(Xbox コントローラなど)で操作するテレオペレーション環境を作りました。Unitree の純正プロコンは Bluetooth(2.4 GHz 帯)で接続しますが、今回は有線パッドと Wi-Fi の環境で Unitree H2 をオペレーションできることを目指しました。
この記事では、システム全体の構成と、70 kg の機体を安全に動かすために入れた設計判断をまとめます。

この記事でわかること

  • ゲームパッドから H2 の高レベル制御(loco サービス)を動かす構成
  • H2 にはハードウェアの非常停止がないので、それを前提にどう停止の層を重ねたか
  • H2 の FSM の実際の遷移と、「受け付けた」という応答が成功を意味しない理由
  • WebSocket(TCP)と UDP による通信と、5 GHz で実測したリンクの数値

検証環境

項目
値
ロボット
Unitree H2(182 cm・約 70 kg)
コントローラ
Xbox コントローラ(USB 有線)、F310r
SDK
Unitree SDK2(Python 版、CycloneDDS)
機内 PC2
Ubuntu + ROS 2 humble
リンク
5 GHz Wi-Fi 6(ベンチ作業時は有線)

前提:なぜ純正リモコンだけではないのか

  • H2 の純正プロコンは Bluetooth 接続のため、Bluetooth の利用が難しい環境ではそのままでは使えない
  • 検証環境では Bluetooth や 2.4 GHz 帯での利用が難しく、無線パッドは安定しない
  • ロボットのそばにいなくても、頭部カメラの映像を見ながら離れた場所から操作できるようにしたい
  • 歩行・旋回・モード切替・腕の動作を一人のオペレーターが手元で完結させたい
  • H2 にはハードウェアの非常停止ボタンがない。止める手段はシステムの設計で用意する必要がある
Unitree H2のプロコン

有線パッドと Wi-Fi の組み合わせにすると、Bluetooth に依存しないだけでなく、オペレーター PC がネットワークでつながる範囲であればロボットから離れた場所でも操作できます。ロボットの頭部カメラの映像を操作用の画面に表示できるので、カメラを使ったリモート操作が可能になります。この 2 点が、純正プロコンとは別に操作系を用意した大きな理由です。

純正リモコンは動作検証中も別の担当者が持ち、こちらのシステムを一切経由しない独立した停止経路として残しています。

全体構成

区間
経路 / 流れるもの
ゲームパッド → オペレーター PC(操作クライアント)
経路:USB / 流れるもの:ボタン・スティック入力
オペレーター PC → H2 PC2(制御サーバ)
経路:5 GHz Wi-Fi(UDP 50 Hz) / 流れるもの:速度指令とボタン操作
H2 PC2 → H2 PC1(loco サービス)
経路:機内有線(DDS) / 流れるもの:SDK 経由の指令

一番大事にしているのは、ゲームパッドから即時に操作でき、純正プロコン以上の操作感を出せるようにすることです。そのため、速度の上限や初期値、前後・左右(XY 方向)の操作の効き方などを、設定で調整できるようにしています。
そのための要素の一つがDDS を無線に流さないことです。CycloneDDS のマルチキャスト探索はアクセスポイント越しだと安定しません。そこで Unitree SDK のクライアントは機内の開発用 PC(PC2)で動かし、DDS は機内の有線ネットワークに閉じ込めます。無線に出るのは、速度 3 軸とボタン操作を載せた小さな指令パケットだけです。

構成要素は大きく 3 つです。

  • 操作クライアント(オペレーター PC):パッドの入力を速度指令に変換し、50 Hz で送り続ける
  • 制御サーバ(機内 PC2):指令を受け取り、上限で制限してから SDK 経由でロボットに渡す。指令が途切れたら停止させる
  • 操作用画面(オペレーター PC):クライアントの起動・停止、速度設定、ボタンの操作一覧、サーバの応答状況、頭部カメラの映像を表示する。ロボットには何も送らない

止める仕組みは何層あるか

層
依存するもの / 動作
SDK のコマンド有効期限(約 1 秒)
依存するもの:PC1 だけ / 動作:停止(立ったまま)
サーバのウォッチドッグ(300 ms)
依存するもの:PC2 / 動作:新しい指令が届かなければ停止
クライアント終了時の停止送信
依存するもの:リンク / 動作:停止指令を複数回送る(UDP は落ちることがあるので)
純正リモコンの damp
依存するもの:リモコン無線と PC1 / 動作:脱力して倒れる

速度指令は有効期限 1 秒で送り、それを 50 Hz で再送しています。SDK には期限なしで動き続けるモードもあり、そちらを使えば再送は不要です。ただしその場合、サーバが落ちても 1 秒以内に止まるという、自分たちのソフトウェアに一切頼らない保証がなくなります。そのため 50 Hz の再送は、最適化の対象ではなく安全機構として扱っています。

もう一つの原則は、自動処理で damp(脱力)を使わないことです。H2 の damp は脚の力が抜ける状態への遷移です。以前、通信が切れたときに damp していた頃、クライアントを普通に終了しただけでロボットが倒れました。いまは切断されても停止するだけで、立ったまま止まっている状態を安全な待機状態にしています。

スティックから速度へ

  • expo カーブ(1.5):スティックを半分倒すと上限の 0.51.5 ≈ 0.35 倍になります。低速域を細かく操作できるように、トリガーの代わりにこのカーブを入れました。低速域の刻みは実機で約 5 mm/s でした。
  • 楕円クリップ:各軸を個別に制限すると、斜めに倒したとき上限の約 1.4 倍が出てしまいます。前後と左右の合成ベクトルを楕円の内側に収め、向きは変えずに大きさだけを落とします。
  • 不正な値を受信時に拒否:NaN はどの境界と比較しても偽になるので、単純な上下限チェックをすり抜けてしまいます。
  • 両側で制限:サーバはネットワークから来た値を信用せず、自分が持っている設定の上限でもう一度制限します。
  • 上限と初期速度を分ける:サーバ側の上限とは別に、スティックを倒しきったときに出る速度を設定します。走行中に画面から変更できますが、上げる変更はスティックを戻すまで反映を保留します。

ボタン割り当て

操作
動作
左スティック
歩く(前進・後退)
右スティック
旋回(左右に倒すと少し前進を加えて旋回を安定させる)
RB(押している間)
slow(前後速度を下げる)
十字キー ← / →(押している間)
左 / 右旋回(録画データに基づく旋回)
LB + Y(0.2 秒長押し)
歩行モード:手ふり(FSM 601)
LB + X(0.2 秒長押し)
歩行モード:手なし(FSM 703)
Back + A(短押し)
拍手
Back + B(短押し)
ウルトラマンビーム
Back + Y(短押し)
手を振る
十字キー ↑(2 秒長押し)
Fixed Stand(FSM 4)
Start(2 秒長押し)
ダンプ(damp)

ゲームパッドは Xbox コントローラに限りません。Linux の標準的な入力の仕組みで読み取り、ボタンや軸の割り当ては設定で変えられるようにしているので、Logicool の F310r など、USB 接続のさまざまなゲームパッドで同じ操作ができます。上の表は Xbox コントローラのボタン名で書いています。

damp は、パッドで一番触りにくい奥まった Start ボタンに置き、2 秒の長押しを必須にしました。2 秒は純正リモコンがモード切替に使っている長押し時間と同じです。ハマりやすかった点として、Linux の Xbox パッドドライバでは物理ボタンの X と Y の内部名が直感と逆になっています。取り違えると、エラーは何も出ずに歩行モードが入れ替わります。そこで画面やログに出すボタン名は、実際の割り当てから生成するようにしました。

なお、当初は RB を押している間だけ動けるデッドマン方式でした。オペレーターの判断で現在は廃止しています。操作感は良くなりましたが、「指を離せば止まる」という停止手段が一つ減ったことになります。改善ではなくコストとして扱っています。

FSM と「受け付けた ≠ 成功」

現在の FSM
操作 / 遷移先
0 Invalid(起動直後)
操作:damp / 遷移先:1 Passive
1 Passive
操作:stand / 遷移先:4 FixStand
4 FixStand
操作:歩行モード選択 / 遷移先:601 HybridWalk / 703 PhaseWalk
601 / 703(歩行中)
操作:もう一方の歩行モード / 遷移先:703 / 601
601 / 703(歩行中)
操作:damp / 遷移先:1 Passive
  • 起動直後の FSM は 0 です。ここで stand を送ると「受け付けた」と返りますが、何も起きません。手順は damp → stand の順です。
  • 歩行状態から FixStand に戻る遷移はありません。歩行を抜ける方法は damp だけです。H2 は寝た姿勢から自力では起き上がれないので、検証中は常にクレーンを待機させています。
  • SDK のメソッド名と、ロボット自身が返す FSM 名はほとんど一致しません(SDK で「Squat」となっている操作は、ロボット上では FSM 2「Protection」になる、など)。名前はロボットが返す一覧を正としています。

H2 の速度指令への応答コードは、どの指令にも 0 です。値が常に同じなら、そこから得られる情報はありません。そこで FSM を変える操作はすべて、2 秒後に FSM を読み戻して確認しています。この確認を入れた初日に、「受け付けた」と返ったのに遷移していなかったケースを実際に検出しました。

録画したロボットの動作を学習して再生する

旋回には、実機での旋回を何度か録画し、そこから学習した結果を使った旋回データ(加速 → 一定速度 → 減速の速度波形)を利用しています。たとえば 703 の右旋回では 6 テイクを比べ、旋回角に 20° ほどの幅があっても見た目の評価は変わらないことが分かりました。データはロボット側(PC2)に置いています。検証する場所の Wi-Fi は事前に特性が分からないことがあるので、旋回の形が通信状況に左右されないよう、波形はロボット側で再生します。

その場で自動で旋回する動作を定義
  • 押している間だけ旋回:押すと加速部分を再生し、一定速度部分で再生を止めて押されている間その値を保持します。離すと減速部分を再生します。ループ再生にすると、データの長さごとに減速と加速を繰り返してしまいます。
  • 「離した」を伝える専用パケットは作らない:押している状態を 50 Hz の全パケットに載せ、サーバは状態の変化で離したことを検出します。1 パケット落ちても 20 ms 遅れるだけで、リンクが完全に切れたらウォッチドッグが止めます。
  • データは歩行モードごとに用意しています(601 は腕を振る歩き方、703 は振らない)。今のモードに対応するデータがなければ再生を拒否します。データの値もサーバの上限で制限します。
  • 録画データは値が変化したときしか記録されないので、加速・一定速度・減速の区切りの判定には注意が必要でした。実データで計算した数値を一つずつ確認したことで、離しても旋回が止まらない不具合を実機に載せる前に見つけられました。

トランスポート:UDP をメインに、WebSocket も選べる

トランスポートは UDP と WebSocket の 2 つに対応していて、設定で切り替えられます。メインで使っているのは UDP です。どちらを選んでも、送る内容(50 Hz の再送、シーケンス番号)とサーバ側のウォッチドッグは同じです。2 つの違いは次の表のとおりです。

障害
WebSocket (TCP) / UDP
正常終了
WebSocket (TCP):約 20 ms / UDP:約 20 ms(停止を複数回送信)
クライアントが強制終了された
WebSocket (TCP):約 20 ms(OS が切断を通知) / UDP:300 ms(ウォッチドッグ)
無線が切れた
WebSocket (TCP):TCP が気づくのは秒単位 / UDP:300 ms
パケットロス
WebSocket (TCP):ヘッドオブラインブロッキング / UDP:20 ms 後に次の値が届く

制御ストリームで欲しいのは最新の値で、全部が順番に届くことではありません。TCP は、パケットロスがあると古い速度指令を溜め込んでしまいます。そのため、メインには UDP を使っています。WebSocket は、切断がすぐ分かるという利点があるので、リンクの状況に応じて選べるように残しています。UDP でも、サーバが起動していないことは OS が返す ICMP エラーから分かるので、追加の通信なしで画面に「サーバ未起動?」と表示しています。

リンクの実測

経路
最大間隔 / ジッタ(stdev) / ロス
有線(ベンチ)
最大間隔:21 ms / ジッタ(stdev):0 ms / ロス:0%
5 GHz Wi-Fi 6(実運用の経路)
最大間隔:44 ms / ジッタ(stdev):2 ms / ロス:0%

300 ms のウォッチドッグに対して約 6.8 倍の余裕があります。計測には、SDK も DDS も使わない専用のリンクチェックツールを使っているので、稼働中のロボットの横でも安全に実行できます。注意したいのは、デュアルバンドの端末は黙って 2.4 GHz に落ちることがあり、タイミングの数値を見てもバンドは判別できない点です。実際に 5 GHz で接続されていることを、両端で直接確認しています。

操作用画面:「マウスではデッドマンを握れない」

動作検証では、デスクトップアイコンから操作用の画面を開きます。画面では、接続先サーバの指定とクライアントの起動・停止(START / STOP)、速度設定(前後・左右・旋回の速度、slow の倍率、expo、旋回時の前進量)の変更と設定ファイルへの保存、ボタンの操作一覧、サーバの応答時間と送信レート、頭部カメラの表示だけを行い、ロボットには何も送りません。画面上に damp ボタンを置くと、ワンクリックで 70 kg の機体の脚を抜けてしまうからです。ロボットを動かす操作はすべてパッドに限定しています。

カメラ映像は受信専用で、欠けたフレームの再送を求めない設定で受け取っています。再送を求める設定にすると、ロボット側が欠けたフレームを送り直そうとして、制御の通信と同じ無線リンクに不要なフレームが溜まってしまいます。

学んだこと

  • 「軸が動かない」は、指令値が歩行の閾値を下回っているだけのことが多い。R1 は前進 0.4 m/s では立ったままで、1.0 m/s で歩きました。H2 も横移動 0.3 m/s では動かず、1.0 m/s では問題ありませんでした。上限を下げるのではなく上げて確かめるべきでした。
  • API が存在して何も起きないときは、話しかけているサービスを疑う。H2 の腕の動作は、歩行を担う loco サービスではなく、別の arm サービスが担当していました。同じ番号の API でも、サービスが違えば意味も違います。
  • チェックと実運用で構成が違うと、チェックはチェック自身しか保証しない。リンクチェックツールはすべてのアドレスで待ち受けているのに、サーバは 1 つのアドレスでしか待ち受けていない、といったケースです。
  • ログが変化しか記録しないと、見えないものがある。「指令が送られなかった」と「同じ値が送られ続けた」はログ上では区別できないので、必要に応じてすべての指令を記録できるようにしています。
ヒューマノイド・ラボで動作テスト

所感と今後

無線に出すのは軽い速度指令だけにして DDS は機内に閉じ込め、停止はソフトウェアに頼らない層から順に重ねました。確認には、ロボットが返すコードではなく、読み戻した状態と人の目を使っています。この方針で、70 kg の人型ロボットをゲームパッド 1 つで扱えるようになりました。

実機でまだ測れていないものも残っています。サーバが強制終了されたときの停止距離(上限速度では最大でコマンド有効期限の約 1 秒分進みます)、指令した旋回角と実際の旋回角の比、多数の無線機器が飛び交う環境でのリンクの最悪値です。次はこれらを床のマーキングと実測で詰めていきます。

参考リンク

採用についてお知らせ

GMO AI&ロボティクス商事(GMO AIR)では、フィジカルAI・ロボティクスのリサーチエンジニア・リサーチサイエンティストを募集しています。ヒューマノイド実機を用いた研究開発から、お客様先への導入という社会実装まで幅広く携われるポジションです。ご興味をお持ちいただけましたら、ぜひ募集職種一覧からご応募ください。

  • ブログの著者
    新里 祐教
    GMO AI&ロボティクス商事株式会社 リサーチ&技術アドバイザー

当サイトでは利便性の向上を目的にクッキーを使用しています。クッキーポリシーの詳細は こちら をご覧ください。

拒否