GMO AI&ロボティクス商事株式会社

ヒューマノイドブログ

ロボットハンドは、どのようにして「滑り」に気づくのか?【GelSight】

技術解説

ロボットハンドは、どのようにして「滑り」に気づくのか?【GelSight】

こんにちは、GMO AIR編集部です。この特集では、中島聡さんにフィジカルAIとロボティクスの最新の動向をご紹介いただき、GMO AIR編集部が解説します。第3回は、中島さんが「指先センサーの技術としては、こんなものもあります。カメラを使った、解像度の高いものです。」と紹介した、MITの触覚センサー「GelSight」です。

中島聡さん

早稲田大学大学院理工学研究科修了後、NTTの研究所に勤務。その後、マイクロソフトに入社し、Windows 95やInternet Explorerの開発に携わる。2000年に独立し、ソフトウェア企業を創業。現在もメルマガなどを通じて最新技術を発信している。人型ロボットはAI次第で何でもこなせる機械になり、そこから先はソフトの勝負になるとみて、フィジカルAIとロボティクスに注目している。

3行でわかるこの記事

  • MITの触覚センサー「GelSight」は、柔らかい膜に写し取った物の形を裏からカメラで撮り、立体として読み取る
  • 膜に印刷した点の動きから、押す力や横向きの力、ねじり、さらに物が滑りかけていることまで分かる
  • 物の形によらず力を読み取る役目をAIに任せる試みは、基本的な形ではうまくいったが、学習していない形にはまだ弱い

1. ロボットの指先が感覚を獲得する難しさ

手に持ったコップが滑りかけていれば、人は指先の感触ですぐに気づく。USBの端子を差し込むときも、向きが合っているかどうかを手探りで確かめられる。人の指は力の大きさを正確に測っているわけではないが、触れた物の形やきめ、柔らかさ、滑りやすさを感じ取っている。ロボットにとって、これはいまも難しい。

これまでのロボット用の触覚センサーが主に捉えてきたのは、物に触れているかどうかと、どこにどれだけの力がかかっているかである。GelSightを開発したMITの研究チームは、ロボットにとって形を知ることは力を知ることと同じくらい大事だと考えた。そのためには、物の形になじむ柔らかい表面と、細かな凹凸まで見分けられる細かさの両方が要る。

人の指が感じ取るものと、これまでの触覚センサーが捉えてきたもの
人の指は触っただけで形・きめ・柔らかさ・滑りかけを感じ取る。これまでの触覚センサーが主に捉えてきたのは、触れているかどうかと、力のかかる位置と大きさだった(図:GMO AIR編集部がAIで作成)

2. 解決策:触った感覚を画像として把握する

GelSightの発想は、触った感覚をカメラで撮ってしまうところにある。指先にあたる部分は、透明でゴムのように柔らかい素材の板に、光を反射する薄い膜をかぶせた作りになっている。ここに物を押し当てると、粘土に指紋の跡が残るように、膜に物の表面の凹凸が写し取られる。この膜を裏側からカメラで撮れば、触った面の形が1枚の画像として手に入る。

柔らかい膜に写った凹凸を、赤・緑・青の光の下で裏からカメラが撮る仕組み
柔らかい膜に物を押し当てると凹凸が写り、それを裏から赤・緑・青の光の下でカメラが撮る。触った面の形が1枚の画像になる(図:GMO AIR編集部がAIで作成)

画像から立体の形を取り出す鍵は、色の違う3つの光にある。赤・緑・青のLEDを別々の方向から当てておくと、膜の傾いた部分ごとに、どの色が明るく映るかが変わる。斜めから差す日の光が壁の凹凸に陰をつくるのと同じ理屈で、色の濃淡をたどれば面がどちらへどれだけ傾いているかが分かり、形を3Dで組み立て直せる。研究では、クッキーのオレオを押し当て、表面の模様まで立体として再現している。膜越しに撮るので、触る物の色やつやに左右されない。

GelSightの仕組み、最初に作られた卓上型、その中のLEDとカメラの並び
GelSightの仕組み(左)、最初に作られた卓上型(中央)、その中のLEDとカメラの並び(右)。物の形を写し取った膜を、いくつもの方向から当てた光の下で、真下のカメラが撮る(出典:Yuan ほか「GelSight」図2、CC BY 4.0)

ロボットの指先用の小型版は、市販のUSBウェブカメラを使い、18mm×14mmほどの範囲を撮る。小さくても、見分けられる細かさは人の皮膚をはるかに超える。

3. 画像からどうやって押された力まで読み取れるか

形が分かっても、どれだけの力で押されているかはまた別の話である。そこでGelSightの膜には、小さな黒い点が一面に印刷してある。点の動き方は、力のかかり方によって違う。真上から押す力では点が外側へ広がり、横へずらす力では点がそろって同じ方向へ動き、ねじる力では点が渦を巻くように回る。

押す力・横向きの力・ねじる力で異なる、膜に印刷した点の動き
膜に印刷した点の動き(黄色の矢印)。押す力では外へ広がり(左上)、横向きの力では同じ向きへずれ(右上)、ねじる力では回る(左下)。右下は膜を傾けるようにねじった場合(出典:Yuan ほか「GelSight」図3(b)を切り出し、CC BY 4.0)

点は、物が滑り出す前ぶれも教えてくれる。つかんだ物が滑り始めるとき、ずれは触れている面の外側から始まり、真ん中はまだ張り付いたままになっている。外側の点と真ん中の点の動きを比べれば、物が滑りかけていることに気づける。

真ん中と外側の点の動きの差で、滑りかけに気づく仕組み
真ん中は物に張り付いたまま一緒に動くので点が大きく動き、ずれ始めた外側の点はあまり動かない。この差が、滑りかけているサインになる(図:GMO AIR編集部がAIで作成)

ただし、点の動きと力の関係は、触る物の形によって変わってしまう。そこで研究チームは、画像を読み解く役目をAIに任せた。球や円柱、平らな面を押し当てた画像をたくさん学習させ、形が違っても力を言い当てられるようにした。学習に使っていない画像で試したところ、押す力も横向きの力も、実際の値に近い推定ができた。

力を測る市販のセンサーの上に固定したGelSightと、AIが推定した力と実際の力の比較
力を測る市販のセンサーの上にGelSightを固定し(左)、AIが推定した力と実際の力を比べた(右)。点が斜めの破線に近いほど、推定が当たっている(出典:Yuan ほか「GelSight」図14、CC BY 4.0)

4. 画像から力を読む方法には、どのような課題があるのか

いちばんの課題は、AIが学習した形の外に弱いことである。うまくいったのは基本的な形での話で、論文自身もこれを予備的な結果と位置づけている。学習していない形になると推定はまだ十分に当たらず、誤差の多くはここから生まれている。身の回りにあるさまざまな形の物に対応するには、もっと幅広いデータを集めるか、別の方法を考える必要がある。

作りの面にも課題が残る。センサーは1個ごとにわずかな個体差があるため、形を正しく測るには1個ずつ調整しなければならない。指先用に使っているUSBカメラは映像を圧縮して送るので、画像が届くまでに大きな遅れが出る。点の動きで滑りを見分ける方法がいちばんよく効くのも、平らな物か、曲がり方のゆるやかな物である。

GelSightに残る課題:学習していない形、個体差の調整、映像の遅れ
いちばん大きいのは、AIが学習していない形の力をまだうまく読めないこと。ほかに、センサーごとの個体差の調整と、USBカメラの映像が届くまでの遅れが残る(図:GMO AIR編集部がAIで作成)

よくある質問

Q. なぜカメラを使うのか。

A. カメラを使う触覚センサーは、配線や作り方が比較的やさしく、触れた位置を比較的細かく捉えられる。画像を扱う既存の技術をそのまま使えるのでソフトを作りやすく、取り付けも簡単である。

Q. GelSightは他の研究室でも作れるのか。

A. 研究チームは、他の研究室が同じものを作れるよう作り方を簡単にし、3Dプリント用の図面と作り方の詳細を公開している。2017年に作られた指先用の新しい版では、部品の多くを3Dプリンタで作れるようになり、手作業が大きく減った。技術はGelSight Inc.によって商用化もされている。

Q. どのような作業に役立つのか。

A. 論文は、布の手ざわりから同じ種類の布どうしを見分ける、押し当てたときの変化から物の硬さを推し量る、つかんだ物の滑りに気づく、USBの端子が手の中のどこにあるかをつかんで差し込みをうまくいかせる、といった研究を紹介している。

出典

論文の図(図2・図3(b)・図14)は、上の論文の図をCC BY 4.0のもとで転載した(図3は(b)のみを切り出した)。説明図4枚は、論文の内容をもとにGMO AIR編集部がAIで作成した。

この記事について

  • 監修:中島聡(Singularity Society)
  • 解説:GMO AIR 編集部

当サイトでは利便性の向上を目的にクッキーを使用しています。クッキーポリシーの詳細は こちら をご覧ください。

拒否