Grasp Planning
センサで観測した対象物に対し、ハンドをどこにどの姿勢で接触させれば安定して保持できるかを決める処理である。従来は物体形状が既知であることを前提に力学的な把持品質指標を計算していたが、2017年のDex-Net 2.0は、解析的な把持指標で生成した合成データから深層ネットワークを学習させる方式を示した。
Dex-Net 2.0は、多数の3次元モデルから生成した670万件の点群と把持のペアを学習データとする。把持はRGB-Dセンサから見た平面上の位置、角度、深度で表現され、GQ-CNN（Grasp Quality CNN）が深度画像から各把持候補の成功確率を予測する。実機評価では、把持しにくい形状を持つ既知の8物体に対する1000回超の試行で93%の成功率、未知の家庭用品40物体に対して99%の精度が報告された。把持計画に要する時間は0.8秒で、点群を事前登録済みデータベースに位置合わせして把持を検索する方式より3倍速いとされる。
物流倉庫のピースピッキングや、ばら積み部品の取り出しの中核技術である。個別の物体を事前に登録せず未知物体を扱える点が、多品種の現場で導入の可否を分ける。ハンドの機構（吸着、平行二指、多指）と把持計画の設計は一体で評価する必要がある。