画像処理システムおよび画像処理方法
| 国内特許コード | P190016167 |
|---|---|
| 掲載日 | 2019年6月27日 |
| 出願番号 | 特願2014-527960 |
| 登録番号 | 特許第6270157号 |
| 出願日 | 平成25年6月28日(2013.6.28) |
| 登録日 | 平成30年1月12日(2018.1.12) |
| 国際出願番号 | JP2013004059 |
| 国際公開番号 | WO2014020823 |
| 国際出願日 | 平成25年6月28日(2013.6.28) |
| 国際公開日 | 平成26年2月6日(2014.2.6) |
| 優先権データ |
|
| 発明者 |
|
| 出願人 |
|
| 発明の名称 |
画像処理システムおよび画像処理方法
|
| 発明の概要 | 動物体の計測においても高密度な形状復元を行う。投影装置により観測対象上に投影された投影パターンを、撮影装置により撮影し、前記投影装置および前記撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理システムにおいて、前記画像処理装置が、前記撮影装置により撮影された入力画像を取り込み、前記投影装置により投影された投影パターンの線検出を行う手段であって、該投影パターンは、波線によるグリッドパターンであることと、前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行う手段とを備えた。 |
| 従来技術、競合技術の概要 |
最近、動く３次元シーンの復元が注目されている。例えば、人体を実時間計測してその動きを解析することにより、デバイスの装着が不要なインタフェースを実現するゲーム用製品が大きな成功を納めている（例えば、非特許文献１参照）。さらに、そのような製品を自律移動するロボットの目として利用する研究も進められており、動物体計測の重要性が強く認識されている。現在利用可能な動物体スキャナは、静的シーンを計測する３次元スキャナほど高精度・高密度な計測ができない。しかし、もう一段の精度および密度の向上が実現できれば、医療応用や流体解析など、応用範囲が格段に拡がると考えられる。 動いている対象の形状計測を行う方法は、カメラのみを用いるステレオ手法からTime-of-Flight（ＴＯＦ）方式によるレーザスキャンまで多数存在する。このうち、プロジェクタとカメラを用いるシステムによって構造化された光線を投影する手法は、動いている物体の形状データを得るのに適しているので、最近熱心に開発・研究されている（例えば、非特許文献１－４参照）。 構造化された光線を投影する手法は、大まかに時間符号化法と空間符号化法に分類される。空間符号化法は、単一画像から形状復元する（ワンショットスキャン）手法のため、動物体を高フレームレートで計測するのに適している。このため盛んに研究されている。空間符号化法においては、投影パターン全体の中から一意に特定可能な対応点情報を、２次元パターンに直接埋め込む。このためには、ある程度大きな領域が必要なため、復元密度が低くなりがちである。また、表面形状変化によるパターンのひずみ等による復号化誤りなども起きやすい。 効率的に対応点情報を２次元パターンに埋め込む方法として、色情報を使うことが考えられる。複数の色を用いて、複数のビット情報を各点に埋め込む方法は、広く利用されてきた（例えば、非特許文献３，５－８参照）。しかし、色情報を利用する場合、目標物体の表面はＲＧＢの各色要素を十分に反射する必要がある。また、市販のプロジェクタでは各色要素間のスペクトル分布が干渉するため、各画素の色の決定には誤差が生じやすい。このため、色を利用しない空間符号化手法として、点線パターンやグリッドパターンなどを利用する方法が提案されている。しかしながら、これまでのところ曖昧性や密度低下の問題を完全には解決できていない。 能動計測手法としては、ＴＯＦスキャナや能動ステレオによるシステムが一般に良く知られている。動物体の能動計測手法も、様々な手法が研究されている。多くのＴＯＦレーザスキャナでは、計測したい対象に向けて点レーザ光が照射され、このレーザ光が検出器に戻るまでの時間が計測される。このため、一度に一点のみが計測され、広い範囲を短時間で計測することには適さない。そこで、動物体などを計測するために、広範囲に対して時間的に変調された光を照射し、二次元センサーの各画素でその変調を観測することにより、距離画像の計測を実現する装置がある（例えば、非特許文献９，１０参照）。しかし、現状では他の光源による外乱に弱く、解像度も通常のカメラと比較して低い。 一方、能動ステレオによる計測手法では、多くの場合、点レーザ光あるいはラインレーザ光を照射し、これを走査することにより対象を計測する。このため、計測に時間がかかることから、動物体の計測には向いていなかった。ビデオプロジェクタなどの面状光源を利用することにより、計測時間を短縮することができるが、対応点問題を解く必要がある。その解決方法としては、大きく時間符号化方式と空間符号化方式とがある（例えば、非特許文献５参照）。 時間符号化方式では、複数のパターンを投影し、パターンの各点の時間変化の中に情報が符号化される。このため、動物体計測には適さないと言える。この欠点を補うためにいくつかの方法が提案されている。例えば、パターンを高速に切り替える方法（例えば、非特許文献１１参照）、位相パターンを用いて必要な枚数を減らす方法（例えば、非特許文献１２参照）、またはＤＭＤパターンを使う方法（例えば、非特許文献１３参照）等である。 また、通常の能動ステレオとは少し異なるアプローチとして、カメラを２台以上用いて、時間変化するパターンを照射する時空間ステレオ法（例えば、非特許文献１４参照）等も提案されている。現在、動き推定を組み合わせて、１００ｆｐｓ程度での計測に成功した例も紹介されている。しかしながら、複数フレームの情報を必要とするため、高速な物体の計測には本質的に適さない。 一方、空間符号化方式は、静的パターンを用いて、一枚のみの入力画像から形状を復元するため、動物体計測に向いている。しかし、パターンの空間的な領域に情報を埋め込む必要性から、解像度が低く。加えて、対象物体表面のテクスチャや形状によりパターンが歪むため、不安定になりやすい。このため、これを軽減する方法が多数提案されている。例えば、同じ組み合わせの無いように複数の色の帯を用いる方法（例えば、非特許文献１５，１６参照）、特異な点線を利用する手法（例えば、非特許文献１７，１８参照）、二次元的なパターンに情報を埋め込む手法（例えば、非特許文献１，１９参照）等がある。しかしながら、精度・解像度および安定性の全てにおいて十分な性能を満たしている手法は未だ存在していない。 |
| 産業上の利用分野 |
本発明は、画像処理システムおよび画像処理方法に関し、より詳細には、単色パターンによるワンショット三次元計測による高密度な形状復元を行う画像処理システムおよび画像処理方法に関する。 |
| 特許請求の範囲 |
【請求項1】 １つの投影装置により観測対象上に投影された投影パターンを、１つの撮影装置により撮影し、前記１つの投影装置および前記１つの撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理システムにおいて、前記画像処理装置が、 前記１つの撮影装置により撮影された入力画像を取り込み、前記１つの投影装置により投影された投影パターンの線検出を行う手段であって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する２方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、 前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行う手段と を備えたことを特徴とする画像処理システム。 【請求項2】 前記形状復元を行う手段は、 前記１つの撮影装置により撮影された入力画像における各々の格子点周辺の領域を接平面で近似したパッチを、前記１つの投影装置における出力画像に再投影する手段と、 前記再投影されたパッチと前記１つの投影装置により投影された投影パターンの格子点の対応候補とのステレオマッチングのエネルギーを、格子点に割り当てるデータ項と隣接格子点との間で得られる正規化項との和により計算する手段と、 前記対応候補のステレオマッチングのエネルギーが、最小の対応候補である格子点を、前記投影パターンと対応付けることにより形状復元を行う手段と を含むことを特徴とする請求項１に記載の画像処理システム。 【請求項3】 前記形状復元を行う手段は、 ３つの標本画素からなる三角メッシュを作成し、準画素単位の深さを計算する手段と、 前記三角メッシュを前記１つの投影装置における出力画像に再投影したときの誤差を、全ての標本画素について計算し、前記計算された誤差を最小化し、前記標本画素以外の画素における深さを線形補間する手段と を含むことを特徴とする請求項１に記載の画像処理システム。 【請求項4】 前記１つの撮影装置とは異なる第２の撮影装置をさらに備え、 前記形状復元を行う手段は、前記格子点についての前記１つの撮影装置および前記第２の撮影装置の間で得られる正規化項を、前記対応候補のステレオマッチングのエネルギーに加算して、前記対応候補を取捨選択する手段を含むことを特徴とする請求項２に記載の画像処理システム。 【請求項5】 前記形状復元を行う手段は、前記格子点について、前記１つの撮影装置および前記第２の撮影装置で得られた画素単位の深さを、平均により統合する手段を含むことを特徴とする請求項４に記載の画像処理システム。 【請求項6】 前記１つの投影装置とは異なる第２の投影装置をさらに備え、 前記形状復元を行う手段は、前記１つの投影装置から投影された第１の投影パターンと、前記第２の投影装置から投影された第２の投影パターンとで一致する格子点について、画素単位の深さを最適化する手段を含むことを特徴とする請求項１に記載の画像処理システム。 【請求項7】 前記形状復元を行う手段は、 前記格子点についての前記投影パターンと、前記線検出により得られた結果との差を、前記格子点の周囲の複数の位置で計算し、該計算された結果を前記対応候補のマッチングコストとして、最小の対応候補である格子点を、前記投影パターンと対応付けることにより形状復元を行う手段を含むことを特徴とする請求項２に記載の画像処理システム。 【請求項8】 前記投影パターンを前記観測対象に投影したときに、同じエピポーラ線上の任意の２つの交点についての類似度を比較し、最も類似度が低くなるように、前記投影パターンのパラメータが選択されていることを特徴とする請求項１に記載の画像処理システム。 【請求項9】 １つの投影装置により観測対象上に投影された投影パターンを、１つの撮影装置により撮影し、前記１つの投影装置および前記１つの撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理方法であって、 前記画像処理装置が、前記１つの撮影装置により撮影された入力画像を取り込み、前記１つの投影装置により投影された投影パターンの線検出を行うステップであって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する２方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、 前記画像処理装置が、前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行い、復元された画像を表示するステップと を備えたことを特徴とする画像処理方法。 【請求項10】 １つの投影装置により観測対象上に投影された投影パターンを、１つの撮影装置により撮影し、前記１つの投影装置および前記１つの撮影装置に接続された画像処理装置に、該投影パターンを含む入力画像から形状復元を行わせるコンピュータ実行可能命令からなるコンピュータプログラムにおいて、 前記１つの撮影装置により撮影された入力画像を取り込み、前記１つの投影装置により投影された投影パターンの線検出を行うステップであって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する２方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、 前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行い、復元された画像を表示するステップと を実行させることを特徴とするコンピュータプログラム。 |
| 国際特許分類(IPC) |
|
| Fターム |
|
|
画像
※ 画像をクリックすると拡大します。 |
|
| 出願権利状態 | 登録 |
| 参考情報 （研究プロジェクト等） | 知能システム研究部門 インタラクティブロボティクス研究グループ |
英語項目の表示
| 発明の名称 |
IMAGE PROCESSING SYSTEM, AND IMAGE PROCESSING METHOD
|
|---|
『 画像処理システムおよび画像処理方法』に関するお問合せ
- 国立研究開発法人産業技術総合研究所 ベンチャー開発・技術移転センター
- URL: http://www.aist.go.jp/aist_j/collab/patent/patent/tlo.html
-
E-mail:
- Address: 〒305-8560 茨城県つくば市梅園1-1-1 中央第一
- TEL: 029-862-6158
- FAX: 029-862-6159
※ 同じキーワードでJ-STORE内を検索することが出来ます。→ J-STORE内を検索
