３次元計測システム、３次元計測方法及び３次元計測プログラム
| 国内特許コード | P180015037 |
|---|---|
| 整理番号 | (S2015-1503-N0) |
| 掲載日 | 2018年5月24日 |
| 出願番号 | 特願2017-519422 |
| 出願日 | 平成28年5月20日(2016.5.20) |
| 国際出願番号 | JP2016065084 |
| 国際公開番号 | WO2016186211 |
| 国際出願日 | 平成28年5月20日(2016.5.20) |
| 国際公開日 | 平成28年11月24日(2016.11.24) |
| 優先権データ |
|
| 発明者 |
|
| 出願人 |
|
| 発明の名称 | ３次元計測システム、３次元計測方法及び３次元計測プログラム |
| 発明の概要 | 投影光により投影光学系を介して２次元パターンが投影された計測対象物（４）を、カメラ（２）により撮像して得られた画像データと、計測対象物（４）の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより計測対象物（４）の奥行きを推定する３次元計測システム（１００）である。２次元パターンは投影光学系に設けられた符号化開口パターンを介して計測対象物（４）に投影される。計測対象物（４）の奥行きは、投影光学系と撮像手段の計測対象物（４）に対する視差に基づく画像マッチングを行うステレオ法と、計測対象物（４）の画像データにおける符号化開口パターンの光軸方向のボケに基づくＤｆＤ法の双方を適用した画像処理により推定される。 |
| 従来技術、競合技術の概要 |
近年、様々な分野で物体の３次元形状を計測する研究が盛んに行われている。中でも、装置の単純さとコストの観点から構造化光（パターン光）とカメラを用いたアクティブ３次元計測手法が主流となっている。アクティブ３次元計測手法では、計測対象となる物体へパターン光が投影され、その物体の表面で反射された光がカメラで観測される。さらに、パターン光により投影される元のパターンと物体上で観測されるパターンとの対応関係による三角測量で物体の３次元形状（フォーカス方向の奥行き）がカメラの撮像画像から復元される。対応関係の計算時間の効率化のために、２次元パターン光をビデオプロジェクタで投影する手法が多く提案されている(例えば、非特許文献１参照)。 しかし、ビデオプロジェクタは被写界深度が浅く、フォーカス方向の奥行きの計測レンジに制約が存在する。この計測レンジの制約を解決するために、被写界深度の深いレーザ光源を用いる手法が提案されている。しかし、レーザ光源を用いた場合には、特殊な光学系が必要になるため、用途に合わせた光学系を構築することが困難になる。 計測レンジの狭さを解消する他の手法として、観測パターンのボケから奥行きを推定するＤｆＤ（Depth from Defocus）法が提案されている（例えば、非特許文献２参照）。ＤｆＤ法は、観測パターンのボケを前提としているため、被写界深度による制約が少ない。しかし、この手法の計測装置では光源にアレイＬＥＤを用いるため、密なパターンを物体に投影することができず、得られる奥行きマップが疎であるという不都合があった。すなわち、ＤｆＤ手法は、奥行きの変化に対するパターンの変化がレンズの口径によって制限されるため、奥行き分解能が低いという不都合がある。また、奥行きの推定において逆畳込み処理を大量に行う必要があるため、計算量が膨大になるという不都合もあった。 ＤｆＤ法は、一般的にはカメラのボケに基づく手法として知られており、条件さえ揃えば１枚の画像から奥行きを推定することが可能である。しかし、ＤｆＤ法を良好に行うためには、計測対象に高周波なテクスチャが存在することが前提となるため、現実に適用できる範囲は限定的である。そこで、パターン投影光のボケと撮影カメラのボケの両方を数理的にモデル化し、リアルタイムに距離計測を実現するＤｆＤ法が提案されている（例えば、非特許文献３参照）。これは、市松模様状のパターンを物体に投影し、その撮影結果のボケからＤｆＤを行う方法であり、この方法によれば、計測対象にテクスチャが無くとも計測が可能になる。しかし、非特許文献３に記載の手法では、合焦距離の異なる２枚の画像を必要とし、レンズの撮像素子との間にプリズムを設置するなど、撮影側の光学系を工夫する必要があった。 また、プロジェクタの投影像のボケを解析し、投影面の奥行きを推定する手法が提案されている（例えば、非特許文献４参照）。この手法によれば、ライン状の投影パターンの位相をシフトさせながら画像を取得することで、撮影画像のピクセルごとの奥行きを推定することができる。しかし、この手法では、投影パターンを変更した複数枚の画像を必要とするため、動いている物体の奥行き計測が困難であるという不都合があった。 また、プロジェクタの投影光学系に符号化開口を装着することで生成される構造化光を利用した３次元計測方法が開示されている（例えば、非特許文献５参照）。この方法では、格子状に符号パターンが設けられた符号化開口をつけた光源でパターン投影し、計測対象物体上で観測された投影パターンのボケ具合を利用して、ＤｆＤにより各点の距離を求める。 下記非特許文献５に開示された方法では、投影パターンのボケの大きさ、すなわち点広がり関数（Point Spread Function、以下、ＰＳＦともいう）のスケールを規定するパラメータをスケールパラメータとして用いる。まず、複数の既知の奥行きにおいて実際に観測したボケ画像を用いて、それぞれの奥行きにおけるＰＳＦのスケールを獲得し、フィッティングにより正確なスケールパラメータを求めるキャリブレーションを行う。さらに、実際に物体に投影された構造化光による投影パターンを撮像し、撮像により得られた投影パターンの画像データを、キャリブレーションで得られたスケールパラメータに従って、奥行きによって異なるＰＳＦを用いた逆畳込み演算を行い、格子状に配置された各復元パターンがボケのない符号化開口の符号パターンに最も類似する奥行きを、推定結果として求める。 しかしながら、上記非特許文献５に開示された方法では、逆畳込み演算と類似度の計算をすべての奥行きについて行うため、計算量の多い逆畳込み演算の演算回数が膨大となって、計算時間が長くなってしまう。また、計算結果が不安定となることも起こる。 また、武田らは、単なるステレオ法においても、符号化開口の導入によりボケによる精度低下を抑制できることを示し、さらにＤｆＤ法とステレオ法とを融合した手法を提案した（例えば、非特許文献６、７）。 |
| 産業上の利用分野 |
この発明は、３次元計測システム、３次元計測方法及び３次元計測プログラムに関する。 |
| 特許請求の範囲 |
【請求項1】 投影光により投影光学系を介して２次元パターンが投影された計測対象物を、撮像手段により撮像して得られた画像データと、前記計測対象物の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより前記計測対象物の奥行きを推定する３次元計測システムであって、 前記２次元パターンは前記投影光学系に設けられた符号化開口パターンを介して前記計測対象物に投影されるとともに、 前記計測対象物の奥行きは、前記投影光学系と前記撮像手段の前記計測対象物に対する視差に基づく画像マッチングを行うステレオ法と、前記計測対象物の画像データにおける前記符号化開口パターンの光軸方向のボケに基づくＤｆＤ法の双方を適用した画像処理により推定されることを特徴とする３次元計測システム。 【請求項2】 前記参照画像データ群は、前記撮像手段により撮像して得られた画像データまたはシミュレーションにより算出された画像データである、 ことを特徴とする請求項１に記載の３次元計測システム。 【請求項3】 前記参照画像データ群は、前記投影光の光軸上の複数の位置に２次元平面を置いたときにそれぞれ前記撮像手段で撮像して得られた前記２次元平面の画像データを含む、 ことを特徴とする請求項２に記載の３次元計測システム。 【請求項4】 前記２次元平面は、前記投影光学系の光軸に直交している、 ことを特徴とする請求項３に記載の３次元計測システム。 【請求項5】 前記参照画像データ群は、 前記投影光学系の光軸に斜交する２次元平面を、前記光軸に対して複数の異なる角度でそれぞれ置いたときに得られる２次元斜面の画像データを含む、 ことを特徴とする請求項３に記載の３次元計測システム。 【請求項6】 前記２次元斜面の画像データは、 撮像部により撮像される前記２次元平面の参照画像データを部分的に合成することにより、作成される、 ことを特徴とする請求項５に記載の３次元計測システム。 【請求項7】 前記画像マッチングは、マッチング窓を用いて行われる、 ことを特徴とする請求項１に記載の３次元計測システム。 【請求項8】 前記２次元パターンは複数の異なる投影パターンを有し、 前記２次元パターンを構成する第１の投影パターンにより逆畳み込み演算を行わずに奥行き方向の探索範囲を決定するとともに、 前記２次元パターンを構成し、前記第１の投影パターンとは異なる第２の投影パターンにより、前記探索範囲において逆畳み込み演算を行うことによる画像の階層的復元法を用いて前記計測対象物の奥行きを推定する、 ことを特徴とする請求項１から請求項７のいずれか一項に記載の３次元計測システム。 【請求項9】 前記２次元パターン及び前記符号化開口パターンの組み合わせは、光学的に同じ方向に並ぶラインパターン列同士、２次元状に配列されたドットパターン同士、前記ラインパターン列と前記ドットパターンとの組み合わせのいずれかであり、前記２次元パターン及び前記符号化開口パターンの少なくとも一方は不規則なランダムパターンである、 ことを特徴とする請求項１から請求項８のいずれか一項に記載の３次元計測システム。 【請求項10】 前記２次元パターンには、 第１の色により形成された第１の２次元パターン群と、 第２の色により形成され、前記第１の２次元パターン群より空間周波数成分の高い第２の２次元パターン群と、 が含まれている、 ことを特徴とする請求項１から請求項９のいずれか一項に記載の３次元計測システム。 【請求項11】 前記２次元パターンには、 第１の色により形成された第１のラインパターン群と、 第２の色により形成され前記第１のラインパターン群と直交する第２のラインパターン群と、 が含まれている、 ことを特徴とする請求項１から請求項９のいずれか一項に記載の３次元計測システム。 【請求項12】 前記符号化開口パターンには、 前記第１の色の光のみを遮断するカラーフィルタを備えた第１の符号化開口パターンと、 前記第２の色の光のみを遮断するカラーフィルタを備えた第２の符号化開口パターンと、 が含まれている、 ことを特徴とする請求項１０または請求項１１に記載の３次元計測システム。 【請求項13】 前記撮像手段で撮像された前記計測対象物の画像データから得られる各色の画像データと、同じ色の前記参照画像データ群との間で前記マッチング窓を用いた画像マッチングを行うことにより、２次元パターンの結像位置を基準とする前記計測対象物の奥行きを求め、各色で求められた奥行きに基づいて、前記計測対象物の奥行きを推定する、 ことを特徴とする請求項１０から請求項１２のいずれか一項に記載の３次元計測システム。 【請求項14】 前記２次元パターンを構成するパターンの配列方向にずれるように、前記撮像手段の光学系の光軸が、前記投影光の光軸と非同軸に設定されている、 ことを特徴とする請求項１から請求項１３のいずれか一項に記載の３次元計測システム。 【請求項15】 前記２次元パターンは、 第１の方向から前記計測対象物に前記２次元パターンを投影する第１の投影手段と、 第２の方向から前記計測対象物に前記２次元パターンを投影する第２の投影手段と、により投影される、 ことを特徴とする請求項１３または請求項１４に記載の３次元計測システム。 【請求項16】 前記第１の投影手段と前記撮像手段との光軸のずれの方向が、前記第２の投影手段と前記撮像手段との光軸のずれの方向と直交する、 ことを特徴とする請求項１５に記載の３次元計測システム。 【請求項17】 前記撮像手段の光軸と前記投影光の光軸とが一致するように設定されている、 ことを特徴とする請求項１から請求項１３のいずれか一項に記載の３次元計測システム。 【請求項18】 投影光により投影光学系を介して２次元パターンが投影された計測対象物を、撮像手段により撮像して得られた画像データと、前記計測対象物の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより前記計測対象物の奥行きを推定する３次元計測方法であって、 前記２次元パターンは前記投影光学系に設けられた符号化開口パターンを介して前記計測対象物に投影されるとともに、 前記計測対象物の奥行きは、前記投影光学系と前記撮像手段の前記計測対象物に対する視差に基づく画像マッチングを行うステレオ法と、前記計測対象物の画像データにおける前記符号化開口パターンの光軸方向のボケに基づくＤｆＤ法の双方を適用した画像処理により推定されることを特徴とする３次元計測方法。 【請求項19】 投影光により符号化開口パターンが設けられた投影光学系を介して２次元パターンが投影された計測対象物を、撮像手段により撮像して得られた画像データと、前記計測対象物の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより前記計測対象物の奥行きを推定するコンピュータを、 前記計測対象物の奥行きを、前記投影光学系と前記撮像手段の前記計測対象物に対する視差に基づく画像マッチングを行うステレオ法と、前記計測対象物の画像データにおける前記符号化開口パターンの光軸方向のボケに基づくＤｆＤ法の双方を適用した画像処理により推定する推定部として機能させることを特徴とする３次元計測プログラム。 |
| 国際特許分類(IPC) |
|
| Fターム |
|
|
画像
※ 画像をクリックすると拡大します。 |
|
| 出願権利状態 | 公開 |
『 ３次元計測システム、３次元計測方法及び３次元計測プログラム』に関するお問合せ
- 国立大学法人 鹿児島大学 産学・地域共創センター知的財産・リスクマネジメント部門
- URL: http://www.rdc.kagoshima-u.ac.jp/
-
E-mail:
- Address: 〒890-8580 鹿児島県鹿児島市郡元一丁目21番24号
- TEL: 099-285-3881
- FAX: 099-285-3886
※ 同じキーワードでJ-STORE内を検索することが出来ます。→ J-STORE内を検索
