Author

中村＠アールテクニカ

前回はRealSense(D415/D435)のデバイス情報について書きましたが、今回はデプスのポストエフェクトについて書きたいと思います。
artteknika.hatenablog.com

ポストエフェクト

RealSense ViewerのStereo Moduleのパネルには、「Post-Processing」の項目があり、取得したデプス情報に対しポストエフェクトをかけることができます。デプスデータは、その仕組み上ノイズが多かったり正常に深度が取得できない部分があったりしますが、ポストエフェクトをかけることでノイズを除去したりデータを補間することができます。
このポストエフェクトはSDKに含まれているので、自作アプリにも容易に導入できます。
SDKで用意されているポストエフェクトはいくつかありますが、ノイズやデータの欠落が多くてもおおむね補完してくれるHole Fillingフィルターを使ってみたいと思います。

Hole Filling フィルター

Hole Fillingフィルターは正常にデプスを取得できなかった部分のデータを穴埋めしてくれるフィルターです。
補間の仕方が異なるモードがいくつかあるのでそれぞれの特徴も比較してみたいと思います。

モード名	概要
Fill from Left	左側の画素で補完する
Farest from around	周辺の最も深度の深い画素で補完する
Nearest from around	周辺の最も深度の浅い画素で補完する

ソースコード

rs2::hole_filling_filterのオブジェクトを作成し、process()メンバ関数でフレームを処理するだけです。
モードは、rs2::hole_filling_filterのコンストラクタで指定します。

/*
* 0 - fill_from_left - Use the value from the left neighbor pixel to fill the hole
* 1 - farest_from_around - Use the value from the neighboring pixel which is furthest away from the sensor
* 2 - nearest_from_around - -Use the value from the neighboring pixel closest to the sensor
*/


bool apply_hole_filter = true;
int hole_filter_mode = 1;
rs2::hole_filling_filter  hole_filling(hole_filter_mode);

// フレームの取得
rs2::frameset data = pipe.wait_for_frames();
auto depth_frame = data.get_depth_frame();

if (apply_hole_filter) {
    depth_frame = hole_filling.process(depth_frame);
}

// デプスをRGB画像に変換
rs2::frame depth = color_map.process(depth_frame);