今回はSegnetを使って、自動運転にも使われているセマンティックセグメンテーションを試してみました。
Segnetとは
前回紹介したU-Netと同様、セマンティックセグメンテーション手法の一つで、以下の図のようなEncoder-Decoder構造を持ちます。
簡単に言うと、エンコーダというのは画像の特徴を抽出する部分、デコーダというのは抽出された特徴から、抽出したことによって抽象的になってしまった情報から、高解像度な画像を再構築する部分になっています。
Badrinarayanan, Vijay, Alex Kendall, and Roberto Cipolla. "Segnet: A deep convolutional encoder-decoder architecture for image segmentation." IEEE transactions on pattern analysis and machine intelligence 39.12 (2017): 2481-2495.
U-Netとの違いは？
U-Netと同じくエンコーダデコーダ構造を持つSegnetですが、大きな違いがいくつかあります。
まず一つは、デコーダブロック内です。U-Netでは、Deconvolutionを使用しているのに対し、Segnetでは、学習の不要なUnpoolingによって、計算の高速化を狙いつつ解像度を上げております。
Unpoolingとは
Unpoolingとは、Encoder層のMaxpooling時に、最大であった場所を保持しておき、Unpoolingでは、その部分を復元し、それ以外の部分を0にすることにより実現しております。メリットとしては、学習するパラメータがないので、メモリや計算コストの節約になります。
Skip connectionの有無
もう１点大きな違いは、スキップ構造の有無です。
以下にU-Netのネットワーク構造を示しますが、U-Netにはエンコーダブロックの途中の層からデコーダ構造にスキップする構造を持ちます。（グレー矢印）この狙いとしては、畳み込みを繰り返すことによって、完全に抽象化された特徴から高解像度な画像を復元するのではなく、もっと浅い層の高解像度な情報をスキップしてやることで、解像度を向上させる狙いがあります。
Segnetにはスキップ構造はありません。あったほうが良いのか、ない方がよいのか、後程結果を見ながら検討したいと思います。
Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.
結果
結果は以下のようになりました。
スキップ構造によって、高解像な画像が期待されているU-Netですが、かえってノイジーな結果になってしまっています。それに対し、Segnetでは、高解像度という点ではまだまだですが、安定した結果が出力されており、使い勝手はU-Netよりも良いように感じます。
まとめ
今回は、同じセマンティックセグメンテーションの手法であるSegnetとU-Netを比較しました。性能向上のため、ネットワークに様々な工夫がなされていますが、必ずしも狙い通りに動作するわけではないのが、AIの難しいところです。
AIの中身はブラックボックスになってしまっているので、人間が狙った通りにAIは学習しているのか？例外はないのか？といったところが現時点では完全に理解されていません。
自動運転のような命に関わるアプリケーションにおいては、そのあたりの研究も重要になってきています。
Segnet以外のセマンティックセグメンテーション例の紹介
FCNはセマンティックセグメンテーションとして提案された最初の論文ですが、それ以外にもいくつかセマンティックセグメンテーションのネットワークを紹介していますので、よければご覧ください。
ご意見、ご質問、調べてほしいことなどあれば、コメントください。
励みになりますので、お気に入り登録もよろしくお願いいたします！
