图像分割（深度学习）

Posted on | In | Views:
Symbols count in article: 13k | Reading time ≈ 12 mins.

转自图像分割综述【深度学习方法】

按分割目的划分

  • 普通分割

    将不同分属不同物体的像素区域分开。
    如前景与后景分割开，狗的区域与猫的区域与背景分割开。

  • 语义分割

    在普通分割的基础上，分类出每一块区域的语义（即这块区域是什么物体）。
    如把画面中的所有物体都指出它们各自的类别。

  • 实例分割

    在语义分割的基础上，给每个物体编号。
    如这个是该画面中的狗A，那个是画面中的狗B。

CNN图像语义分割一般流程：

  1. 下采样+上采样：Convlution + Deconvlution／Resize
  2. 多尺度特征融合：特征逐点相加／特征channel维度拼接
  3. 获得像素级别的segement map：对每一个像素点进行判断类别

图像分割网络结构比较

总结

  • FCN更像一种技巧。随着基本网络（如VGG， ResNet）性能的提升而不断进步。
  • 深度学习+概率图模型（PGM）是一种趋势。其实DL说白了就是进行特征提取，而PGM能够从数学理论很好的解释事物本质间的联系。
  • 概率图模型的网络化。因为PGM通常不太方便加入DL的模型中，将PGM网络化后能够是PGM参数自学习，同时构成end-to-end的系统。

资源

入门学习

  1. A 2017 Guide to Semantic Segmentation with Deep Learning 概述——用深度学习做语义分割
  2. 从全卷积网络到大型卷积核：深度学习的语义分割全指南
  3. Fully Convolutional Networks
  4. 语义分割中的深度学习方法全解：从FCN、SegNet到各代DeepLab
  5. 图像语义分割之FCN和CRF
  6. 从特斯拉到计算机视觉之「图像语义分割」
  7. 计算机视觉之语义分割
  8. Segmentation Results: VOC2012 PASCAL语义分割比赛排名

进阶论文

  1. U-Net [https://arxiv.org/pdf/1505.04597.pdf]
  2. SegNet [https://arxiv.org/pdf/1511.00561.pdf]
  3. DeepLab [https://arxiv.org/pdf/1606.00915.pdf]
  4. FCN [https://arxiv.org/pdf/1605.06211.pdf]
  5. ENet [https://arxiv.org/pdf/1606.02147.pdf]
  6. LinkNet [https://arxiv.org/pdf/1707.03718.pdf]
  7. DenseNet [https://arxiv.org/pdf/1608.06993.pdf]
  8. Tiramisu [https://arxiv.org/pdf/1611.09326.pdf]
  9. DilatedNet [https://arxiv.org/pdf/1511.07122.pdf]
  10. PixelNet [https://arxiv.org/pdf/1609.06694.pdf]
  11. ICNet [https://arxiv.org/pdf/1704.08545.pdf]
  12. ERFNet [http://www.robesafe.uah.es/personal/eduardo.romera/pdfs/Romera17iv.pdf]
  13. RefineNet [https://arxiv.org/pdf/1611.06612.pdf]
  14. PSPNet [https://arxiv.org/pdf/1612.01105.pdf]
  15. CRFasRNN [http://www.robots.ox.ac.uk/%7Eszheng/papers/CRFasRNN.pdf]
  16. Dilated convolution [https://arxiv.org/pdf/1511.07122.pdf]
  17. DeconvNet [https://arxiv.org/pdf/1505.04366.pdf]
  18. FRRN [https://arxiv.org/pdf/1611.08323.pdf]
  19. GCN [https://arxiv.org/pdf/1703.02719.pdf]
  20. DUC, HDC [https://arxiv.org/pdf/1702.08502.pdf]
  21. Segaware [https://arxiv.org/pdf/1708.04607.pdf]
  22. Semantic Segmentation using Adversarial Networks [https://arxiv.org/pdf/1611.08408.pdf]

综述

  1. A Review on Deep Learning Techniques Applied to Semantic Segmentation Alberto Garcia-Garcia, Sergio Orts-Escolano, Sergiu Oprea, Victor Villena-Martinez, Jose Garcia-Rodriguez 2017
  2. Computer Vision for Autonomous Vehicles: Problems, Datasets and State-of-the-Art
  3. 基于内容的图像分割方法综述 姜 枫 顾 庆 郝慧珍 李 娜 郭延文 陈道蓄 2017

Tutorial

  1. Semantic Image Segmentation with Deep Learning
  2. A 2017 Guide to Semantic Segmentation with Deep Learning
  3. Image Segmentation with Tensorflow using CNNs and Conditional Random Fields

视频教程

  1. CS231n: Convolutional Neural Networks for Visual Recognition Lecture 11 Detection and Segmentation
  2. Machine Learning for Semantic Segmentation - Basics of Modern Image Analysis

代码

Semantic segmentation

  1. U-Net (https://arxiv.org/pdf/1505.04597.pdf)
  2. SegNet (https://arxiv.org/pdf/1511.00561.pdf)
  3. DeepLab (https://arxiv.org/pdf/1606.00915.pdf)
  4. FCN (https://arxiv.org/pdf/1605.06211.pdf)
  5. ENet (https://arxiv.org/pdf/1606.02147.pdf)
  6. LinkNet (https://arxiv.org/pdf/1707.03718.pdf)
  7. DenseNet (https://arxiv.org/pdf/1608.06993.pdf)
  8. Tiramisu (https://arxiv.org/pdf/1611.09326.pdf)
  9. DilatedNet (https://arxiv.org/pdf/1511.07122.pdf)
  10. PixelNet (https://arxiv.org/pdf/1609.06694.pdf)
  11. ICNet (https://arxiv.org/pdf/1704.08545.pdf)
  12. ERFNet (http://www.robesafe.uah.es/personal/eduardo.romera/pdfs/Romera17iv.pdf)
  13. RefineNet (https://arxiv.org/pdf/1611.06612.pdf)
  14. PSPNet (https://arxiv.org/pdf/1612.01105.pdf)
  15. CRFasRNN (http://www.robots.ox.ac.uk/%7Eszheng/papers/CRFasRNN.pdf)
  16. Dilated convolution (https://arxiv.org/pdf/1511.07122.pdf)
  17. DeconvNet (https://arxiv.org/pdf/1505.04366.pdf)
  18. FRRN (https://arxiv.org/pdf/1611.08323.pdf)
  19. GCN (https://arxiv.org/pdf/1703.02719.pdf)
  20. DUC, HDC (https://arxiv.org/pdf/1702.08502.pdf)
  21. Segaware (https://arxiv.org/pdf/1708.04607.pdf)
  22. Semantic Segmentation using Adversarial Networks (https://arxiv.org/pdf/1611.08408.pdf)

Instance aware segmentation

  1. FCIS [https://arxiv.org/pdf/1611.07709.pdf]
  2. MNC [https://arxiv.org/pdf/1512.04412.pdf]
  3. DeepMask [https://arxiv.org/pdf/1506.06204.pdf]
  4. SharpMask [https://arxiv.org/pdf/1603.08695.pdf]
  5. Mask-RCNN [https://arxiv.org/pdf/1703.06870.pdf]
  6. RIS [https://arxiv.org/pdf/1511.08250.pdf]
  7. FastMask [https://arxiv.org/pdf/1612.08843.pdf]

Satellite images segmentation

Video segmentation

Autonomous driving

Annotation Tools:

Datasets

  1. Stanford Background Dataset[http://dags.stanford.edu/projects/scenedataset.html]
  2. Sift Flow Dataset[http://people.csail.mit.edu/celiu/SIFTflow/]
  3. Barcelona Dataset[http://www.cs.unc.edu/~jtighe/Papers/ECCV10/]
  4. Microsoft COCO dataset[http://mscoco.org/]
  5. MSRC Dataset[http://research.microsoft.com/en-us/projects/objectclassrecognition/]
  6. LITS Liver Tumor Segmentation Dataset[https://competitions.codalab.org/competitions/15595]
  7. KITTI[http://www.cvlibs.net/datasets/kitti/eval_road.php]
  8. Stanford background dataset[http://dags.stanford.edu/projects/scenedataset.html]
  9. Data from Games dataset[https://download.visinf.tu-darmstadt.de/data/from_games/]
  10. Human parsing dataset[https://github.com/lemondan/HumanParsing-Dataset]
  11. Silenko person database[https://github.com/Maxfashko/CamVid]
  12. Mapillary Vistas Dataset[https://www.mapillary.com/dataset/vistas]
  13. Microsoft AirSim[https://github.com/Microsoft/AirSim]
  14. MIT Scene Parsing Benchmark[http://sceneparsing.csail.mit.edu/]
  15. COCO 2017 Stuff Segmentation Challenge[http://cocodataset.org/#stuff-challenge2017]
  16. ADE20K Dataset[http://groups.csail.mit.edu/vision/datasets/ADE20K/]
  17. INRIA Annotations for Graz-02[http://lear.inrialpes.fr/people/marszalek/data/ig02/]

比赛

  1. MSRC-21 [http://rodrigob.github.io/are_we_there_yet/build/semantic_labeling_datasets_results.html]
  2. Cityscapes [https://www.cityscapes-dataset.com/benchmarks/]
  3. VOC2012 [http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php?challengeid=11&compid=6]

领域专家

  1. Jonathan Long
  2. Liang-Chieh Chen
  3. Hyeonwoo Noh
  4. Bharath Hariharan
  5. Fisher Yu
  6. Vijay Badrinarayanan
  7. Guosheng Lin
----------------------------- 我是有底线 ~..~ ------------------------------