深度学习基本知识点

深度学习常见的基本问题

1. 对于 segmentation 任务有一个评价指标 pixel accuracy, 试问什么情况下该指标无法衡量模型的能力？

   • 答：考虑一张简单的图片，如果图片中大部分均为背景，只有极少部分像素是所需要分割出来的前景， 此时，如果模型将整张图片均预测为背景，由于整个图片的背景所占比例很大，因此模型关于该样本的 预测的 pixel accuracy 将很高，然而实际上我们更加关心前景，因此即使 pixel accuracy 很高， 但是模型却并不好。通过该案例我们可以知道，如果数据集/图片发生类别不平衡现象，模型有可能倾向于学习 占据数据集主要成分的类，因为学习该类会更加简单也更加快速，此时很容易发生将图片的大多数像素预测为 主要类，导致 pixel accuracy 很高但是对人类而言表现却很糟糕。

2. 语义分割提取特征的过程虽然能够增强语义信息，但是会失去空间细节信息，试举例解决方案。

   • 答：为了补偿空间信息，可以在上采样的过程中引入下采样过程的特征，用来补充空间信息，可以 采用残差链接(residual connection)，或者拼接(concatenation)等，例如，Feature Pyramid 结构。

3. 试问 Atours Convolution 的优点。

   • 答：Atrous Convolution 可以在保持卷积参数不变、不增加中间变量的情况下增大卷积核的感受野， 有利于提高计算效率。

4. 试举例缓解类别不平衡问题。

   • 答：可以采用数据增广、剔除部分主要类的样本、标记更多数据、设计良好的损失函数用于抑制容易学习 的类的学习速度(如 Focal Loss)等。

5. 什么是图像噪声？图像噪声的来源有哪些？

   • 答：图像噪声是图像中不规则的能够引起一定视觉效果的不和谐像素点或区域，一般与图像内容无关， 不包含图片真实信息甚至会扰乱对图像的观察。 图像噪声来源很多，包括成像、传输、电子元件等。成像方面，可能发生相机抖动等；传输 方面，可能会发生信道噪声干扰如高斯白噪声等；电子元件方面，受 CCD/CMOS 等元件的制造工艺、 材料属性，工作环境等的影响。

6. 什么是黑电平(black Level)？

   • 答：在将模拟数据转换成数字图象时，如果模拟数据对应的电平低于黑电平，那么该数据被转换成 数字图像之后就是0.