Games101(5)-成像相关知识
相机构成和原理
相机的实际构成部件非常复杂，这里主要介绍简化之后的模型。相机有两个重要部件，分别是快门Shutter和传感器Sensor：
- 快门Shutter：控制光在多少分之一秒内进入相机
- 传感器Sensor：用来捕捉光，记录Irradiance。注意传感器无法记录方向信息，因此如果需要成像，需要在传感器之前增加透镜，让来自实际物体同一点的信息最终能够到达传感器的一点(或者一小块区域，此时成像模糊)
最简单的成像原理是小孔成像，小孔成像成的是倒立的实象，现在的针孔相机就是使用小孔成像的原理制作的。需要注意的是，利用小孔成像拍出来的图像是没有深度信息的，它记录的图像所有地方都是锐利的，得不到带有景深的效果。
Field of View
接下来介绍Field of View，视场的概念。视场FOV指的是相机成像的角度范围。
在上面的图中，\(h\)表示传感器的宽度，\(f\)表示相机的焦距，那么视场FOV可以通过如下方式进行计算： \[ FOV = 2 \arctan{(\frac{h}{2f})} \] 当然这里我们考虑的是水平方向的可视角度，垂直方向上同样有类似的计算方式。可以看到，当焦距\(f\)越小，FOV角度越大，从而能够成像的范围也就越大，这也就是广角相机的原理。FOV的大小同时涉及\(h\)和\(f\)两个变量，但是有一种约定俗成的描述方式，就是固定\(h\)，直接使用焦距\(f\)来衡量FOV，这个固定的\(h\)指的是35mm格式的胶卷\((36\times 24 mm)\)。在实际传感器并不是这个大小的时候，我们仍然使用焦距来衡量FOV，这表示该相机的FOV相当于在35mm格式下，对应焦距的成像FOV。
Exposure
在辐射度量学中，我们说一直考虑的都是单位时间内的量，但是在实际相机的成像过程中，传感器感光一定会经过一个时间段。这个时间段我们就称为曝光(Exposure)时间。对应在实际情况中，如果在一个较暗的场景下，曝光时间越长，最终也能够得到一个比较亮的场景。
影响曝光的因素有很多，主要可以分为光圈的大小、快门的速度以及ISO感光度。
光圈大小(Aperture Size)可以理解为是挡光的程度，通常使用F-Number来描述光圈的大小，有计算公式\(N = f / A\)，其中\(f\)为焦距，\(A\)为光圈的直径。如果光圈越大，那么被遮挡的光就越少，进光量越多，从而曝光的程度越高。
快门速度即快门的开放时间，速度越快，那么快门开放的时间就越短，从而进光量越少，曝光程度越低。快门速度和物体运动速度相互影响，可以形成运动模糊的效果。假设物体在高速运动，在快门打开和关闭的时候，物体的位置已经发生了改变，那么这段中间过程就会被记录下来，由于传感器记录了最终的平均效果，从而得到了模糊。在同样的运行速度下，曝光时间越长，运动模糊越严重；在同样的曝光时间下，运动速度越快，运动模糊越严重。
利用快门速度，可以实现高速摄影和延时摄影。
高速摄影往往用于捕捉运动非常快的物体，此时需要使用非常小的快门速度(曝光时间)来捕捉运动，因此为了补偿曝光度，需要使用大光圈或者提高ISO。
延时摄影则使用非常长的快门时间，可以对物体的运动轨迹进行成像。但是需要注意控制小光圈和小ISO，防止过曝。
ISO感光度则可以理解为对Irradiance进行简单的线性变化，它可以对信号进行放大。但是需要注意，在放大信号的同时，噪声也会同步被放大。
透镜
下面开始介绍透镜。实际上，现代设备上的透镜不是一块简单的透镜，基本上都是由一组透镜构成。这里我们对模型进行简化，考虑理想的薄膜透镜，它具有如下的性质：
- 所有平行射入透镜的光都会集中于一点，这个点被称为焦点
- 所有从焦点射入透镜的光都会被平行射出
- 透镜可以任意改变焦距(现代设备使用透镜组可以模拟焦距改变)
上面是理想透镜的成像规律，\(f\)是焦距，\(z_i\)是像距，\(z_o\)是物距。利用理想透镜的成像规律，我们可以说明景深模糊的原理。在此之前，我们先简单介绍一下景深和弥散圆(Circle of Confusion,COC)。考虑物体上的某个点，理想情况下，来自这个点的光线被透镜折射之后应该会聚在成像平面的一个点上，即下图的image处。但是可能实际情况中，真正的传感器并没有位于理想成像平面上，此时光会继续传播，在传感器上成像一个范围(圆)，这样就会导致模糊的现象。通过计算可以知道CoC的大小与A有关，在这种情况下，光圈越大，看到东西越模糊。
继续考虑拍摄一个场景。假如来自场景中某个深度处物体的光经过透镜之后形成的COC相对较小，那么我们认为这段范围内看到的物体都是清晰的。这段范围就称为景深。可以推出，光圈越小，成像越清晰，从而景深的范围越大。
光场
全光函数
全光函数的提出背景来自于一个现象。假设我们现在朝着一个固定方向观察场景，可以得到一张类似2维图像的观察结果，假如我们将这张图像真实地放在面前，应该也能够得到同样的观察结果(类似VR)。全光函数(The Plenoptic Function)就是用来描述人眼看到的所有东西的。
- 假设在某个点，我们向某个方向看，那么使用\(P(\theta, \phi)\)可以描述我们所能看到的东西，其中使用的坐标为球谐坐标，函数值为光的intensity，此时可以理解为是对世界观察得到的灰度图片；
- 如果引入波长\(\lambda\)，那么就可以引入颜色，从而函数为\(P(\theta, \phi, \lambda)\)，此时可以理解为对世界观察得到彩色图片；
- 接下来继续引入时间\(t\)，\(P(\theta, \phi, \lambda, t)\)，引入时间信息后，就可以观察到一系列的结果，类似于从固定的点观察世界(电影)；
- 继续引入观察者的坐标\((V_x,V_y,V_z)\)，引入三维空间坐标，相当于可以在任意位置，在任意时间，从任意角度观察时间，得到\(P(\theta, \phi, \lambda,t, V_x,V_y,V_z)\)
也就是说，我们观察到的世界可以使用一个7维度的函数来表示出来，在任意位置，任意时间，从任意角度观察得到的不同颜色场景。
光场Light Field
考虑我们要观察一个物体，描述这个物体被观察的情况。可以理解为这个物体在一个包围盒中，它对包围盒上的任意位置，向任意一个方向都会投射出光线。如果有了这个信息，我们实际上就可以描述从任意方向看到这个物体的结果。光场实际上就是记录该物体在任意位置，向任意方向上发出的光的强度。
光场相机
光场相机就是一种利用光场原理工作的相机。光场相机最重要的功能是它可以支持后期的重新聚焦，包括动态调节聚焦，光圈等，这是因为光场相机记录了整个光场的信息。
在光场相机中，会有很多微透镜，它可以记录来自各个不同方向的光，这些光强的值被记录在透镜后方的传感器上，一个透镜会对应传感器的多个小区域(如果将小区域理解为像素)，这样就可以记录来自不同方向上光的值，也就是说此时记录的是有方向的Radiance。接下来如果要成像，就相当于每个微透镜取一条光线，将得到的结果记录在对应的输出像素上。此时实际上可以选择不同方向，类似于实际相机从不同方向进行拍摄。
相比于普通相机，光场相机的优点在于可以支持后期动态调节，甚至包括摄像机位置的重新调节；它的缺点在于分辨率较低，可以发现光场相机最终成像的分辨率与微透镜的个数有关。假设光场相机和普通相机使用同样的传感器，在普通相机中，一个像素的信息使用一个像素来记录；而在光场相机中，一个像素的信息需要使用100个像素来记录，因为来自不同方向的信息。光场相机的另一个缺点在于制作成本，其中微透镜属于精密仪器，制作成本较高。
