结构光三维重建从入门到精通学习路线

以下这些干货资料，主要整理自「3D视觉从入门到精通」知识星球：3D视觉工坊

一 视频教程

1.1 基于结构光投影三维重建技术系列视频

视频地址：https://t.zsxq.com/AQbIYBi

其他主讲老师:

1、张琼怡 ，北京航空航天大学仪器科学与光电工程学院在读硕士，研究方向为结构光投影三维测量，高反光表面三维测量。

2、杨博 ，深大在读博士，在条纹投影三维重建领域有4年科研经历。

绪论：https://t.zsxq.com/zv7Mvbi

第一章)基于格雷码结构光投影的三维传感技术：https://t.zsxq.com/nmIU3Bi

第二章)基于格雷码结合相移技术的动态三维传感方法： https://t.zsxq.com/uNjyBEQ

第三章)几种时间相位展开方法的基本原理及方法比较； 上篇：https://t.zsxq.com/NJi2juf 下篇：https://t.zsxq.com/MjMrFqr

第四章)双目立体匹配三维重建方法：https://t.zsxq.com/iY76mMZ

第五章)结构光测量系统的标定： 上篇：https://t.zsxq.com/Eem2fqN下篇（实战）：https://t.zsxq.com/6mMByv3

第六章)投影仪非线性校正：https://t.zsxq.com/2zvNnyb

第七章)高反射物体表面测量方法：https://t.zsxq.com/mmunyz7

第八章)基于相移条纹分析的实时三维测量技术：https://t.zsxq.com/jEAAqrJ

第九章)高速结构光三维面形测量方法；https://t.zsxq.com/7IEQBIM

第十章)全局效应性下的结构光三维重建方法：https://t.zsxq.com/eyjIuBY

第十一章)结构光方法新应用；上篇：https://t.zsxq.com/vv7AEyr 下篇：https://t.zsxq.com/qRjmURz

1.2 光学3D测量技术原理及应用

视频地址：https://t.zsxq.com/2FmYr7a

1、3d结构光基本原理

2、3d线激光技术

3、谱域白光光谱分光干涉仪技术与应用

4、其他光学3d测量技术原理及应用

主讲老师：赵效楠，苏州大学现代光学技术研究所光学工程工学博士，苏州中科行智智能科技有限公司光学仪器负责人。主要研究方向为干涉测量、共聚焦显微、折反射/衍射空间望远系统等。

二 代码与论文

1、双目格雷码开源代码：https://t.zsxq.com/rV7MzZJ

2、单目格雷码标定三维重建代码：https://t.zsxq.com/z3jIIMf，参考论文：Simple, Accurate, and Robust Projector-Camera Calibration

3、标定相关源码汇总，涉及立体标定、Lidar-Camera标定、多相机标定、鱼眼相机标定、手眼标定、Laser和camera标定、结构光相关标定、camera和机械臂标定、相机投影仪标定、TOF标定等: https://t.zsxq.com/F2fmemu

4、星球嘉宾曹博的分享：

a）结构光相移法-多频外差原理+实践：结构光相移法-多频外差原理 实践（上篇）

b）格雷码编码+解码+实现（Python）：格雷码编码 解码 实现（Python）

c）四步相移法仿真：https://t.zsxq.com/UBujQZ7

d）单目标定（标相机误差）：一文图解单目相机标定算法

e）单目标定视频+课件：https://t.zsxq.com/FMj6m6E

f）单、双目标定实践（立体匹配算法代码）：https://t.zsxq.com/MRbYb2z

g）结构光+高反光综述：https://t.zsxq.com/QBQF6Ie

h）工业相机选型：https://t.zsxq.com/bMVfyzv

i）投影仪调研：https://t.zsxq.com/FmuzZJM

j) 分享两篇结构光方向高质量的综述:https://t.zsxq.com/6IIMjYV

k）分享一个近期用matlab写的四步相移仿真实验代码，包括从调制图案到最终的重建三维型面：https://t.zsxq.com/bImiiuN

l）资料：结构光多项式相位-高度模型实现 来源：左超老师课题组，calibration of fringe projection profilometre a comparative review：https://t.zsxq.com/3RbiyRV

m）这里推荐一篇左超老师课题组的综述论文[提供源码，matlab]，读完这篇论文，相信你对结构光中的整个重建流程、系统标定就会有一些了解：https://t.zsxq.com/QzNRRNV

n）推荐一篇邓博之前推荐的gamma校正的论文 标题：<Generalized framework for non-sinusoidal fringe analysis using deep learning> 单位：左超老师课题组：https://t.zsxq.com/Vr3feei

5、结构光经典入门书籍，细致介绍了结构光的各个方面，适合入门：https://t.zsxq.com/N3FQBAm

6、结构光-格雷码的研究：https://t.zsxq.com/37qNFY7

7、「3D视觉工坊」微信公众号里结构光文章汇总：https://t.zsxq.com/zf6uFur

a）题目：系列篇|结构光三维重建——相移法基本原理 作者：书涵

b）题目：系列篇|结构光三维重建基本原理 作者：书涵

c）题目：系列篇|结构光——格雷码解码方法 作者：书涵

d）题目：结构光|一文详解相移步长的选择问题 作者：书涵

e）题目：系列篇|单目结构光三维成像系统的标定方法 作者：书涵

f）题目：经典相位法三维轮廓测量模型 作者：书涵

g）题目：综述|线结构光中心提取算法研究发展 作者：木同

h）题目：直播回顾|结构光3D相机光机核心技术及3D成像性能分析 作者：熵智科技&&安华

i）题目：直播回顾|结构光编码与三维重建技术 作者：博众杨军超

j）题目：直播回顾|基于格雷码结合相移技术的高鲁棒性高效率动态三维面形测量 作者：川大吴周杰

k）题目：一分钟详解线结构光扫描系统 作者：华科研究院

l）题目：基于多频外插的结构光三维重建之投影仪标定 作者：DLP投影

8）推荐的一篇结构光学论文课件，很酷炫：https://t.zsxq.com/iYb27iY

9）线结构光标定论文推荐：https://t.zsxq.com/aIAIiIY

10) 推荐一个结构光实现，C++的：

https://t.zsxq.com/UrzvVVV

11)星球嘉宾邓博分享的论文与干货资料：

a）#结构光资料 [低调制度区域去除] 该篇文章由于连栋课题组于2017年发表在Optics and Lasers in Engineering上，通过设立阈值的方式对调制度低的区域实施划分：https://t.zsxq.com/rb2V7Ey

b)线结构光的轮廓线提取《基于结构光的焊缝线检测算法研究》与《焊缝图像中结构光条纹的检测与分割》均采用神经网络的方法提取线结构光的特征，避免误差干扰：https://t.zsxq.com/JqvFyVb

c）我最近几年的主要成果，主要利用了深度特征不随相移顺序的改变而改变的特性对场景实施分割，该技术继承了结构光技术的颜色不敏感性、曝光抗性与方向相关性质。整体来说，影响分割性能的因素主要有：条纹的频率、条纹的方向数、条纹投射的幅数，这些数目越多相对越好：https://t.zsxq.com/2z3niy3

d）离焦投影测量法是一种用二值条纹代替八位条纹实现对场景三维重建的快速测量方法，其技术特性在于只使用二值条纹，而非采用八位条纹，因此避免了投影仪非线性对光栅条纹造成的gamma误差干扰。此外，它还符合高速投影仪的工作原理，具备高速测量的能力。普渡大学Song Zhang老师对这部分内容进行了大量系统性的研究工作，现归纳整理如下：https://t.zsxq.com/fy72FMJ

e） [深度学习与结构光测量]左超老师在深度学习的条纹投影应用方面发表了系列文章，依据主要研究方向，归纳其主要作品有：https://t.zsxq.com/3rVnMba

f）标定最新对比性综述 Calibration of fringe projection proflometry:A comparative review： https://t.zsxq.com/yrfMnIm

g）关于360°的两篇结构光三维重建论文分享，这两篇论文均发表于Optics Letters，它们分别从自由旋转与转台旋转的研究角度，通过结构光技术重建物体的三维信息：https://t.zsxq.com/rfAuJa2

h) 三篇综述性质文章，Song Zhang老师近期的综述性文章，主要包括绝对相位展开，主动光学测量技术以及高速三维测量:https://t.zsxq.com/bUzZ7eI

i) 南京理工大学左超老师在结构光领域的代表作之一，uftp，该技术是结构光多种技术的融合，涉及实现高速的光栅调制需求与硬件，光栅设计，误差校正；它能以上万Hz的帧率重建场景的三维信息: https://t.zsxq.com/fqfEUfi

j)线结构光是工业上常见的测量方法，而传感器标定的准确性对精确获取被测件的三维坐标有重要的作用。这里分享两篇文章：https://t.zsxq.com/RvRbe6A

k）【全景结构光】无论是单目结构光还是双目结构光系统都会存在着视场范围受限制的问题，这里分享两篇采用不同方法的论文：https://t.zsxq.com/EqJY7YN

l) 【小视场结构光】三维测量尽量要求视场与测量区域匹配，本专题分享Song Zhang课题组三篇关于小视场的结构光三维成像论文：https://t.zsxq.com/AY372NN

m)【红外结构光】现有结构光技术主要面对漫反射物体进行测量，通常不具备对黑色、透明物体的测量能力。红外结构光技术利用远红外的物理特性实施测量，能够测量低调制度物体与透明物体：https://t.zsxq.com/6UnUNjm

n）【亚像素标定方法】Sub-pixel projector calibration method for fringe projection profilometry，该文章为合肥工大的于连栋课题组于2017年发表于Optics Express上，这篇文章利用投影的交比不变性实现了投影仪与相机标志点之间的亚像素级匹配：https://t.zsxq.com/MNRfiEQ

o)【全局效应】 结构光测量技术在实际测量过程中，被测量物体表面除了会受到直接照射的直接成分调制外，还会受到因反射、散射等全局效应的调制。在测量过程中，如果不考虑全局效应的干扰，将会导致测量出现误差，下面介绍一些相关原理推导与解决方案的文章供大家参考：https://t.zsxq.com/qnQZba6

p)【结构光的频率选择】结构光的测量精度与条纹角度以及频率相关。在一般情况下条纹的频率越高，鲁棒性越强，但也会受其他因素如采样不足、噪声干扰、相位分布不均匀现象的影响。所列文档中概括了频率的选择方式、相位不敏感度的相关论文：https://t.zsxq.com/Yf2RJie

q)【结构光的非线性问题与校正的课程相关论文】结构光的非线性因素导致测量结果中会出现水波纹状的误差，在结构光系列课程的第六章中依次讲述了非线性误差的生成原因、避免方案以及校正方案，该主题以8篇论文依次展示了相应的解决方案。其中，第1篇讲述了非线性的生成原因以及主被动校正其中一类方法的对比。第2篇文章讲述了被动校正的实施过程。第3篇文章陈述了采用DL的方法实现非正弦性光栅的误差纠正。第4~7篇讲述了二值离焦的实现思路与优化方法。第8篇讲述了通过构建视差图的方式避免非线性影响的实施过程。 具体内容还可参照课程视频、课件进行学习:https://t.zsxq.com/Y3jQVZf

12）星球嘉宾吴博分享的论文与干货资料：

1、实验室最新的实时三维测量综述文章，和大家分享：https://t.zsxq.com/3Rn2BmQ

2、条纹投影测量系统标定论文（逆相机模型）：https://t.zsxq.com/ZNbiaMB

以上这些干货资料，主要整理自「3D视觉从入门到精通」知识星球：3D视觉工坊

这里推荐一个由星球嘉宾曹博主讲的付费课程：从零搭建一套结构光3D重建系统 [理论+源码+实践]，干货满满。

我相信，在以上这些学习资料与星球老师们的指导下，结构光三维重建的理论与代码实战对小白入门与进阶，将是一个非常容易的过程。