文献阅读知乎_文献introduction

A 个人

这是一篇2020年的ECCV文献。

• Gaillard M, Miao C, Schnable J, et al. Sorghum segmentation by skeleton extraction[C]//European Conference on Computer Vision. Springer, Cham, 2020: 296-311.
• 讲的是利用骨架提取进行高粱分割（主要是分割茎和叶）。前段时间在做 骨架提取 这方面，就读了这篇文献。
• 链接: 这是他们的效果图，动画.
• 
• 以下，我可能会省略一些内容， 毕竟每个人的侧重点不一样。有兴趣可以去阅读原论文。

B 文献

摘要

• 以高通量植物表型研究为切入点。表型研究中，关键问题之一是识别单个植物器官，也就是叶、茎、根。这篇会议论文，主要介绍一个新的算法：首先使用可以生成植物3D近似骨架的体素雕刻算法（voxel thinning）。然后通过比较和评估每片叶子或茎尖到植物根的路径，将骨架转换为数学树（mathematical tree），并通过使用生物启发特征（biologically inspired features）进行修剪，将结果送到机器学习分类器中，从而得到与输入植物相对应的骨架。最后的骨架结果，被用来识别植物器官和分段体素。作者在20个不同植物上验证了该系统，每个植物的体素分辨率是5123，分割的处理时间在一分钟以内。

1 介绍introduction

• 介绍植物器官与遗传、环境的关系。目前对植物器官鉴定的研究。引入骨架，说明意义。
• 再介绍高通量表型技术设备的研究。表示，该论文是在文献9的基础上继续进行。（ps：这论文9，就是他自己写的，Voxel carving based 3d reconstruction of sorghum identifies genetic determinants of radiation interception efficiency. 基于体素雕刻的高粱三维重建识别辐射拦截效率的遗传决定因素。）
• 这作者提出了一种新方法，可从离散的体积阵列中提取高层语义特征，这些特征是通过体素雕刻算法提取到骨架中的。他说了最新的骨架算法在植物上表现很差。他们claim（声称），机器学习的算法能改进植物的骨架，使得只保留必要的部分：茎和叶子。这些又用于输入的体素网格的有效分割，（意思就是对输入的体素进行分割，文章主旨就是分割）。
• 我：关于作物表型研究的研究意义和现状可以去阅读一些论文：
• [1]赵春江. 植物表型组学大数据及其研究进展[J]. 农业大数据学报, 2019, v.1(02):7-20. （院士所写的专题）
• [2]张慧春, 周宏平, 郑加强,等. 植物表型平台与图像分析技术研究进展与展望[J]. 农业机械学报, 2020, 051(003):1-17.
  

  2 相关工作related work

  空间雕刻算法（space carving algorithm）得到3D体素位置，这位置对应于由一组图像表示的输入对象。然而，该方法需要精确校准才能检索到3D位置。此外，越来越多的图像可以提供更好的结果。这个（种）算法非常适用于可控的环境。新颖的算法和扩展，增加了小植物部分或者一个通过八叉树进行分层空间枚举的重建。论文工作是在文献9的基础上进行的，该文献9通过使用一个改进的体素雕刻算法可以提供高粱植株的3D体素重建。总共有336株生长在UNL表型鉴定设施（文献10，应该是同一个团队）种的高粱植株，这336的植株，每株可以仅需要6张RGB图像即可完成重建（很厉害，要去拜读一下）。
  工作在体素空间的三维重建算法，不适合直接测量器官水平的特征，如叶子的大小。骨架提供了（关于它们所代表的形状的拓扑的）只管而简化的信息。骨架可以通过引导形状分割来显著帮助形状分割。三维骨架比二位骨架复杂。首先，三维形状可以用不同的方式表示，例如三角面片或者体素网格。不同的数据会产生多种类型的三维骨架：曲面骨架与输入形状有很好的对应关系，但是计算速度慢，分析更具挑战性。曲线骨架不严格遵循骨架的数学特性，但在将形状分解为一组一维曲线时提供了更好的形状分析功能。它们对通常呈管状的植物特别感兴趣。有关3D骨架的详细介绍，请读者参阅[20]，其中图21对理解曲面骨架和曲线骨架之间的差异特别感兴趣。现有的骨架化算法[1]，尽管具有很强的数学特性，但在植物上产生的结果是有噪声的，因此已经发展了许多专门的植物骨架化方法。[14]的工作使用二阶矩张量的特征值来分割体素网格的3D表面。此外，预定义叶片的数据库也适用于从[21]中植物的2D视图中提取的骨架。Golbach等人[12]使用泛洪填充算法识别阀杆。它们测量在图形遍历期间添加到每次迭代中的体素的扩散，以检测分支。Scharr等人[19]从上到下在植物的水平切片中查找体素簇。当合并两个簇时，应用特殊规则来跟踪树叶。与该论文最相似的方法[1]是使用骨架化算法，然后根据骨架分支的重新投影对其进行过滤。Wu等人[22，23]使用拉普拉斯收缩(一种通用的骨架化算法)来收缩点云，然后对其进行后处理以输出测量结果。xiang等人[24]，此外，还对点云进行了骨架分析和分割，以测量高粱植株的性状。我们的算法可以看作是从体素分割的后处理。我们试图改善骨架，特别关注在后续分割中使用的精确分支点。

3 概述overview

• 方法分为三个步骤：
• 1. thinning
• 2. skeleton filtering, （pruning）修剪
• 3. segmentation.
• 算法输入的是一组体素形式的高粱植株3D重建结果。 算法有两个输出：植物的骨架、分割结果（体素代表各类器官（叶子、茎））
  
• 细化Thinning：移除体素，直至仅保留原始的（raw）骨架。这个步骤的输入就是体素栅格。这里，用的是文献9的体素雕刻算法（下一篇文献需要读的）。虽然一个平滑、稠密和联通的体素集可以提供一下良好的输入，但作者设计他们的算法对于噪声很鲁棒，可以成功处理一些不严格遵守这些条件的重建植物。（不太清楚这个算法是指本文的，还是文献9。
• Skeleton purning骨架修剪：上一个步骤（thinning）的输出是一个原始的（raw）骨架，与边界等距离。然而，如果直接用于叶片计数和植物分割，噪声输入会导致错误的结果。所以，在下面的4.2节引入了一种新的仿生（bio-inspired）算法，来修剪骨架，去除噪声部分，只保留与实际树叶相对应的骨架。
• Segmentation分割：使用上一个步骤计算得到的骨架来生成一个分割完成的植物。作者后处理了骨架来识别茎和每片单独的叶子（看第五章），还给所有体素分配它最近的分割结果，用一个独一无二的标识来代表它们。
• Terminology术语：
• 

4 骨架化

4.1 thinning

• 第一步的输入是植物的体素栅格模型。这些体素会通过一个细化算法被转化为一个原始骨架。具体而言，作者使用了文献6的三维临界内核细化算法（3D critical kernel thinning algorithm），该算法在***DGtal***中种被实现了（引用5）。作者选择listhmus细化算法，因为它是在这个能生成骨架曲线的库种是最快的。这个算法保留默认值dmax，并恒定为1.原则上，较高的持续性值（higher persistence value）可以降低骨架噪声。但是，对于作者的数据集，情况不总是这样的，作者的特征于域的修剪算法（domain-specific pruning algorithm）表现得更好。
• 尽管这个临界内核算法在数学上是正确的，并且可以输出一个准确代表植物体素模型的骨架，但是它也是响应了输入中的不可避免地噪声，从而导致了不能直接用于叶片技术和分割地噪声骨架。如图3 c）所示，植物骨架是有噪声地，包括小分支和一些大肿块（small branches and some big lumps），大部分都在茎附近。此外，不能保证它具有树形拓扑结构；换句话说，作者对原始骨架进行进一步的处理，对不必要的分支进行修剪，并对块中的体素进行过滤。

4.2骨架修剪

• 这里的算法的期望输出将是茎的一条骨架曲线和每片叶子一条骨架曲线。此外，高亮植株的分枝模式应该只有一个层次，即除它们位于茎叶之间外,骨架不应该包含T型连接。基于这些生物观察（biological observation），作者的剪枝方法分为四个步骤：1识别端点，2识别底部，3分枝寻找，4枝条修剪。1) endpoint identification, 2) root identification, 3) branch finding, and 4) branch pruning.
• *** 端点识别 ***：

作者在细化后的结果骨架中识别出所有端点，并且将其标记为。端点是只有最多一个邻域体素。

这包括没有邻域的孤立体素和骨架分支末端的体素。这组端点很可能位于叶端，但它也包括一些误报。

• *** 识别底部 ***：

这个更简单，就是在z轴的底端，认为是茎的底部。再考虑这个体素往z轴的投影距离要小于花盆的半径，避免出现盆外的叶子下垂，比茎的底部还低的情况。

（我：万一叶子垂在盆子内，这不就混了）

• *** 枝条寻找 ***

  raw skeleton是不能博正有一个树形拓扑的：它可以包含回环。为了把这图转换为一棵树，并把一些噪声部分去除，作者在原始骨架上，从茎的底部根体素开始，得到单源的最短路径。输出是从每个原始骨架上每个体素到根体素的最短路径。为了能够适应原始骨架中潜在的不连接部分，作者允许了最短路径算法跳跃两个体素。作者使用了Dijkstra算法，如果两个体素不连接，则会增加对距离的惩罚。
  两个体素的距离d(v1,v2)计算如下：如果v2是v1的26邻域，则d(v1,v2)=1。如果v2在围绕v1的长度为48的立方体内，作者会仍认为它们是来连通的，并且惩罚的距离是由它们的曼哈顿距离函数来计算。
  
  通过考虑v1和v2的带有距离惩罚的连通，作者允许算法在植物的两个部分之间有小的不连续时，还能连接到最近的体素。作者是通过经验性（实验性）得到最大距离是24.它在计算时间和结果之间提供了一个很好的折衷。
  这个单源最短路径算法生成了从根v0开始的体素树（a tree of voxels starting from the root v0）。如在端点识别步骤和公式所述，作者意识到可能会错失一些叶尖，在有回环的时候。因此，作者根据Dijkstra算法的输出更新端点列表，任何没有前身（predecessor）并且在Sraw中最多只有两个邻域体素的任何体素都被添加到端点列表中（这句话着实不明白）。
  最后，会输出最短路径列表P。P_i就是从端点E_i开始，一直向下一直到根体素v0，并且每条路径潜在地包括一篇植物叶子。作者按照降序长度（最长地叶子优先）对P中地路径进行排序。作者还丢弃了长度仅为一个体素地路径，因为它们无法连接到根体素。

• *** 枝条修剪： ***

  路径P地集合表示不包括回环或块的骨架，并且它比原始骨架Sraw噪声小。但是，它仍然可能包括不对应于任何实际叶子的小伪枝。这些分支可能是3D重建中伪影（artifacts）和不规则的结果。它们大多由一个从叶子中间开始向另一个方向移动的小穗状物组成。
  这可以通过修剪路径并只保留那些能带来最多信息的路径来缓解（mitigated）。可以通过处理每条路径P_i，按长度降序排序，并考虑其它更短的路径P_j（因此 j>i）。当比较两条路径P_i, P_j，时，作者计算一组特征，并使用机器学习分类器来决定是否保留还是丢弃分支P_j。作者将在第六节详细介绍使用的不同的分类器和学习过程。作者对P中的每条路径重复分类，总共进行了 n(n-1)/2个比较，n是路径总数。算法1详细介绍了该过程。不被丢弃的路径会保存在一个新的列表中。
  
  最后，新列表的路径上的所有体素的并集就是植物的骨架。如图3 b）

  

5 分割

6 Branch Classification

这里对应的是4.2，讨论用什么分类器来做。

7 结果

8 结论和未来工作

• 最后两节，就不翻译和总结，对这些方法有兴趣的朋友，可以去看看原论文。

今天的文章文献阅读知乎_文献introduction分享到此就结束了，感谢您的阅读。