基于深度学习的鼻内镜腺样体图像的3D点云重建

摘要：腺样体是位于鼻咽部的一种淋巴组织，在儿童中常见于引起呼吸道阻塞和睡眠呼吸暂停等问题。腺样体的三维重建对于准确诊断和治疗规划具有重要意义。然而，传统的二维内窥镜图像分析依赖于医生的个人经验和主观判断，存在一定的局限性。腺样体区域的黏膜组织由于表面覆盖鼻腔分泌物，具有强反光、特征稀少、纹理单一和图像模糊等特点，使得重建过程更加复杂。针对这些腺样体的特性，该文提出了一种基于深度学习的腺样体鼻内镜图像的3D点云重建方法。深度学习下的三维重建技术提供了更精确和全面的解剖结构信息。3D点云重建提供了更清晰和详细的腺样体解剖结构，有助于医生更准确地评估腺样体肥大的程度和位置，为临床诊断提供可靠依据。

关键词：深度学习；点云；腺样体；3D点云重建

中图分类号：TP3 文献标识码：A

文章编号：1009-3044（2024）34-0001-03 开放科学（资源服务）标识码（OSID） ：

0 引言

3D点云重建技术结合了计算机视觉和深度学习的最新进展，能够从二维内窥镜图像中提取重要的三维信息。通过构建腺样体的三维模型[1]，医生可以更全面地了解其解剖结构，从而更加准确地评估腺样体肥大的程度和位置，为临床诊断和治疗规划提供可靠依据[2]。

本文提出了一种基于腺样体鼻内镜图像的3D点云重建[2]方法。该方法利用深度学习算法，克服了传统二维影像分析的局限性，提供了更精确和详细的腺样体解剖[3]信息。这一技术的应用将有助于提升腺样体相关疾病的诊断准确性和治疗效果，为患者带来更好的预后处理方案。

1 相关工作

以下是3D点云在医学影像重建[3]方面的一些关键发展：

1.1 从2D 到3D 的过渡

传统的医学影像技术主要依赖于二维图像，如X 射线、CT扫描和MRI3D点云重建技术通过将二维图像数据转换为三维模型，提供了更直观和全面的解剖结构视图。3D点云模型为医学教育和培训提供了强有力的工具。

1.2 深度学习的应用

深度学习算法，如卷积神经网络（CNN） 和生成对抗网络（GAN） ，Point-e模型在3D点云重建[4]中发挥了重要作用。通过训练模型，深度学习算法能够从二维图像中提取关键特征，生成高精度的三维点云模型。这些模型不仅提高了重建精度，还能有效处理图像中的噪声和模糊，能够从二维图像中自动提取腺样体的关键特征点，并进行三维重建，减少了对医生主观判断的依赖，提高了重建的精度和效率。

1.3 实时重建

传统的3D重建方法往往需要大量的计算资源和时间，而现代的3D点云技术通过优化算法和硬件加速，实现了实时或近实时的三维重建[4]。这对于外科手术中的实时导航和复杂病例的快速诊断具有重要意义。

1.4 点云处理技术的进步

点云数据的处理和优化技术也在不断进步，包括去噪、点云配准和表面重建等方法的改进，使得重建的腺样体模型更加清晰和精确。这些技术确保了在处理具有强反光、特征稀少和图像模糊的腺样体区域[5]时，依然能够获得高质量的三维模型。

2 相关技术

从二维医学图像生成点云的过程主要包括深度估计、点云构建和后处理等。

2.1 Point-e

Point-e（Efficient Point Cloud Generation） 技术是一种旨在高效生成点云数据的新方法。Point-e技术通过深度学习算法从二维影像数据中提取关键特征点，生成高精度的三维点云模型。Point-e技术的核心是通过优化点云生成的过程，使其能够在较短的时间内生成高质量的点云数据。

2.2 CNN 技术

这里利用深度神经网络从输入数据中提取特征，并生成三维点云。在Point-e技术中，卷积神经网络（CNN） 起着关键作用。

二维图像处理：CNN擅长从二维图像中提取空间特征。通过多层卷积和池化操作，可以逐步提取图像中的低级特征和高级特征，这些特征对于生成三维点云至关重要。

三维特征提取：在某些Point-e应用中，3D-CNN可以直接处理三维体素或点云数据，从中提取三维空间特征。3D-CNN将二维图像的特征映射到三维空间，生成初步的三维表示。编码器将二维图像编码为低维特征向量，解码器将这些特征向量解码为三维点云。

2.3 GANs 与点云生成

在Point-e技术中，生成对抗网络（Generative Ad⁃versarial Networks，GANs） 在生成三维点云方面起着关键作用。GANs的主要功能是生成逼真的数据，通过两个网络（生成器和判别器）之间的对抗训练，提升生成数据的质量和真实度。

生成器负责从输入的噪声向量或特征向量生成初步的三维点云。这些向量通常是从一个特定的分布中采样，并通过生成器的神经网络转换为点云数据。在Point-e技术中，生成器可以接受来自CNN提取的二维特征或三维特征，并将其转换为三维点云。这一步通常涉及多个全连接层和激活函数，以逐步生成高维度的点云数据。

GANs 可以生成与真实数据分布相似的点云数据。其基本结构包括生成器（Generator） G 和判别器（Discriminator） D。生成器试图生成逼真的数据样本，而判别器试图区分真实数据样本和生成的数据样本。GANs的目标是找到生成器和判别器之间的纳什均衡点。GANs的损失函数可以表示为：

minG maxDV （D，G ） = EX～Pdata（X ） [logD（X ） ]+EZ～Pz （Z ） [log （1 - D（G （z ））） ] （1）

其中：x 表示真实数据样本；z 表示随机噪声；Pdata （x）表示真实数据分布；Pz （Z ）表示噪声分布。

GANs可以用于点云数据的补全，通过生成器补全缺失部分。假设点云数据的某一部分缺失，生成器通过学习数据的整体分布来预测和生成缺失部分。补全过程的损失函数可以定义为：

Lcompletion = Ex～Pdata（X） [ ｜｜ x - G（x  partial）｜｜2 ]+λEx～Pdata（X ） [logD（G （xpartial ）） ] （2）

其中：xpartial 表示部分缺失的数据；λ 为平衡项，权衡数据补全和生成对抗损失。

GANs的生成器可以用于生成高质量的三维点云数据。生成器通过学习训练数据的分布，生成与真实数据相似的点云。生成高质量点云的损失函数为：

Lquality = Ez～pz （z ） [｜｜ x - G（z ） ｜｜2 ]+βEz～pz （z ） [log （1 - D（G （Z ））） ] （3）

其中：β 为平衡项，权衡重构误差和生成对抗损失，通过GANs生成多样化的点云样本，可以增强模型的泛化能力。多样化样本生成的损失函数为：

Ldiversity = Ez～pz （z ） [｜｜ x - G（z ） ｜｜2 ]+γEz～pz （z ） [log （1 - D（G （Z ））） ] （4）

其中：γ为平衡项。

3 实验步骤与分析

3.1 实验环境

本实验基于 Google Cloud Platform 平台，使用NVIDIA Tesla T4 GPU、16GB RAM 和 Google 云硬盘进行。实验环境为 Ubuntu 20.04 操作系统，并使用CUDA 11.3、CUDNN 8.0、Python 3.8 和 PyTorch 1.7.0 等软件和库。

3.2 实验数据集

本实验使用的数据集来自株洲市人民医院的鼻腔镜检查数据。这些数据集包括大量的鼻腔内窥镜图像和腺样体图像，用于鼻腔疾病主要是腺样体肥大的诊断和研究。数据集的具体特点如表1所示，包含若干患者的鼻腔内窥镜检查记录，总计约40 000张，数据是JPG格式，大多数图像都附有详细的标签信息，标注了特定的鼻腔区域和病变情况。

3.3 实验设置

输入图像数据：在过滤掉一些可能干扰实验效果的鼻甲和鼻咽图像后，使用处理后的人民医院鼻腔镜数据集。模型训练：使用默认参数对 Point-e 模型进行训练。超参数：根据实验需求调整超参数。结果评估：使用医院腺样体肥大的指标对模型重建的3D效果图进行评估，如判断肥大的准确率、精度、召回率等。精度和召回率（Precision and Recall） ：用于衡量重建点云相对于真实点云的完整性和正确性。其中，准确率和召回率的公式为：

P = TP／TP + FP

R = TP／TP + FN （5）

重建精度和重建误差：评估重建的3D点云与真实腺样体点云之间的误差。常用指标包括均方根误差（RMSE） ，公式为：

其中：Xi 是真实点云中的点；X̂i 是重建点云中的对应点；N 是点的总数。

Hausdorff距离为：

dH （X，Y ） = max { supx ∈ X infy ∈ Y｜｜ x - y ｜｜，supy ∈ Y infx ∈ X｜｜ y - x ｜｜ } （7）

评估Point-e进行3D重建的处理时间，即从鼻内镜图像输入3D点云输出的总时间。

形状相似度：评估重建点云的形状与真实腺样体形状的相似度。常用指标包括：

结构相似性（SSIM） ：

SSIM （X，Y ） = （2μX μY + C1 ）（2σXY + C2 ）／（ μ2X + μ2Y + C1 ）（σ2X + σ2Y + C2 ） （8）

其中：μX 和μY 分别是点云X和Y的均值；σX 和σY分别是点云X 和Y 的方差；σXY 是点云X 和Y 的协方差；C1和C2是稳定常数。

评估Point-e进行3D重建的处理时间，即从鼻内镜图像输入到3D点云输出的总时间。评估噪声鲁棒性，即加入不同程度的噪声到输入数据中，观察重建点云的质量变化。评估缺失数据补全能力，即测试Point-e对部分缺失数据的补全效果，使用前述的重建误差和形状相似度指标进行评估。

3.4 实验效果

实验输入部分图像如图1所示。

实验效果如图2所示。

在使用了多组数据进行重建以后，不难发现，Point-e配合3D-CNN和GANS等技术的重建，效果改善较为明显。腺样体的肥大区域基本上可以在重建的多角度的3D点云中显示出来，边缘轮廓的清晰度也比单纯的腺样体图像有了一定程度的提高。

笔者也进行了一些消融实验，首先是进行图像去噪声处理和对抗网络处理，可以发现在加入这些模块以后，RMSE值和结构相似性SSIM都达到了较好的效果。

评估使用Point-e进行腺样体3D重建时，我们采用了多种标准，包括重建精度、数据完整性、形状保真度、计算效率、鲁棒性和用户满意度。具体结果如下：

重建精度，即均方根误差（RMSE） 为2.31mm；Hausdorff距离为3.8 mm。数据完整性，即点云密度为每平方毫米200点，且密度分布均匀。形状保真度，即结构相似性（SSIM） 达到0.83；计算效率：单次重建时间为3.55秒，具备实时处理能力，能够在临床操作中即时应用。噪声鲁棒性，即在10% 的噪声水平下，RMSE仅增加0.56 mm。缺失数据补全能力强大，即成功补全31%的缺失数据，且重建误差保持在3.0mm以内；用户满意度，即医生认为重建的点云数据对诊断和治疗规划具有显著辅助作用。