学术成果
- 1.
一种视觉提示引导的遥感影像相似目标检测方法
本发明公开了一种视觉提示引导的遥感影像相似目标检测方法和装置。方法包括：遥感数据选取和预处理，对图像和视觉提示进行数据增强，获得预处理数据集；构建目标检测模型；利用CNN主干网络对预处理图像进行特征提取输入到Transformer的编码器中；利用CNN主干网络对视觉提示进行特征提取后与查询对象相加，输入到Transformer的解码器中；预处理图像和视觉提示的处理数据在解码器中融合，再经FNN输出边界框和标签，得到预测结果；利用损失函数和预测结果，对网络进行训练，获得最终目标检测模型。该方法通过将多分类任务转变为二分类任务(匹配或者不匹配)，以及对采用的遥感数据集进行处理，并引入视觉提示Visual Prompt，从而将DETR模型扩展到相似目标检测任务，并提高模型性能。
- 2.
一种基于视觉参考提示的多模态遥感目标分割方法和系统
本发明公开了一种基于视觉参考提示的多模态遥感目标分割方法和系统，属于图像分割领域。本发明采用了视觉‑语言大模型来构建目标分割网络模型，并针对遥感影像背景杂乱、内容复杂等问题设计了遥感场景知识嵌入模块，增强了模型对于地物上下文关系的理解，得到场景知识嵌入的图像特征。再利用提取的视觉特征和语言指令构建视觉参考提示，最后利用基于大语言模型的解码器进行推理，得到准确的目标分割结果。本发明通过引入遥感场景知识，使得模型需要通过图像特征、场景知识、查询表达三元组进行对图像的全面理解，从而排除复杂背景的干扰，准确地分割出所指示的地物。
- 3.
一种类别无关的遥感地物矢量拓扑结构提取方法
本发明公开了一种类别无关的遥感地物矢量拓扑结构提取方法，包括：步骤1，建立训练集样本库；步骤2，构建与类别无关的遥感地物矢量拓扑结构提取模型，TopDiG模型，所述TopDiG模型通过卷积网络提取地物的低层次拓扑特征，生成预测结点和视觉描述子，然后采用动态标签监督策略，根据预测结点动态地生成邻接图标签，最后基于Transformer的有向邻接图生成器预测地物拓扑结构；步骤3，设计多任务约束的损失函数，对步骤2中的TopDiG模型进行训练；步骤4，利用训练好的TopDiG模型对影像预测库进行遥感地物提取，即可得到遥感影像目标地物矢量拓扑结构。本方法可以直接从输入影像中得到地物矢量拓扑结构，避免了栅格转矢量过程的信息损失与复杂计算。
- 4.
基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法
本发明提供一种基于卷积神经网络和边缘约束能量优化的端到端的绿地水系矢量提取方法，设计适用于遥感影像的绿地水系提取网络架构。该架构包括遥感影像上下文特征抽取与融合，实现待处理区域影像基础特征抽取；在抽取丰富特征的基础上，结合卷积层和上采样层，并采用端到端的以能量优化迭代的方式，得到较精细且平滑的绿地水系边缘；最终使用全连接层或图卷积层微调至精细的绿地水系边缘。另外，本发明采用两种损失交叉熵和Dice损失用于绿地水系的语义识别，并在全卷积网络端和边缘能量约束优化端对识别结果进行约束，以及提出多层坐标点匹配损失函数实现对轮廓点的约束，使得模型能够让预测的结点更好地接近真值轮廓点。