数慧时空专利介绍|一种深度学习隐层特征的可解释化方法
发明方法示意图/专利授权证书
01 技术领域
深度学习技术的研究领域
02 专利介绍
1.专利信息
专利类型：发明
专利权人：北京数慧时空信息技术有限公司
申请号：202111110993.4
2.专利说明书摘要
本发明提出一种深度学习隐层特征的可解释方法。该方法首先将影像输入深度学习模型，勾勒出目标检测对象图斑P，并且在深度学习模型中得到隐层特征集合Y；其次，建立知识图谱，通过知识图谱进行特征推荐，并根据推荐从图斑P提取出特征集合Z；最后，通过一定的方法建立起特征集合Y与特征集合Z之间的联系，使特征集合Y中部分特征实现可解释，由于该部分可解释特征从特征集合Y提取而来，命名为特征集合Y'。
3.创新点
针对深度神经网络的黑盒性质，本发明创新性地将基于知识图谱的可解释特征与深度学习网络隐藏层的不可解释特征之间进行关联，从而实现对部分隐层特征进行解释分析。深度学习隐层特征的可解释化方法具体通过构建由原始特征语义组成的特征库、包含样本相关信息的样本库，并将样本输入机器学习模型以对特征库进行特征学习，得到原始特征语义及语义的重要程度，并进一步将原始特征语义及其重要程度与样本的相关信息图谱化，从而得到知识图谱；根据任务目标选取所需的影像，选择卷积神经网络作为深度学习模型；将遥感影像输入选取的深度学习模型中，提取出图斑P和隐层特征向量集Y；基于知识图谱对图斑P进行推荐，从特征库中优选出特征空间，并根据特征空间，从图斑P中提取出可解释的特征向量集Z；对特征向量集Y建立映射函数，基于映射结果与Z的距离构建筛选器，通过筛选器对特征向量集Y进行筛选得到特征向量集Y′。
借助上述技术方案，能够使隐层特征与可解释特征建立联系，在一定程度上将深度学习网络隐层特征的不可解释黑盒透明化。
4.痛点问题
随着大数据和人工智能的发展，深度学习在各个研究领域都取得了广泛的应用，尤其在许多计算机视觉任务中都表现出了优越的性能。深度学习可以得到拟合度非常高的结果，但实际上模型蕴藏的很多专业知识，这些知识是怎样指导模型从数据中学习，并产生最终的决策，都缺少可解释性。特别是以神经网络模型为代表的深度学习模型，用户并不知道神经网络内部的隐层特征表达，也不知道隐层特征背后准确的语义含义，所以被认为是“黑盒”模型。
深度学习网络缺乏可解释性使得无法明确模型从数据中学到了哪些知识，哪些知识可以帮助我们发现一些潜在的关联；此外，深度神经网络的黑盒性质会严重影响预测结果的可信度，并制约我们对深度学习的进一步认识和研究利用。
03 成果应用
数慧时空遥感云脑DIEY依托自然资源多模态基础大模型“长城”，采用云原生、大数据、深度学习、知识图谱等新一代信息技术，构建国产化、自动化、智能化、业务化的遥感数据处理及应用服务框架，打通从原始卫星影像数据获取到行业应用的全链条生产工序。
目前，本项发明专利已成功应用到DIEY在线训练与解译系统当中。DIEY在线训练与解译系统是基于弹性GPU资源的云原生遥感影像智能解译平台，面向行业用户提供各类地物的AI提取模型。涵盖样本集管理、样本闭环、知识图谱、模型训练、模型评估、在线解译的一站式服务。系统通过智能解译遥感影像，提取其中水域、建筑、道路和硬化地表等多种地物要素，为实现各行业动态、精准、高效监管提供创新方向。
基于本发明提出的深度学习隐层特征的可解释化方法，可以更好地理解模型的决策过程，从而实现模型更好地进化，提升各项任务的精度，例如目标检测、目标分割、全要素变化检测等任务。
目标检测任务
语义分割任务
变化检测任务
