1、第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期：；修回日期：基金项目：信息系统工程重点实验室开放基金项目（）作者简介：汪霜玲（），女，博士，高级工程师，：。：基于双基点模糊推理的智能系统评估方法汪霜玲，李宇飞，黄凯鹏，易 侃，朱先强（信息系统工程重点实验室，南京；中国电子科技集团有限公司第二十八研究所，南京；西安电子科技大学 计算机科学与技术学院，西安；国防科技大学 信息系统工程重点实验室，长沙）摘要：针对现有面向智能系统的智能化水平评估方法存在的粗粒度评估、泛用性差、不可解释等不足，提出一种基于深度双基点模糊推理的系统智能化水平评估方法。该方法提出一套通用的智能化水平评估指标
2、体系，并基于该指标体系搭建深度双基点模型，该模型首先根据多个维度的细粒度指标生成初步综合评价，随后使用自适应模糊推理网络进行模糊计算，最终输出智能化水平。该模型采用定性评估与定量评估相结合的评估策略，融合专家知识和模糊推理方法，使得评估结果具有可解释性且模型具有较强的泛用性。针对不同的信息系统，基于所提出的智能化水平评估指标体系，使用相关数据及相关领域的专家知识进行实验验证，结果表明所提出的评估方法能够稳定地进行智能化水平评估，评估结果可解释且评估模型具有良好的泛用性。所提出方法能够为大数据及人工智能系统的智能化水平评估提供方法和参考。关键词：信息系统；智能化；评估方法；模糊推理；双基点法本文
3、引用格式：汪霜玲，李宇飞，黄凯鹏，等 基于双基点模糊推理的智能系统评估方法 兵器装备工程学报，（）：，（）：中图分类号：；文献标识码：文章编号：（），（，；，；，；，）：，：；引言随着人工智能技术在各行各业加速渗透，人工智能技术在军、民领域都有众多应用，为了衡量一套具有智能化功能的系统 设备的智能化水平，即其智能化程度处于什么阶段，许多行业的研究人员都针对各自研究的领域特征，提出了相应的智能化分级标准，用于判定该领域内系统 设备的智能化发展水平。在民用领域，澳大利亚的 公司作为世界知名的智能监控供应商之一，率先在视频监控领域建立了一套视频监控系统的智能 评级系统，从智能视频监控系统检测并获取目
4、标的信息量、适用场景的复杂度等方面将系统分为 个等级，为衡量视频监控系统的智能化水平提供了一个等级评估的参考模型。针对智能音箱，中科院团队从语音识别能力、自然语言理解能力和内容推荐算法性能 个角度来评估其智能化水平。在军事领域，美国国家标准研究院提出并建立针对地面无人平台分类和评估的无人系统自主级别（）框架，从感知、规划、运动控制、行为、学习五个方面将系统的自主性能力分为 个等级；美空军在自主地平线 通往未来的道路（）报告中考虑到系统实现辅助执行、态势感知支持、辅助决策和监管控制等任务的难易程度不同，提出将系统自主性根据系统功能的难易划分为 个等级，介于全手工和全自主之间。然而，上述研究本质都
5、是基于系统静态特征构建以定性分析为主的等级评估模型，这类模型根据系统具备的功能、适用的范围、采用的机制等静态特征，判定系统所处的等级，评估粒度较粗，且难以支撑结合系统在实际运行中的效果，做出基于效能的评估。针对上述问题，我们提出基于深度双基点模糊推理的系统智能化水平评估法，在智能化等级模型的基础上，进一步对系统智能化水平给出更加细粒度的评价和更加直观的对比分析。首先给出智能化水平评估的问题定义，其次，基于国内外智能化评估研究，给出系统智能化评估指标体系，进一步，介绍基于深度双基点模糊推理的系统智能化水平评估方法，最后，基于 个案例对该评估方法的适用性及泛用性进行评估。问题定义为研究智能系统评估
6、方法，对于待评价对象，构建与其领域特点相适应的智能化水平评估指标体系，结合相关领域的专家知识，评估该对象的智能化水平。下面，首先介绍一些相关的概念及符号表示，随后给出完整的问题定义。待评价对象（）：现有的许多的智能化产品，例如智能音箱、智能化音响、智能化信息系统 等。智能化水平评估指标体系（）：给定，存在诸多因素影响其智能化水平，这些因素又可按照维度或层级不同进行划分，最终形成一个智能化水平评估指标体系，如图 所示，其中每个指标的取值范围存在一定的限制。图 智能化水平评估指标体系抽象表示 专家知识（）：给定 及，相关领域专家可根据其经验给出一些深层见解，这有助于对智能化水平的评估。智能化水平评
7、估模型（）：对给定 及，结合，给出智能化水平评估结果。其完整的问题定义可表示为（，）其中，为 所有可能的智能化水平集合。系统智能化评估指标体系根据智能化系统的特征，从功能维度和技术维度两方面选取指标，构建系统智能化水平的评估指标体系，如图 所示。汪霜玲，等：基于双基点模糊推理的智能系统评估方法图 系统智能化评估指标体系 其中，自主性主要是从功能维度出发，评价系统在场景感知、自主决策、人机交互等方面的智能化水平。适应性从人工智能技术特点出发，重点从鲁棒性和可解释性 个方面分析系统的适应性水平。学习性同样侧重从技术特点出发，重点从预先学习、自主学习、迁移学习 个方面分析系统的学习性能力。深度 模糊
8、推理评估方法为在各维度评估结果的基础上，综合评估系统整体的智能化水平，我们采用综合评估方法对信息系统智能化水平进行综合评估。现有的综合评估方法 主要分为 类：基于结构关系的评估方法，广泛应用于雷达和船舰电子信息系统等复杂系统的评估，主要关注系统结构的内联关系，通过建立树状或网状的对象模型，建立评估指标与影响因素的映射关系，运用权重、模糊、粗糙和遗传等不同算法分析评估系统；基于机器学习的评估方法，该类方法能较好地抽取评价指标的特征表示；其他方法，为了避免上述两类方法存在的问题，研究人员提出了一些评估方法，例如基于云模型的评估模型、基于贝叶斯网络模型的评估模型、基于（）的评估模型等。现有的方法都存
9、在一定的局限性，基于结构的评估方法能够较为贴近复杂系统结构特征，通常实现较简单，但存在影响影响因素权重确定困难、可解释性不强等问题。基于机器学习的评估方法由于样本量稀少，难以训练性能良好的模型，且缺乏可解释性。基于 的评估方法直接根据专家知识为评估指标赋予权重，没有对专家知识进行进一步的提取。为了改善上述评估方法的不足之处，本节提出一种基于深度 的模糊推理评估法，将 模型扩展为深度 模型，并与自适应模糊推理网络（）结合。其整体流程如算法 及图 所示。算法 基于深度 的模糊推理评估法输入 评估指标体系，各维度最低级指标得分表，（），专家知识 输出 评估得分（）；最低级指标层级，所有维度笛卡尔乘积
10、，形成 级指标对集合（）（，）（，）；：逐层（）（，）（）（），（），）（），（）；（）；转换专家知识 （）图 深度 模糊推理评估算法流程图 兵 器 装 备 工 程 学 报：深度 模型在 年被提出，最早应用于挑选满足一定条件的最优解，随后被广泛应用于多标准决策辅助（，）以及多标准决策（，）领域，主要功能是对解进行评估及排序，由于其出色的评估能力，至今仍是一个常用的评估方法。如图 所示，通常具有一个或多个维度，每个维度又分为多个等级。要对 进行全面客观的评价，必须考虑所有的评价指标，于是本研究提出使用深度 模型对评价指标体系进行建模，具体步骤如下。步骤：搭建 模型为最低级指标得分搭建 模型，首先
11、是将原始矩阵正向化，常见的四种评价指标类型包括：极大型指标、极小型指标、中间型指标以及区间型指标。所述的将原始矩阵正向化，就是要将所有类型的指标统一转化极大型指标，可根据指标类型不同采取不同形式的转换函数。若 中的指标均为极大型指标，可考虑跳过该步骤。步骤：正向化矩阵标准化此步骤的目的是为了消去不同指标量纲的影响，需要对正向化后的矩阵进行标准化处理。假设有 个待评价的信息系统对象，中包含 个最低级评价指标，则正向化矩阵如下：|一种常用的标准化处理方式就是将正向化矩阵中的每个元素除以其所在列的元素的平方和，记标准化后的矩阵为，其中的每一个元素为 。可根据智能系统智能化水平评估指标体系是否受量纲的
12、影响，有选择性地进行标准化处理。步骤：计算归一化得分为最低级指标的 模型计算得分并归一化，对于输入矩阵，分别定义正理想解和负理想解为 （，），（，），则第（，）个待评价对象与 的距离为对应向量之间的欧式距离，表示为，同理其与的距离表示，则其归一化后的得分为，该得分位于 之间，且得分越大表示 越小，即越接近理想解。针对不同的信息系统智能化水平评估指标体系，可能需要手动设定理想解和负理想解，本发明中设定理想解为各个指标评分最高的情况，负理想解为各个指标评分最低的情况。步骤：搭建深度 模型按照 中的评价指标等级划分，逐级为评价指标搭建 模型，即重复步骤 步骤，最终完成深度 模型。自适应模糊推理网络基
13、于模糊集合理论、模糊规则和模糊推理的模糊推理系统是一种流行的计算框架，广泛应用于各个领域，如模式识别、信号处理等。由于模糊推理系统比较适合于表达模糊或定性的知识，其推理方式类似人的思维模式，容易把目标系统的知识直接融于建模过程。大多数现有的评估方法，如，直接利用专家知识赋予模型权重，存在很强的主观性。且目前没有通用的方法用于专家的知识和经验的转换，所以，本研究提出使用自适应模糊推理网络（）对专家知识进行转化，达到自适应确定权重的效果，从而弱化专家知识在评估过程中的影响，降低人类的主观性。其步骤如下。步骤：构建 网络 是一种基于 模型的多输入单输出（）的模糊推理系统，既有模糊逻辑易于表达人类知识
14、的优点，又有神经网络的分布式存储以及学习能力。以两输出、单输出的 为例，其模型图如图 所示。图 网络结构 包含 层网络结构，分别是模糊分割层、规则推理层、模糊化层、去模糊化层及输出层，每一层的节点具有不同的参数及功能。步骤：专家知识规则化对专家知识进行分析，并抽象转化为“”形式的规则，使用 表示维度 中第 个一级指标的第 个二级指标，若专家认为指标对，越接近其对应的理想解，或（负理想解），信息系统的智能化水平 越高（低），可转化为如下规则表示形式：（，），（，），其中，“”可通过“”运算进行扩展。该规则可以用于任意的层级指标，并反映出专家认为某些评价指标更为重要，即对信息系统智能化水平的影响程
15、度大。步骤：参数确定确定 自适应模糊推理网络的参数，包含架构参数汪霜玲，等：基于双基点模糊推理的智能系统评估方法及算法参数。首先确定模糊化分区，通过高斯隶属度函数将每个一级指标划分为 个分区，即 和，可表示为，（）()其中 用于区分所在分区，的取值不影响分区结果，此处可取常数 简化后续计算，即为算法参数中前件参数的取值。基于转化后的规则集 ，首先将 中的“”所涉及的评价指标对转换为对应层级的打分（其中涉及的指标打分用正（负）理想值代替，未涉及的指标对打分用平均值或缺省值代替），然后利用深度 模型将其转换对应的一级指标得分，最后通过隶属度计算映射转换为网络架构（即架构参数），具体流程如图 所示。
16、图 专家知识映射到网络结构流程图 基于上述规则转化的结果，并将 中“”转换为对应的理想（负理想）信息系统智能化评分，利用最小二乘估计进行训练，获得网络的后件参数。使用深度 模糊推理模型进行智能化水平评估使用 中参数化后的 对 中得到的一级指标评价结果进行分析，推理输出智能化水平结果，并输出一级指标的雷达图。案例分析本节基于 个经典案例，分析深度 模糊推理模型的有效性及泛用性，在 环境中进行实验，运行软件环境为 。案例（有效性）针对某品牌智能音箱，评估其智能化水平。根据测试结果判定各评价指标测的等级，并使用 方法计算出二级指标的得分情况、根据二级指标的得分计算出一级指标的得分，最后结合 网络及专家知识得到智能音箱最终的智能化得分。）实验设置。基于专家对每个指标的评估结果，验证模型的有效性，以场景感知为例，假设场景感知等级为，其下限为，上限为，则根据理想解运算规则，计算结果为（）（）。计算得到所有二级指标的得分见表。表 二级指标得分数据 一级指标二级指标二级指标得分自主性场景感知 自主决策 人机交互 适应性可解释性 鲁棒性 学习性预先学习 自主学习 迁移学习 与此同时，专家希望理想的系统具