1、粮食质量安全 ,收稿日期:;修回日期:基金项目:国家自然科学基金项目“基于大数据技术的粮食安全监测预警研究”();中国农业科学院农业信息研究所基本科研业务费()。作者简介:袁世一(),女,博士,助理研究员,研究方向为农业经济、粮食安全监测预警。通讯作者:李干琼(),男,博士,研究员,研究方向农产品市场监测预警与农业展望。:大数据技术与粮食安全监测预警研究设计袁世一,李干琼(中国农业科学院农业信息研究所,北京 )摘要:粮食安全是国家安全的重要组成部分。以粮食安全监测预警为研究目标,将大数据技术与粮食安全问题交叉融合研究,旨在找到更加科学的粮食安全监测预警方法。首先,在揭示粮食安全系统内部及子系统
2、目标之间的非线性复杂作用关系基础上,建立粮食安全监测系统;其次,在粮食安全监测系统基础上,建立粮食安全状态评估模型、粮食安全预测模型、粮食安全预警模型;最后,构建粮食安全智能决策支持系统,对粮食安全系统进行仿真调控,实现粮食安全系统的仿真与模拟,形成粮食安全系统智能调控方案,为保障我国粮食安全提供决策支持。关键词:粮食安全体系;监测预警;大数据分析;战略构想中图分类号:;文献标志码:文章编号 (),(,):,:;随着国际社会突发事件的不断增多,粮食安全已经演化为社会性的热点问题,受到众多领域专家学者的广泛关注。无论是从国内生产、消费、加工环节,还是国际贸易、运输环节等,都发生了深刻的转变。粮食
3、安全问题不仅关系到国民经济的健康发展,还是关乎社会稳定,独立自主的重大战略问题。从数十年前的“以粮为纲,全面发展”,到现在的“藏粮于地、藏粮于技”,以实现“谷物基本自给、口粮绝对安全”为目标,体现了国家对粮食安全的重视。伴随着当前国际环境错综复杂、新冠肺炎疫情冲击以及极端天气等影响,加之粮食安全系统的复杂性、动态性、不确定性特征日趋明显,保障国家粮食安全面临着更大的挑战和更高的要求。大数据技术经过几十年的发展,在其他研究领域已经体现了技术优势,但是在粮食安全研究上还处于起步阶段。本研究认为将大数据技术与粮食安全问题进行交叉融合,利用大数据技术刻画粮食安全系统的复杂性、动态性、不确定性等特征,将
4、粮食安全领域的多源异构数据进行采集分析,加工处理,通过智能决策支持系统将数据采集、数据处理与模型相结合,形成粮食安全监测预警智能决策方案。袁世一等:大数据技术与粮食安全监测预警研究设计 年第期文献综述粮食安全监测预警是一项系统工程,粮食安全系统具有复杂性。粮食安全系统包括生产、流通以及消费等多个层次,各层次内部、各层次之间以及各层次与环境因素之间交互作用产生的非线性、自适应性、涌现性,使得粮食安全系统呈现复杂性的特征。粮食安全系统具有动态性,决定了粮食安全监测预警的动态可持续性。由于粮食供需影响粮食价格波动率、粮食生产波动率、粮食储备量 等要素的不断变化,粮食安全系统呈现动态持续性演化的特征。
5、粮食安全系统具有不确定性,粮食安全监测预警要实现粮食供给稳定性、可靠性。影响粮食安全的不利因素增多,国际冲突、生态环境、极端天气以及突发公共安全事件引发的经济衰退和粮食贸易供应链中断互相叠加,加剧了粮食供给体系的不稳定性和不确定性。大数据技术为保障粮食安全提供了科学的理论和方法支撑。现代计量经济学理论与方法侧重于对已有数据进行假设检验,忽略了粮食安全结构的动态演变特征,难以实现粮食安全精准监测预警研究。大数据技术在刻画粮食安全系统复杂性、动态性、不确定性等特征方面有着显著优势,并且适用于粮食安全领域多源异构数据采集、处理和分析,为粮食安全风险预警研究提供了新的思路。不仅可以动态监测粮食安全系统
6、演变趋势,及时识别处于异常波动的粮食种类,还可以通过智能决策支持系统将复杂系统研究成果(数据采集、数据处理以及模型)相融合,形成粮食安全系统智能调控方案。从粮食安全监测、预警及仿真模拟的角度来看,国内外学者从不同角度、采用不同方法对粮食安全相关问题开展了研究,丰富了粮食安全相关理论与方法,对粮食安全监测预警研究也具有重要的指导意义。传统研究范式受制于模型假设或数据信息挖掘的局限,在粮食数据处理和监测预警等方面均展现出了一定的局限性。如何建立更为科学的粮食安全预警模型,构建粮食安全智能决策支持系统,探讨大数据背景下粮食安全系统智能调控方案,成为当前亟需解决的问题。粮食安全监测系统构建构建粮食安全
7、监测指标体系的主要目的是揭示粮食安全系统内部以及与各子系统目标之间的非线性复杂作用关系。传统的研究方法无法揭示粮食安全系统内部的非线性关系和复杂性关系。本研究认为可以采用非线性 因果关系检验、算法、时间延迟的 检验、跨期相关性检验 等方法分析粮食生产安全指标、粮食消费安全指标、粮食流通安全指标,从而找到影响粮食安全监测的关键数据。其次,将异常行为的无监督机器学习算法,结合大数据压缩及精简算法,提出自适应的粮食安全状态分析和异常监测方法,实时地监测、发现和报告粮食安全异常行为。设计方案见图。图粮食安全监测系统构建图 构建粮食安全指标针对粮食安全系统关键指标变量及其不同层次多目标之间可能存在的非线
8、性因果、非对称相关性、交叉相关性以及跨期相关性等特征。目前粮食生产安全指标,粮食消费安全指标和粮食流通安全指标都表现出非线性的特征,本研究认为线性的 因果 检 验 无 法 反 映 指 标 之 间 的 关 系,非 线 性 因果关系其实更能真实反映影响粮食安全变量之间的因果关系。因此,采用非线性 因果关系对粮食安全系统关键指标变量及多目标之间的因果关系进行检验,探究粮食安全系统随时间变化的动态联动性特征。算法 和时间延迟的 算法检验 可以揭示粮食安全系统关键指标变量及多目标之间的非对称关系,即交叉相关性与变化趋势、波动幅度之间的关系和各因素序列间的交叉作用方向。运用跨期相关性检验方法度量系统关键变
9、量以及多目标的相关系数。通过多方面、多角度、多层次的分析验证,揭示粮食安全系统多目标交互作用关系。粮食安全状态分析和异常监测方法粮食安全异常状态识别与监测是关键环节,为有效识别粮食安全的异常值和异常状态。无监督学习对于粮食安全的数据挖掘具有优势作用,不仅可以简化模型,还可以降维运行,同时还可以进行异常袁世一等:大数据技术与粮食安全监测预警研究设计 年第期检测。因此,本研究通过比较 均值聚类、分层聚类 和基于密度的噪声应用空间聚类 三种异常行为的无监督机器学习算法,结合大数据压缩及精简算法,提出自适应的粮食安全状态分析和异常监测方法,可自动标注粮食安全指标数据为正常或异常,自动更新并自适应地改进
10、异常监测算法和动态调整算法参数,准确实时地监测、发现和报告粮食安全异常行为,保障粮食安全系统平稳运行。构建粮食安全监测模型为构建有效的粮食安全监测模型,根据指标体系的大数据特征,结合粮食安全状态分析和异常监测方法,基于密度空间的聚类算法()虽然可以能够针对任意形状产生聚类,但是由于粮食安全监测数据的集较大,聚类收敛时间较长,因此需要对 进行改进。通过改进 和 等方法,将粮食生产安全、粮食消费安全、粮食流通安全大数据流进行聚类分析,构建粮食安全自主监测模型,实现数据自主标注、自动更新、自适应调整模型和可视化功能,覆盖粮食生产安全、粮食消费安全和粮食流通安全三个子系统,提高粮食安全监测精度,为粮食
11、安全多源异构数据融合技术研究提供支持。粮食安全状态评估与预测粮食安全问题贯穿于人类发展的整个过程。粮食安全的内涵始终处于不断变化中,并且根据各个国家和地区的自身国情也有着明显的差异。随着社会的不断发展,人们对粮食安全的界定维度也在不断提高,从原来的基本物质保障,上升到健康、营养、有机、绿色等多维度需求。因此,粮食安全的状态评估要以粮食数量为研究导向,以平衡粮食结构和粮食供求为主要目标,建立系统、复杂的粮食安全评价体系。在构建粮食安全指标体系方面,融合计算机与统计学的研究方法可以更好地处理研究粮食安全中的高维数据,有利于发现内在规律与特征。投影寻踪、加权平均型综合评价法以及二阶模糊综合评价法可以
12、对粮食安全状态进行有效识别。在粮食安全预测方面,可以从粮食产销、粮食财政保障、粮食保险保障三个方面入手。粮食产销的安全问题预测是政府制定人口政策和资源利用政策的重要依据;粮食财政保障安全的预测对粮食安全宏观战略调控具有重要意义;粮食保险保障的仿真模拟是应对自然灾害、维持农民收入稳定的重要风险管理工具。从这三个方面进行科学预测有助于提高农民种粮的积极性,促进粮食生产,从基本层面保障粮食安全。通过 神经网络模型、支持向量回归模型、随机森林模型 以及方差倒数法,构建基于机器学习的粮食安全组合预测模型,对粮食产销安全、粮食财政保障安全、粮食保险保障安全进行高效预测有助于形成粮食安全预警模型储备池,为智
13、能决策制定奠定预警模型基础。最后,运用分位数分析法、聚类分析法、系统分析法以及德尔菲法对不同时间维度与外部环境下,不同粮食预警阈值进行研究,构建粮食安全预警模型。如图所示。图粮食安全预警研究方案 构建粮食安全指标体系构建合理的粮食安全指标体系是粮食安全状态评估的关键。因此可以从粮食产销安全、粮食财政保障安全、粮食保险保障安全三个方面构建粮食安全综合指标体系。首先,建立投影寻踪模型,将高维的数据处理成为低维数据,分析数据的结构特征、聚类程度。投影函数的构造如下:设,为投影的方向向量,将归一化后的维数据(,),乘以方向向量,得到样本在该方向上的投影值,则(,)(,)()其次,针对模型中可能存在的局
14、部最优问题,使用双链量子遗传算法对投影寻踪模型进行优化,使投影寻踪优化过程中目标函数与投影寻踪模型一致,进而构建客观科学的粮食安全综合指标体系。在构建粮食安全综合指标体系时,可以对二级指标进行优化,例如,粮食产销安全、粮食财政保障安全、粮食保险保障安全等。在构建三级指标方面可以包括但不限于粮食生产面积、人均粮食消费量、良种补贴、农保赔付率等。对粮食安全状态进行评估为了获得较为客观的指标权重,可以根据各指袁世一等:大数据技术与粮食安全监测预警研究设计 年第期标的变异程度,利用信息熵计算出各指标的熵权,确定粮食产销安全、粮食财政保障安全、粮食保险保障安全各指标权重。其次,针对部分指标难以量化、较为
15、模糊等问题,采用加权平均型综合评价模型作为算子,通过二阶模糊综合评价法,一方面对每一类粮食安全指标作评价,再对评价结果进行类之间的高层次的综合;另一方面采用不同模糊 运算模型 分别进行评价,最终对粮食安全状态进行高效评价。综合评价模型建立步骤如下:步骤:设方案集为(,),(,)是一个由评价指标组成的指标集。步骤:对某一方案上述指标集作划分,得第二级因素集(,),并记(,),。步骤:每个的个指标,按下述初始模型做综合评判,设的各指标权重为,(,),。权重的确定:针对不同的评价问题,在综合分析结合经验评定的基础上,利用层次分析法,通过两两成对的重要性比较建立判断矩阵,然后解矩阵特征值求得。而的综合
16、评判矩阵为,则得到的综合评判结果:(,),()进而得综合评判矩阵为:()步骤:采用不同算子得到多种评判结果,将它们构成模糊()矩阵,对 中元素进行归一化,利用(,)模型求二阶评判向量:(,)()式中,(,);是不同模型的权系数向量,可根据对评判对象的不同的综合方式适当取值。对粮食产销安全进行预测研究首先使用归一化方法对粮食产销安全数据进行预处理,使其分布于区间(,)。其次,基于混沌理论对粮食产销安全时间序列进行相空间重构,采用法确定最佳延迟时间和嵌入维数,避免依靠主观经验选取参数的盲目性。再次,构造输入输出向量,将样本分为训练样本和预测样本,参照粒子群算法的多次迭代搜寻最优的 参数,建立粮食产销安全预测模型。支持向量机模型设定如下:给定样本集 (,),式中,为输入向量;为与对应的输出变量;为样本总数。支持向量机用下式进行函数估计:()()()式中,()为从输入空间到高维空间的非线性映射,为权值向量,为偏置量。通过最小化结构 确定参数、,即 (),()()式中,表示决策函数的复杂性,属于正规化项;为训练误差项;()为惩罚系数,表示权重系数;为经验风险,用惩罚函数度量,通常采用不敏感函数,