1、 第3 6卷 第2期2023年05月 青 岛 大 学 学 报(自 然 科 学 版)J O U R N A LO FQ I N G D A OU N I V E R S I T Y(N a t u r a l S c i e n c eE d i t i o n)V o l.3 6N o.2M a y2023 文章编号:1 0 0 6 1 0 3 7(2 0 2 3)0 2 0 0 0 5 0 6d o i:1 0.3 9 6 9/j.i s s n.1 0 0 6 1 0 3 7.2 0 2 3.0 2.0 2基于单元间距离估计的不等概率抽样算法及应用周楷贺,李莉莉(青岛大学经济学院,青岛2
2、6 6 0 6 1)摘要:现有大数据的不等概率抽样方法大多基于数据分布,泛化能力较差。为此,利用多层感知机、X G B o o s t和K r i g i n g模型估计总体单元间的相对距离,提出针对海量数据的不等概率抽样算法。此类算法既不需要考虑总体的分布,又能够保证样本的代表性。实证分析结果表明,基于此算法抽取样本构建的模型与简单随机抽样方法相比,模型参数估计的均方误差更低,效果更稳定。关键词:不等概率抽样;代理模型;样本代表性中图分类号:O 2 1 2.2 文献标志码:A收稿日期:2 0 2 2-0 6-2 0基金项目:国家社会科学基金(批准号:2 0 1 9 B T J 0 2 8)资
3、助;山东省金融应用重点研究项目(批准号:2 0 2 0-J R Z Z-0 3)资助。通信作者:李莉莉,女,博士,教授,主要研究方向为金融统计、统计调查与预测。E-m a i l:l i l i_l e e 2 0 0 31 2 6.c o m 大数据抽样分为概率抽样和非概率抽样,前者包括等概率抽样和不等概率抽样。不等概率抽样最早以汉森赫维茨估计量为基础1,最新研究通过奇异值分解(S i n g u l a rV a l u eD e c o m p o s i t i o n,S V D)2获取信息矩阵中杠杆分数作为总体单元的入样概率,利用估计量的均方误差衡量估计量的精度。两步子抽样算法3基
4、于S V D分解、试验设计中A-最优和L-最优提出的大数据子抽样算法,理论证明基于两步子抽样算法的模型参数估计具有无偏性和一致性;模拟和实证分析结果表明两步子抽样相比于简单随机抽样在模型参数估计的均方误差上有显著优势。两步子抽样算法可由二分类L o g i s t i c回归扩展至多分类S o f t M a x模型4、线性回归模型5、广义线性模型6。替代模型中K r i g i n g模型、X G B o o s t、多层感知机(M u l t i-L a y e rP e r c e p t r o n,ML P)可用于处理确定性函数。K r i g i n g模型及其最佳线性无偏预测(B
5、 e s tL i n e a rU n b i a s e dP r e d i c t i o n,B L U P)的性质经系统论证后7,大量模拟表明该模型仍可精确预测复杂曲面。X G B o o s t旨在实现高效,灵活和便携的数据分析和预测,同时梯度增强框架下实现并行树提升,能快速准确地解决诸多数据科学问题8,广泛应用于金融9、基建工程1 0领域。多层感知机1 1基于梯度下降和反向传播算法学习大量未知参数,具有强大的拟合能力。本文利用上述三种模型,提出基于单元间距离估计的不等概率抽样算法,针对不同样本构建模型,根据计算结果研究分析样本的代表性。1 模型及算法阐述本文所提不等概率抽样算法
6、步骤:首先抽取样本,构建定义单元的入样概率模型。通过随机简单抽样获取随机子样本,模型的响应值为该单元至最近的nc个样本单元之间平均欧式距离的倒数,非线性变换旨在解决样本过分集中导致样本粘连和样本代表性下降。针对不同的子样本和对应的响应值,分别构建基于K r i g i n g模型、X G B o o s t模型、ML P的不等概率抽样算法。最后通过已构建模型定义各单元的入样概率,实施不等概率抽样。该算法可计算每个单元的入样概率,并依入样概率抽取不等概率抽样样本。1.1 K r i g i n g模型记输入样本点i为x(i),x(i)Rd(i=1,2,n),输入样本记为矩阵X=x(1)T,x(2
7、)T,x(n)TT。记B为每个方向空间的区间乘积表示的超立方,表示为B=dj=1aj,bj(1)青 岛 大 学 学 报(自 然 科 学 版)第3 6卷其中,aj,bj R且ajbj对j=1,2,n恒成立;f:BR。记yi=f(x(i)(i=1,2,n),响应曲面可记为Y=y1,y2,ynT(2)为构建K r i g i n g模型,假设确定性响应yi=f(x(i)(i=1,2,n)是一个高斯过程Y(x)=0+Z(x)(3)其中,0是未知常数,表示未知总体的均值。ZN(0,2),即Z(x)是一个高斯随机过程并满足EZ(x)=0,协方差函数为C o v(Z(x),Z(x)=2r(x,x)=2rx
8、x,x,x B(4)仿真模型的K r i g i n g元模型中指数型相关系数函数为r(x,x)=e x p-di=1i|xi-x i|pi,i,pi R+(5)基于式(1)(5)和(X,Y)构建O r d i n a r yK r i g i n g模型1 2。构建K r i g i n g模型的关键是估计未知参数,设=1,2,d,p1,p2,pdT为有限维参数向量,记G()为以基础的相关矩阵。的极大似然估计ML E为ML E=a r g m i n2ML Ed e t(G()1n(6)约束极大似然估计(R e s t r i c t e dM a x i m u mL i k e l i
9、h o o dE s t i m a t e)相对于ML E偏差更小。的约束极大似然估计量RML E为RML E=a r g m i n2RML Ed e t(G()1n-1(7)1.2 X G B o o s t模型给定数据集Di=(x(i),yi)(x(i)Rd,yiR,i=1,2,3,n),X G B o o s t利用前向分布的集成算法,学习包含K个弱学习器的加法模型yi=Kt=1ft(x(i),ftF(8)其中,ft为弱学习器,F为弱学习器组成的函数空间。为更具体描述X G B o o s t及其超参数,假设目标函数O b j=ni=1l o s s(yi,yi)+Kj=1(fj)(
10、9)其中,第一项为损失函数;第二项为正则化项,代表模型复杂度。目标函数可通过贪婪算法寻求局部最优解。泰勒展开式的第t次模型迭代目标函数O b j(t)=ni=1(gift(x(i)+12hif2t(x(i)+(ft)(1 0)其中,gi=l o s s(yi,y(t-1)i)y(t-1)i,hi=2l o s s(yi,y(t-1)i)(y(t-1)i)2。正则项定义为弱学习器ft的输出节点个数T和对应T个输出节点的输分数平方和(ft)=T+12Tj=1w2j(1 1)输出节点的样本集合定义为Ij=i|x(i)j,式(1 1)代入式(1 0),得O b j(t)=-12Tj=1(G2jHj+)
11、+T(1 2)记为近似贪心算法在弱学习器输出节点上分区时所需的最小损失,对比切分后的O b j(t)与划分前的O b j(t),根据最大增益变量划分,若弱学习器带来的增益若大于则划分特征,反之保留之前的弱学习器不变。越大,弱学习器算法越保守,P y t h o n中X G B o o s t模型的默认超参数针对一般回归任务都能构建良好的预测模型,本文取默认值0。6 第2期 周楷贺等:基于单元间距离估计的不等概率抽样算法及应用前向分布的加法模型中y(t)i=y(t-1)i+ft(x(i)(1 3)其中,y(t)i是由前t-1次向前加法模型的预测值与第t次弱学习器的结果相加。为控制学习速率,其值越
12、低,集成学习模型对过拟合越稳健,本文取默认值0.3。1.3 ML P模型记输入样本矩阵X=x(1)T,x(2)T,x(n)TT,x(i)Rd。ML P模型中单个隐藏层表示为I=(XW(1)+b(1),其中W(1)为隐藏层输入层权重,b为偏置,()为激活函数,输出记为O=(I W(2)+b(2)。根据通用近似定理,单层的ML P模型可近似拟合所有未知函数,但一般通过增加网络的深度而非广度拟合函数,本文中ML P模型采用架构如下:(1)第一层隐藏层记为I(1)=(XW(1)+b(1),W(1)Rd 6 4,隐藏单元数为6 4,激活函数为R e L U;(2)第二层隐藏层记为I(2)=(I(1)W(
13、2)+b(2),W(2)R6 4 3 2,隐藏单元数为3 2,激活函数为R e L U;(3)第三层为输出层O=I(2)W(3)+b(3),因文中问题为连续变量的预测问题,故W(3)R3 2 1。设定模型学习率为0.0 3,优化器为随机梯度下降。1.4 基于距离的抽样算法构建基于K r i g i n g模型的不等概率抽样算法具体步骤如下:(1)从可获得总体X中抽取数量为n0一阶样本X0;(2)以每个一阶样本周围最近的nc个样本之间的平均距离的倒数定义不同模型的响应值y,获得对应一阶样本的y=f(x);(3)利用一阶样本(X0,y0)构建K r i g i n g模型;(4)借助构建的K r
14、i g i n g模型估计可确定总体中其他x的响应值f(x-n0),即y=f(X),y作为入样概率,输出二阶样本x1,x2,xn2。基于X G B o o s t(X G B)模型和基于ML P模型的不等概率抽样算法具体步骤除(3)以外均相同。2 实证分析2.1 数据预处理通过2 0 2 1年秋季R a i f h a c k房地产数据,研究基于概率密度的抽样算法在一般线性回归中参数估计的性质。数据来源于K a g g l e数据库中R a i f h a c k房产价格预测项目1 2。原始数据集中自变量7 7个,目标变量为房产价格,观测值共计2 7 97 9 2条。经自变量筛选和剔除缺失观测
15、值3 02 1 1条后,保留的2 0个自变量需标准化处理以消除不同自变量之间量纲影响1 3。经全样本构建线性模型验证,自变量模型参数均在P=0.0 5上显著(表1)。表1 实际变量与替代变量表替代变量实际变量参数替代变量实际变量参数x1半径一千米内便利设施数量0.1 5 82x1 1半径一千米内娱乐设施数量0.0 7 30 x2半径一千米内建筑物数量0.0 0 85x1 2半径一千米内办公地点数量-0.1 2 36x3半径一千米内餐饮场所数量0.1 3 03x1 3半径一千米内购物场所数量-0.1 2 03x4距离城市中心的距离0.0 0 39x1 4至最近的地铁站的距离-0.0 3 12x5
16、最近城市的人口数量0.3 4 97x1 5至最近的公共交通站点距离-0.0 0 60 x6半径一千米内人行横道数量0.0 3 80 x1 6半径一千米内重建房屋数量-0.1 0 91x7半径一千米内文化场所数量0.0 3 78x1 7千米内重建房人口居住系数0.0 6 98x8半径一千米内金融场所数量0.0 9 22x1 8半径一千米内重建房屋楼层0.0 7 63x9半径一千米内医疗组织数量0.0 5 21x1 9半径五百米内重建房屋楼层-0.0 2 84x1 0半径一千米内历史遗迹数量0.0 2 50 x2 0房屋面积-0.0 6 577青 岛 大 学 学 报(自 然 科 学 版)第3 6卷
17、2.2 距离估计算法构建线性回归模型的均方误差分析设定基于单元间距离估计的不等概率抽样算法的一阶样本量为7 0 0。为验证该算法在一般线性回归中的有效性,通过三种基于单元间距离估计的不等概率抽样算法获得2 4 98 5 1个观测值的入样概率。基于三种提出的不等概率抽样算法获得的样本和使用简单随机抽样获得相同数量的样本构建回归模型,为便于比较,构建m s eK r in=MS EK r inMS Er a n d o mn、m s eX G Bn=MS EX G BnMS Er a n d o mn和m s eML Pn=MS EML PnMS Er a n d o mn。MS EK r in、
18、MS EX G Bn和MS EML Pn分别表示基于K r i g i n g模型、X G B o o s t模型、ML P模型的不等概率抽样抽取的n个样本构建模型参数10 0 0次均方误差的均值;MS Er a n d o mn代表利用简单随机抽样抽取的n个样本构建模型参数10 0 0次均方误差的均值。根据不同样本n=1 0 0,3 0 0,5 0 0时m s eK r in、m s eX G Bn和m s eML Pn可知,相比基于X G B o o s t和ML P模型的不等概率抽样,基于K r i g i n g模型的不等概率抽样构建模型的参数均方误差较大,但仍整体上小于简单随机抽样构
19、建模型的模型参数均方误差(表2),这表明所提出的三种不等概率抽样算法相较于简单随机抽样具有不同程度的样本代表性优势。表2 x1至x2 0均方误差结果变量m s eK r i1 0 0m s eK r i3 0 0m s eK r i5 0 0m s eX G B1 0 0m s eX G B3 0 0m s eX G B5 0 0m s eML P1 0 0m s eML P3 0 0m s eML P5 0 0 x10.5 3 71.0 7 51.0 9 50.5 1 60.8 5 00.9 5 40.7 8 60.7 0 80.8 8 9x20.1 5 60.2 2 00.4 9 60.2
20、 2 00.2 5 60.4 8 30.2 5 30.7 2 80.5 3 5x30.5 9 11.1 1 60.9 3 40.6 3 10.9 7 90.8 4 30.7 6 10.8 4 90.8 5 6x40.5 9 30.9 9 60.8 1 10.4 8 20.9 6 90.9 8 10.3 2 01.4 6 51.0 8 1x51.5 8 01.0 4 30.8 7 50.7 2 60.9 6 40.9 1 60.7 0 80.7 7 00.9 2 4x61.3 2 10.9 1 80.9 6 00.8 4 70.7 6 41.0 6 41.5 0 70.8 4 80.9 7 1x
21、70.7 7 41.3 8 60.9 6 71.3 1 01.0 3 10.8 9 70.8 1 90.9 5 60.9 5 5x80.6 4 41.0 7 30.7 4 20.6 1 11.1 0 40.9 5 70.8 2 50.9 8 30.8 8 7x90.9 1 60.9 0 90.8 6 50.6 9 40.7 8 71.2 1 80.7 2 50.7 0 80.8 0 7x1 00.5 2 80.7 6 20.9 9 60.7 0 40.6 9 40.9 0 00.8 5 10.7 5 81.0 5 1x1 10.9 0 01.1 3 51.1 5 40.6 6 60.8 5 5
22、0.8 8 30.8 5 40.8 0 20.9 3 5x1 20.7 6 70.8 6 30.6 1 70.6 6 80.7 7 60.6 4 90.6 3 30.8 4 80.6 2 4x1 30.5 8 31.0 2 71.1 3 60.5 4 70.8 3 40.9 2 10.9 0 30.6 8 70.9 4 2x1 41.1 9 90.9 8 00.8 3 21.0 0 90.9 8 10.8 3 70.8 3 10.9 8 30.9 0 6x1 50.1 5 60.6 3 20.6 0 90.2 7 91.2 8 20.7 2 30.4 3 71.8 8 20.6 8 0 x1
23、61.1 1 31.0 5 10.8 0 61.3 3 40.9 3 80.9 9 20.8 7 10.9 6 20.8 9 1x1 71.0 0 30.9 4 20.9 0 81.2 2 90.8 4 61.0 0 90.9 6 50.8 8 40.9 4 1x1 80.6 1 40.9 8 70.6 9 40.3 5 90.7 3 20.6 3 00.6 4 00.6 5 70.6 5 9x1 90.7 1 90.9 8 00.6 8 20.3 5 60.6 8 80.6 1 80.6 2 10.6 7 50.6 2 3x2 00.1 9 50.9 1 30.9 2 60.4 4 40.6
24、 8 30.8 5 50.2 8 70.9 7 40.9 4 92.3 距离估计算法对总体特征估计分析样本代表性亦可通过样本对总体矩的估计精度表示。三种不等概率抽样的样本矩和简单随机抽样的样本矩分别与总体矩之间的曼哈顿距离比值作为指标,其中分子为不等概率抽样获得的样本矩与总体矩之间距离的10 0 0次试验均值,分母为简单随机抽样获得的样本矩与总体矩之间距离的10 0 0次试验均值。基于不同样本量n=1 0 0,2 0 0,3 0 0,4 0 0,5 0 0三种不等概率抽样算法在一阶矩和二阶矩的估计结果如图1 3所示。8 第2期 周楷贺等:基于单元间距离估计的不等概率抽样算法及应用图1 基于K
25、r i g i n g模型的不等概率抽样样本相较于简单随机抽样对总体矩的估计精度(a)一阶矩;(b)二阶矩图2 基于X G B模型的不等概率抽样样本相较于简单随机抽样对总体矩的估计精度(a)一阶矩;(b)二阶矩图3 基于ML P模型的不等概率抽样样本相较于简单随机抽样对总体矩的估计精度(a)一阶矩;(b)二阶矩表3 不同抽样方法对总体矩的估计的结果样本量ML P一阶矩二阶矩X G B一阶矩二阶矩K r i g i n g一阶矩二阶矩1 0 00.0 5 70.9 2 40.3 2 00.4 9 70.9 2 00.3 8 42 0 00.3 0 90.1 0 90.1 9 80.9 9 22.
26、1 3 40.6 6 33 0 00.0 7 60.0 3 20.3 1 00.4 3 30.0 1 00.5 8 24 0 00.0 4 40.3 7 60.1 8 80.2 1 90.0 8 60.3 8 15 0 00.3 0 60.0 5 20.3 2 20.0 8 70.5 6 41.1 1 9可知,基于K r i g i n g模型的不等概率抽样相较于简单随机抽样对总体矩的估计精度差异较小。基于X G B模型和基于ML P模型的不等概率抽样随着样本量增加,对总体一阶矩和二阶矩的估计精度不断提高,证明基于X G B模型和基于ML P模型的不等概率抽样样本相较于基于K r i g i
27、n g模型的不等概率抽样样本和简单随机样本对总体具有更好的代表性。为分析上述方法稳定性,需计算基于三种不等概率抽样样本对总体矩估计的标准差与简单随机抽样的标准差比值(表3)。与简单随机抽样相比,三种不等概率抽样算法均提高总体的一阶矩和二阶矩估计量的稳定性,三种不等概率样本对总体一阶矩的估计精度更稳9青 岛 大 学 学 报(自 然 科 学 版)第3 6卷定。样本量相同的条件下基于ML P和X G B的抽样方法相较于K r i g i n g模型的抽样方法能更加精确的估计总体一阶矩和二阶矩。3 结论本文从估计单元间距离出发,结合K r i g i n g模型、X G B o o s t模型和ML
28、P模型提出了三种不等概率抽样算法。相较于简单随机抽样,文中所提三种不等概率抽样算法获取的样本在估计一般线性回归模型时,模型参数的均方误差更小。基于三种不等概率抽样所得样本能够更加精确和稳定地估计总体一阶矩和二阶矩,说明通过所构建不等概率模型抽取的样本更能反映真实情况。今后构建ML P和X G B模型时应充分考虑数据特异性,确定适合模型的超参数以提升模型性能。参考文献1 冯士雍,倪加勋,邹国华.抽样调查理论与方法:第2版M.北京:高等教育出版社,2 0 1 2:1 3 9-1 5 6.2MAP,MAHON E Y M W,YUB.As t a t i s t i c a lp e r s p e
29、 c t i v eo na l g o r i t h m i c l e v e r a g i n gJ.T h eJ o u r n a lo fM a c h i n eL e a r n i n gR e s e a r c h,2 0 1 5,1 6(1):8 6 1-9 1 1.3WAN G H Y,Z HUR,MAP.O p t i m a l s u b s a m p l i n gf o r l a r g es a m p l e l o g i s t i cr e g r e s s i o nJ.J o u r n a l o f t h eAm e r i c
30、 a nS t a t i s t i c a lA s s o c i a-t i o n,2 0 1 8,1 1 3(5 2 2):8 2 9-8 4 4.4YAOYQ,WAN G H Y.O p t i m a l s u b s a m p l i n gf o rS o f t M a xr e g r e s s i o nJ.S t a t i s t i c a lP a p e r s,2 0 1 8,6 0:5 8 5-5 9 9.5C HE NQS,WAN GHY,YAN GM.I n f o r m a t i o n-b a s e do p t i m a l s
31、u b d a t a s e l e c t i o n f o r b i gd a t a l o g i s t i c r e g r e s s i o nJ.J o u r n a l o f S t a t i s t i c a lP l a n n i n ga n dI n f e r e n c e,2 0 2 0,2 0 9:1 1 2-1 2 2.6A IM Y,YUJ,Z HAN G H M,e t a l.O p t i m a l s u b s a m p l i n ga l g o r i t h m s f o rb i gd a t a r e g
32、r e s s i o n sJ.S t a t i s tS i n i c a,2 0 2 1,3 1(2):7 4 9-7 7 2.7S AN T N E RTJ,W I L L I AM SBJ,NOT ZWI.T h ed e s i g na n da n a l y s i so f c o m p u t e r e x p e r i m e n t sM.N e wY o r k:S p r i n g e r,2 0 0 3,4 6-8 6.8C HE NTQ,GU E S T R I NC.X G B o o s t:AS c a l a b l eT r e eB o
33、 o s t i n gS y s t e mC/A s s o c i a t i o n f o rC o m p u t i n gM a c h i n e r y2 0 1 6.S a nF r a n c i s-c o,2 0 1 6:7 8 5-7 9 4.9 陈秋华,杨慧荣,崔恒建.变量筛选后的个人信贷评分模型与统计学习J.数理统计与管理,2 0 2 0,3 9(2):3 6 8-3 8 0.1 0刘鑫蕊,常鹏,孙秋野.基于X G B o o s t和无迹卡尔曼滤波自适应混合预测的电网虚假数据注入攻击检测J.中国电机工程学报,2 0 2 1,4 1(1 6):5 4 6 2-
34、5 4 7 6.1 1P A R K H.ML Pm o d e l i n gf o rs e a r c ha d v e r t i s i n gp r i c ep r e d i c t i o nJ.J o u r n a lo fAm b i e n t I n t e l l i g e n c ea n dH u m a n i z e dC o m p u t i n g,2 0 1 9,1 1:4 1 1-4 1 7.1 2V L A D I S L AVK.R a i f h a c k-D S-2 0 2 1-F a l lD B/O L.2 0 2 2-0 3-2
35、 2.h t t p s:/w w w.k a g g l e.c o m/l i l d a t a s c i e n t i s t/r a i f h a c k d s 2 0 2 1 f a l l.1 3宋锦波,徐海芹,宫晓慧,等.基于双簇头及数据融合的改进L E A CH算法的网络拓扑控制研究J.青岛大学学报(自然科学版),2 0 2 1,3 4(3):2 2-2 7.U n e q u a l S a m p l i n gA l g o r i t h mB a s e do nK r i g i n gw i t hP a r t i a lL e a s tS q u
36、a r e sA l g o r i t h ma n dI t sA p p l i c a t i o nZ HOUK a i-h e,L IL i-l i(C o l l e g eo fE c o n o m i c s,Q i n g d a oU n i v e r s i t y,Q i n g d a o2 6 6 0 6 1,C h i n a)A b s t r a c t:M o s to f t h ee x i s t i n gu n e q u a l p r o b a b i l i t ys a m p l i n gm e t h o d s f o rb
37、 i gd a t aa r eb a s e do nd a t ad i s t r i-b u t i o na n dh a v ep o o rg e n e r a l i z a t i o na b i l i t y.A nu n e q u a lp r o b a b i l i t ys a m p l i n ga l g o r i t h mf o rm a s s i v ed a t aw a sp r o p o s e db ye s t i m a t i n gt h er e l a t i v ed i s t a n c e sb e t w e
38、 e np o p u l a t i o ne l e m e n t su s i n gam u l t i-l a y e rp e r c e p-t r o n,X G B o o s t a n dK r i g i n gm o d e l s.T h i sk i n do f a l g o r i t h md o s en o t n e e d t o c o n s i d e r t h ed i s t r i b u t i o no f t h ep o p u l a t i o n,b u t a l s oc a ne n s u r e t h er
39、 e p r e s e n t a t i v eo f t h es a m p l e.T h ee m p i r i c a l a n a l y s i s r e s u l t ss h o wt h a tt h em e a ns q u a r ee r r o ro fm o d e l p a r a m e t e re s t i m a t i o nb a s e do nt h i sa l g o r i t h mi s l o w e r t h a nt h a to f s i m p l er a n d o ms a m p l i n gm e t h o d,a n d i t se f f e c t i sm o r es t a b l e.K e y w o r d s:u n e q u a l p r o b a b i l i t ys a m p l i n g;s u r r o g a t em o d e l;s a m p l er e p r e s e n t a t i o n01
