1、汇报人：尚志强2018年4月10日大数据与人工智能背景下的桥梁健康监测Outline1大数据与人工智能2桥梁健康监测“大数据”3大数据技术在SHM中的应用4深度学习在SHM中的应用5总结1大数据与人工智能 大环境大数据2015年8月31 日，国务院印发促进大数据发展行动纲要2017年12月8日，中共中央政治局第二次集体学习：实施国家大数据战略加快建设数字中国教育部公布2017年度普通高等学校本科专业备案和审批结果，250所高校新开设数据科学与大数据技术人工智能2017年7月国务院出台新一代人工智能发展规划。2017年11月15日，科技部召开新一代人工智能发展规划暨重大科技项目启动会，公布首批包
2、括BAT国家新一代人工智能开放创新平台名单。2017年，人工智能融资活动近200起。大数据定义43V标准：Volume,Variety,VelocityIDC：更经济、有效地从3V数据中获取价值的新一代架构和技术。Oracle：在非结构化数据扩充的传统关系型数据下从商业决策中获取价值的过程。Intel：具有平均每周300TB增速的数据，非结构化数据处理占很大比重。Microsoft：使用超强计算能力、最新机器学习及人工智能技术分析海量、高复杂度的数据的过程。Google：data analytics,Hadoop,NoSQL,Google,IBM,and Oracle.维基百科：描述传统数据处
3、理软件不足以处理的大或复杂的数据集的术语。大数据时代：在大规模数据基础上可以做到的事情，小规模数据上无法完成。“大数据”是描述存储及分析大型、复杂数据集的一系列技术的术语，这些技术包括而不仅限于NoSQL,MapRdeuce,机器学习等。1大数据与人工智能 大数据定义5Volume，数据体量大Variety，数据种类多Velocity，增长的速度快Value，价值密度低Veracity，数据真实样本=总体允许不精确，接受数据混杂性，量大弥补质量差。要相关不要因果数据采集：物联网(IOT)数据存储：分布式存储(HDFS)，NoSQL数据处理：数据挖掘，机器学习，模式识别，人工智能计算方式：云计算
4、，分布式计算（MapReduce、Spark），GPU并行计算数据思想1大数据与人工智能技术1大数据与人工智能 人工智能与深度学习 人工智能：是计算出具有智能行为的东西。深度学习：是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法，即深度神经网络。1大数据与人工智能 大数据、人工智能与深度学习的关系人工智能是愿景，是当前通过大数据实现的目标之一，深度学习是当前实现人工智能最具效率的工作方式。大数据技术计算方式：Hadoop,Spark,Storm，云计算数据分析：机器学习、数据挖掘海量数据 人工智能技术深度学习（当前）计算方式：GPU并行计算（分布式）数据分析
5、：深度学习Outline1大数据与人工智能2桥梁健康监测“大数据”3大数据技术在SHM中的应用4深度学习在SHM中的应用5总结2桥梁健康监测“大数据”闵志华焦美菊孙守旺周毅数据类型文本图片视频结构化数据健康监测数据理论方法索力应变位移加速度环境荷载结构响应地震风速温度冲刷湿度转角疲劳交通图像处理荷载效应分析损伤识别性能评估可靠度分析交通参数识别船撞预警数据驱动模型驱动人工检测数据路面平整度氯离子腐蚀碳化深度砼保护层厚度结构表观病害规范标准.系统.传感器数量多，数据积累速度快。上海长江大桥共369个传感器，每天产生数据量达2GB多（缺失）截止2017年11月，东海大桥两座斜拉桥10年间累积数据1
6、4TB左右102桥梁健康监测“大数据”SHM数据概况 数据利用情况数据重采样分析时段短人工干预多数据信噪比低时间粒度降低样本不均匀处理工作量大分析误差大，状态指标不敏感1.样本=总体2.量大弥补质量差3.求相关，不求因果2桥梁健康监测“大数据”商业大数据和工业大数据 研究对象商业大数据：社会群体工业大数据：物理系统 理论基础商业大数据：缺少机理模型，存在认知的真空地带，挖掘空间大工业大数据：领域知识丰富，机理认知程度高，突破难度大 数据性质（大数据的大小）商业大数据：数据完备充足工业大数据：维度灾难、长尾问题啤酒与尿布维灾难长尾问题结构本身问题的知识余量有限Outline1大数据与人工智能2桥
7、梁健康监测“大数据”3大数据技术在SHM中的应用4深度学习在SHM中的应用5总结3大数据技术在SHM中的应用云计算基于互联网的虚拟化计算方式。IaaS：虚拟机 PaaS：系统平台 SaaS：软件优势：为无力构建计算集群的用户提供可伸缩的、廉价的分布式计算、存储能力。Hadoop支持数据密集型分布式应用程序的开源软件框架。提供海量数据（PB级）的处理能力。HDFS：分布式文件系统 MapReduce：计算框架 HBase：分布式NoSQL数据库Spark一个开源集群运算框架。功能比较：MapReduceStorm处理流数据的分布式计算框架。计算方式3大数据技术在SHM中的应用 计算方式在SHM的
8、应用1.框架搭建，数据存储的和处理的高扩展性、鲁棒性（Hadoop）缺少评估细节/最后一公里2.功能验证，高效、快速计算能力（云计算、MapReduce）小数据量，benchmark/试件Big data-enabled multiscale serviceability analysis for aging bridges,University of Tennessee at ChattanoogaYu Liang,etc.Big Data Analytics in Structural Health Monitoring,Vanderbilt University,Guowei Cai3大
9、数据技术在SHM中的应用数据预处理数据融合降维特征提取机器学习可视化预处理对象：噪声、缺失值、离群点、漂移清洗方法：带通滤波、希-黄变换、盲源分离、小波变换、移动平均数据标准化：从结构响应的数据中滤掉由于环境和运营荷载变化引起的改变成分。Computer vision and deep learningbased data anomaly detection method for structural health monitoring,Harbin Institute of Technology,Yuequan Bao,etc.3大数据技术在SHM中的应用数据预处理数据融合降维特征提取机器学
10、习可视化 Data Fusion&Data Integration 对多源异构数据进行整合，建立数据间、信息间、知识间多维度、多粒度的关联关系，实现多层面的知识交互。1.物理层面2.数据层面3.知识层面 数据整合：物理层面 数据融合：多层面的最终过程17数据预处理数据融合降维特征提取机器学习可视化 特征工程提取对结构损伤或结构状态敏感的指标，数据分析成功与否最重要的因素。特征提取：统计特征：均方值、斜度、峰态 频域特征：频率、振型、模态曲率 其他：回归残差、小波能量、拟合系数 新技术：深度学习特征选择：去除冗余、不相关特征A recurrent neural network based hea
11、lth indicator for remaining useful life prediction of bearings,Xian Jiaotong University,Liang Guo,etc.3大数据技术在SHM中的应用18本质：对条件概率/概率分布的估计，即给定X=1,2,，求(|)方法：分类聚类关联分析回归分析前提：样本独立数据预处理数据融合降维特征提取机器学习可视化健康监测时间序列数据？1.特征提取2.采用序列模型时间序列聚类高斯过程隐马尔可夫模型张量分解对应变聚类获得的车辆过桥工况张量分解下的损伤识别3大数据技术在SHM中的应用19数据预处理数据融合降维特征提取机器学习可视
12、化3大数据技术在SHM中的应用Hollandse Brug Bridge,NetherlandsZ-24,SwitzerlandI-40,American3大数据技术在SHM中的应用医疗监测机械监测桥梁监测监测体量小小极大监测时限短长极长先验知识非常丰富（病症库）丰富（故障库）较丰富（损伤库？）目标模式范围明确范围明确范围不明确长尾问题不突出突出0尾？应用实例重症病人风机、齿轮、产品线桥梁研究领域表型识别、病症诊断故障识别、寿命预测损伤识别、性能评估数据预处理数据融合降维特征提取机器学习可视化Outline1大数据与人工智能2桥梁健康监测“大数据”3大数据技术在SHM中的应用4深度学习在SHM
13、中的应用5总结4深度学习在SHM中的应用 深度神经网络基本结构判别模型1.卷积神经网络(CNN)2.循环神经网络(RNN)条件概率分布：生成模型1.自编码器(AE)2.对抗神经网络(GAN)3.深度波兹曼机(DBM)联合概率分布：,=条件概率分布：=边缘分布：()4深度学习在SHM中的应用 学习流程数据预处理（去噪、降维）+特征提取+浅层神经网络端到端学习（end-to-end）=4深度学习在SHM中的应用 前馈神经网络（Feed Forward NN）一次训练包括正向传递：求目标函数反向传递：根据目标函数调整参数4深度学习在SHM中的应用 卷积神经网络（Convolutional NN）单通
14、道多通道一维音频波形、时间序列骨架动画二维黑白图片、频谱图彩色照片三维医学影像（CT）彩色视频数据LeNet-54深度学习在SHM中的应用 卷积神经网络-特征提取 以一种层次化的概念体系来理解世界，由简单的概念来学习复杂概念 CNN 成功的关键是利用了数据中以网格形式密集表示的局部相关性4深度学习在SHM中的应用 CNN-结构表观病害识别钢桥表观病害识别Faster R-CNNCha YoungJinUniversity of Manitoba 隧道渗漏水识别FCN李庆桐同济大学 地下系疲劳裂缝识别Xiangxiong KongUniversity of Kansas4深度学习在SHM中的应用
15、 CNN 时序数据 医学与机械心率不齐诊断（11种表型）Pranav Rajpurkar,etcStanford University34-layer CNN机械故障识别Wei Zhang，etc.Harbin Institute of Technology14-layer CNN4深度学习在SHM中的应用 CNN 结构损伤识别简支梁损伤识别(加速度)Yi-zhou Lin,etcJinan University8-layer CNN刚连接件损伤识别(应变场)Nur Sila Gulgec,etc.Lehigh University7-layer CNN4深度学习在SHM中的应用 循环神经网络
16、（Recurrent NN）RNNRNN正向传播双向RNN深度RNNLSTM4深度学习在SHM中的应用 RNN 优势及应用CNN：层次化的深度特征提取RNN：长时间上时间依存性和非线性行为捕捉功能比较1.卡尔曼滤波2.隐马尔科夫模型3.条件随机场CNN看图说话情感分析机器翻译视频帧标注4深度学习在SHM中的应用 RNN 时序数据预测、识别电网故障识别机械磨损预测齿轮损伤预测4深度学习在SHM中的应用 自编码器（Auto Encoder）生成模型 降维 特征提取（相比CNN）生成式建模分类 稀疏自编码器 降噪自编码器 收缩自编码器 变分自编码器 堆叠自编码器编码器encoder解码器decoder堆叠自编码器变分自编码器降噪自编码器稀疏自编码器4深度学习在SHM中的应用 Auto Encoder 特征提取疾病表型识别故障诊断预测一层的特征二层的特征特征与表型4深度学习在SHM中的应用 深度波兹曼机（Boltzmann Machine）生成模型 从输入中学习概率分布限制波兹曼机深度信念网络深度波兹曼机4深度学习在SHM中的应用 深度波兹曼机应用 特征提取剩余寿命预测（RUL）损伤识别齿轮剩
