1、办公自动化杂志0 引言时代发展得越来越快，导致一些危机现象越发严峻，如全球变暖、能源稀缺等。汽车行业在 21 世纪发展的如火如荼，尤其是新能源汽车在电气化、共享化、智能化的程度也越来越高；1此外，由于石油资源不可再生，有一些国家提出新的政策禁售燃油车。我国也对新能源汽车的发展提供有力的支持，政府先、后发布政策支持新能源汽车技术和产业发展，为促进新能源汽车的销售，购买新能源汽车还能享受一定的补贴，既能省下一定的资金，又能节能减排、减少污染，促进可持续发展。然而，随着新能源汽车数量的激增，也引发一系列道路安全问题，每天抖音、快手等平台都会推出不少道路交通安全事故的视频，由此给人们进行警示，要遵守交
2、通规则避免交通事故的发生。据不完全统计，大约 30%的交通事故产生的原因由于汽车本身问题所造成，2这就不得不引起我们的重视。在这种条件下，如何对新能源汽车的健康状态进行评价，使车辆本身健康状态如不达标则禁止上路，是目前需迫切开展的重要课题。本课题主要研究基于大数据的新能源汽车健康状态评价技术，通过大数据技术将车辆的一系列的特征数据进行分析和处理，并给出新能源汽车健康状态的评价指标；此外，使用数据可视化技术将汽车的健康状态进行直观展示，使汽车的各项指标状态一目了然地呈现在大众面前，从而本质上降低交通事故发生的概率。1 相关技术介绍1.1 Hadoop 简介Hadoop 是一个开源软件平台，3由
3、Apache 基金会使用Java 语言进行开发，用以对海量数据的分布式管理和计算。2003 年，谷歌发表了三篇论文分别是 GFS、MapReduce、BigTable 彻底引爆了大数据时代。而 Hadoop 则是对谷歌的三大技术进行了开源实现，分别命名为 HDFS、MapReduce和 HBase。4其中前两个核心组件 HDFS 和 MapReduce 分别提供分布式存储和分布式计算的功能。与传统的文件系统相较，HDFS 采用更复杂的网络编程技术并添加 HA 高可靠机制保证网络中某个节点出现故障时，整个系统能正常运行；而 MapReduce 则是一个并行计算框架，其基本思想是分基金项目：基于数
4、据驱动的光伏充电站主电路运行状态评估技术研究（212102210146）。基于大数据的新能源汽车健康状态评价技术胡舒淋蔡春花（黄河交通学院 智能工程学院焦作454950）摘要：随着时代的发展，各种新能源汽车在生活中越来越普及，道路交通事故也不断增加，其中有一部分是车辆本身的原因所导致。为防止新能源汽车带“病”运行，本课题基于大数据技术对新能源汽车的健康状态进行检测评价，具体讲分析了车辆主要部件的故障特征，并基于新能源汽车主要部件的异常状态特征进行了研究，给出了车辆健康等级的评价，并进行了可视化展示。相关研究成果能对新能源汽车进行全方位快速、准确的健康监测，有助于维修企业提升服务质量，促进新能源
5、汽车行业信息化管理水平。关键词：新能源汽车；健康状态评价；大数据中图分类号:TP391;U463文献标识码:A文章编号:220811-10228The Health Status Evaluation Technology of New Energy VehicleBased on Big DataHU ShulinCAI Chunhua（School of Intelligent Systems Engineering，Huanghe Jiaotong UniversityJiaozuo454950）Abstract：With the development of the times，all
6、 kinds of new energy vehicles are becoming more and more popular inlife，Which leads to the increasing number of traffic accident,some of which are caused by the vehicle itself.In order toprevent the new energy vehicle from running with disease,this topic detects and evaluates the health status of th
7、e newenergy vehicle based on big data technology.Specifically,it analyzes the fault characteristics of the main components ofthe vehicle,studies the abnormal status characteristics of the main components of the new energy vehicle,gives the eval-uation of the vehicle health level,and makes a visual d
8、isplay.Relevant research results can carry out comprehensive，rapid and accurate health monitoring of new energy vehicles,help maintenance enterprises improve service quality,andpromote the informatization management level in the new energy vehicle industries.Keywords：new energy vehicle；health status
9、 evaluation；big data*2023 年 2 月 1 日Internet+Innovation 2.0总第 488 期15办公自动化杂志而治之，也就是将一个复杂任务拆分成若干个任务分布在多台节点并行执行。最后一个核心组件 HBase 则是一个分布式的开源数据库，适合存储海量的非结构化数据，利用该技术能在廉价的、普通服务器上搭建大规模结构化存储集群。1.2 Hadoop 分布式文件系统HDFSHDFS 的设计方式与 GFS 类似，也采用主/从架构，主要由名称节点（namenode）和数据节点（datanode）组成。名称节点主要用来存储元数据以及相关 block 块的位置信息，真正
10、的数据则是存放在数据节点中。HDFS 的文件在读写时，都需先找到该文件位于哪些 datanode 上，之后创建输入、输出流进行相应的读取和写入。需注意的是每个数据块在 HDFS 中保存时默认是 3 个副本，并且副本会按一定的策略在 datanode 中存放，文件读取时一般会读取最近的副本。1.3 Hadoop 分布式计算框架MapReduceMapReduce 是一种并行编程模型，其核心思想是分而治之，一般情况下用于大规模数据集（大于 1TB）的并行计算。主要分为两个阶段分别是 Map（映射）和 Reduce（归约），它最大的优势在于即使编程人员不懂分布式编程，但仍可将自己的程序运行在分布式系
11、统上，为所有的编程人员提供极大的方便。MapReduce 运行时可大致分为五个阶段如下所示：1.3.1 Inputsplit这个 阶 段主要 是 输 入 数 据 并 进 行 分 片 作 为 Map的输入；1.3.2 Map主要运行用户编写好的 Map 函数，该阶段数据的输入和输出以键值对的形式存在；1.3.3 Combiner可选阶段，主要是在 Map 阶段输出中间文件之前对重复的 key 做一个简单的合并；1.3.4 Shuffle该阶段主要工作是先将文件写入到磁盘，在写入前对文件进行排序；1.3.5 Reduce对相同的 Key 的数据进行合并。1.4 Hadoop 和关系型数据库传输工具
12、SqoopApache Sqoop（TM）是一种用于在 Hadoop 和结构化数据存储（如关系数据库）之间高效传输批量数据的工具。52012年 3 月成功孵化，目前已成为顶级 Apache 项目。一般情况下，有价值的数据会存放在关系型数据库中（如 MySQL）6，而 Sqoop 作为 Hadoop 和关系型数据库间的传输工具，其主要作用就是将关系型数据库中的数据提取到 Hadoop 中，方便 MapReduce、Hive7等相关工具进行进一步的处理。数据处理完毕后会生成最终的分析结果，Sqoop 会将分析结果重新返回给关系型数据库，方便其它客户端使用。2 开发环境搭建2.1 Hadoop 集群
13、搭建本课题研究新能源汽车健康状态评价技术，首页要有数据作为支持，再经过数据分析后得到相应结果。基于此，本文在虚拟机上搭建 Hadoop 大数据处理平台，并将需要的Jar 包导入至 Eclipse 或 Idea 开发工具中。Hadoop 集群的搭建方式有三种，分别是：单机模式、伪分布式模式、完全分布式模式。8单击模式是默认模式，其中没有分布式文件系统，读写操作在本地文件系统中；伪分布式也是在一台单机上运行，只是在单机模式上添加代码调试功能、HDFS 输入输出以及其它守护进程的交互；完全分布式则是由三个或三个以上的实体组成的集群，是真正的生产环境，其中守护进程也是运行在集群中。本文搭建的集群中各节
14、点的配置如表 1 所示：表 1 Hadoop 集群软硬件环境配置具体搭建步骤如下：2.1.1 在 VMware 创建 3 台 Linux 系统虚拟机；2.1.2 安装并配置 JDK；2.1.3 安装 Hadoop-2.7.3；2.1.4 格式化名称节点，启动并验证 Hadoop。2.2 Sqoop 集群搭建安装 Sqoop 的前提是已具备 Java 和 Hadoop 的环境，本文使用的 Sqoop 版本是 Sqoop-1.4.7.bin_hadoop-2.7.3。2.2.1 下载 SqoopSqoop 下载地址 http:/archive.apache.org/dist/sqoop/1.4.7
15、/2.2.2 解压 Sqoop把下载下来的 Sqoop 安装包解压到 opt/module 目录下，执行命令：tar-zxvf sqoop-1.4.7.bin_hadoop-2.7.3.tar.gz opt/mo-dule/2.2.3 修改配置文件将 conf 目 录 下 的 sqoop-env-template.sh 重 命 名 为sqoop-env.sh，然后使用 vim 编辑 sqoop-env.sh 文件内容添加Hadoop 文件路径。具体配置内容如下：exportHADOOP_COMMON_HOME=/opt/module/hadoop-2.7.3exportHADOOP_MAPRE
16、D_HOME=/opt/module/hadoop-2.7.3export HIVE_HOME=/opt/module/hive-0.13.1 bin2.2.4 加入依赖包使 用 Sqoop 需 添 加 两 个 额 外 的 依 赖 包，分 别 是MySQL 的驱动包和 Java-json 的依赖包，不然就会报错。将下载的这两个 Jar 包添加到 Sqoop 的 lib 目录下。2.2.5 验证 Sqoop用 bin/sqoop help 命令来验证 Sqoop 的部署是否正确，如果帮助命令成功输出，那么就说明 Sqoop 部署成功。2.2.6 测试 Sqoop用 Sqoop 连接 MySQL 命令检测数据库的连接是否成功。命令如下：bin/sqoop list-databases-connect jdbc：mysql：/slave2：3306-username root-password 123456。总第 488 期2023 年 2 月 1 日Internet+Innovation 2.016办公自动化杂志2023 年 2 月 1 日Internet+Innovation 2.0总第
