中国风力发电网首页

中国风力发电网

风电新闻

热门搜索:风能  风力发电技术  风电产业  能源  风电叶片 

当前位置:中国风力发电网 » 风电新闻 » 风力发电知识 » 正文

基于云平台的风电大数据系统搭建策略研究

2016-09-20  来源:中国风力发电网  [已有0人评论]  [有偿投稿]
核心提示:风电企业生产数据有其自身的特点,主要是风机回传的传感器数据,其符合典型机器大数据的特点,具体而言:(1)体量大。
中国风力发电网讯:引言
风电企业生产数据有其自身的特点,主要是风机回传的传感器数据,其符合典型机器大数据的特点,具体而言:(1)体量大。假设每台风机每秒回传500个数据点,那么1台风机1年产生的数据为60GB。按1万台风机估算,1年产生的数据若不压缩大概900TB。针对风电企业PB级别的生产数据,需要低成本可扩展的大数据平台架构来存储数据。当数据不断增多的时候,包括未来增加传感器的属性,可以通过增加节点和本地存储实现水平扩展。(2)速率高。针对风机回传的时间序列数据而言,每台风机每秒回传500个数据点,1万台风机向数据中心回传的数据率为650万点/秒。针对风电企业回传数据的特点,如果把这些数据加载到关系数据库,根据这一数据库的产生速率,无论是批量导入还是实时插入,远超过商用的通用数据库的加载速率。因此,需要定制数据存储和查询平台,支持每秒千万数据点的导入。(3)格式特定。首先,风电企业的主要动态数据为风机产生的时间序列数据。其次,由于风机型号和出场时间的差异,风电企业回传的机器大数据格式多样。基于风电大数据的这些特点,加之对风电数据的实时分析、查询和存储区需要大量计算资源,为了弥补物理设备的不足,建议采用云平台架构。
本文详细介绍了基于云平台的风电大数据系统搭建策略,通过分析风电企业数据资源特点(体量大、速率高、格式特定)制定平台架构和部署方式。平台采用成熟的商业hadoop软件加私有云的架构方式,包括:平台基础层、平台服务层、平台应用层,分别提供数据预处理、存储、安全、共享等服务。通过云平台可节省投资、实现快速部署,平台安全稳定不受物理设备存储计算容量的限制,可实现计算资源的快速横向扩展,为风电企业实现大数据平台建设提供了新的思路与想法。
平台技术架构
1.大数据云平台技术架构
大数据的基础设施采用云资源架构;大数据平台主要基于hadoop技术提供大数据分析计算功能;大数据应用服务基于大数据云平台搭建,同时又通过应用服务总线提供大数据应用服务。如图1所示。
基础云平台,由虚拟化调度管理系统、服务器、存储和网络设备统一构成,对外提供计算、存储、网络等基础资源功能。大数据平台层,主要是实现PB级数据存取和快速计算分析功能,实现分布式的文件系统、实时数据库,分布式数据库等不同级别的存储区域;同时实现流计算、内存计算、分布式并行计算等多种计算引擎,且集成通用的挖掘算法和挖掘工具,便于应用业务进行挖掘分析处理。应用开发服务平台基于J2EE技术路线,采用SOA、模块化和构件化架构,平台总体架构分为4层:模块化引擎、基础组件、核心组件、展示组件。
2.云支撑平台
整个云支撑平台系统结构如图2所示。云平台由一个运营管理平台和一个或多个资源池系统组成。物理设备主要包括X86服务器、网络设备、存储设备,为IaaS服务提供最底层的物理资源。在虚拟化层是通过虚拟化软件(如VMwareESXi、CitrixXenServer或KVM)对物理层的硬件设施进行虚拟化处理,形成Hypervisor虚拟层面的资源池系统。采用虚拟化软件将物理设备资源形成一个或多个虚拟出来的资源池,提供计算能力、网络功能和存储能力。该资源池系统可提供用户传统使用基础IT资源、计算能力、网络功能和存储能力。该资源池系统可根据需要动态改变资源分配的规模,快速适应不同应用的扩容需求,实现“弹性”资源的分配能力。
管理系统是通过云管理平台来实现资源统一管理和业务统一管控的自动化系统。云管理平台作为资源管理系统,主要是管理资源池系统及资源池系统中的各种资源的调度、分配和调整。

 
 

(来源:《中国国电》)

0条 [查看全部]  网友评论

名企专栏