大数据和云计算在物联网中的应用

近十年物联网技术不断发展，已经和计算机网络、互联网网络、通信网络等融合成一个整体，不再像以外作为传感器设备的管理网络单一存在。早期单一的传感设备加传感网络的应用已经无法满足当前的复杂需求了。现在物联网已经被广泛应用在智慧城市、智慧园区、智慧电网、智慧交通、智慧物流、智慧农业等多种领域[1，2]。其所涉及的领域非常多，传感器的种类也越来越多，如温度传感器、红外传感器、液位传感器、酸碱度传感器、压力传感器、视觉传感器、地理信息传感器等传感器种类非常多。

如此多的应用场景和种类繁多的传感器，让物联网的建设成为了一个融合了无线技术、光纤传输技术、计算机网络技术、计算机软件技术为一体的综合性工程。由于传感器网的规模不断扩大，从传感器获取的数据将是TB级别的数据，未来甚至是PB级的数据规模。巨大的数据背后蕴含着无限的数据价值。这就需要大数据和云计算来做技术支撑，让物品除了状态以外还可以具备智能。大数据和云计算在物联网中的应用，就是借助数据平台让物联网具备智能的过程[3，4]。

1 应用框架定义

目前就物联网的概念而言，并没有统一的标准来定义，例如感知器的数据标准，数据传输标准，网络统一标准等都没有，因此物联网在早期的建设中是一个异构的网络环境，数据各异。为了解决这一问题，近几年越来越多的智慧项目在物联网的建设中，开始采用分层建设的思路。

结合目前大多数智慧项目的建设思路，可以将系统划分为感知层、传输层、汇聚层和应用层等四个层次。如图1所示。

感知层是系统的基础，感知层负责收集感知数据再按照感知网约定的无线通讯协议传给感知网的网关设备，再有网关设备将数据传给传输层。一般传感器分为普通传感器和智能传感器，普通传感器只具有感知能力，而智能传感器是在普通传感器的基础上加入了计算模块和通信模块。在智慧项目的建设中，一些关键传感信息一般采用智能传感器。如：环境监测、智能路灯控制、土地监测等应用场景，都会在传感的基础上，增加一些实时计算分析的能力，再通过无线通信模块，传给感知网网关。目前常用的感知网技术有zigbee、LoRa和NBIOT分别在不同的应用场景使用。

2 物联网技术

目前在物联网的技术架构上，大多涉及无线通讯技术，也是感知层网络建设的基础架构，是M2M（Machine to Machine）的基础用于物物互联减少有线建设的成本。从应用成熟度而言，zigBee更为擅长在室内工业领域和智能家居等领域的应用，Wi-fi或蓝牙由于通讯距离限制一般在消费类家电和终端电子产品上应用，Lora和NBIOT由于通讯距离长带宽占用少适合在户外覆盖面大的智慧项目建设中使用。

由于本文所涉及应用为智慧项目的建设应用，因此采用Lora或NBIOT技术作为物联网的无线通讯网络。毫无疑问，微信通讯有着部署方便，成本低，网络架构灵活等天然优势。对于户外的应用（如：地磁、井盖、垃圾桶、环境采集、路灯控制等）而言，一般要求低功耗低带宽、低功耗、远距离、连接数量大。这样就提出了LPWAN的概念，即低功耗广域网的概念，Lora和NBIOT是目前较为主流的LPWAN技术。NBIOT并非使用公共频段要求接入运营商的私有云环境，因此在应用上缺乏灵活性。LoRa凭借其开放的技术特点越来越多的厂家参与开放，并且LoRa提供LoRaWAN服務，通过后台软件管理系统让LoRa可以管理数万个网络节点，更大范围的扩展了其应用范围，因此也越来越多地被智慧项目采纳。在实际应用上也有Lora over IP的方案，即把LoRa的DeviceEUI、APP EUI、Network ID、FPort等信息唯一标示传感应用，而传输层上由可能是带IP的报头，因此在Lora over IP方案中，Lora网关会通过IP报头来封装信息，这样给上层汇聚层就可以像处理普通TCP报文那样处理。

在物联网的稳定性和安全性方面，系统设计必须满足高度的可靠性和可用性的要求。物联网技术并非无懈可击，仍然可能会面临非法、病毒的袭击等威胁。因此，物联网介入的通信网络，信息的安全和稳定传输也是急需解决的问题。实现物联网异构系统通信协议转换以及传感节点的安全接入；物联网信息安全接入平台的总体技术架构与建设方案；建立物联网的边界安全规范体系，保证各环节传感节点及信息的统一安全接入。

3 大数据服务技术

如前所述在汇聚层所涉及的感知数据会非常巨大，因此需要大数据和云计算的技术架构来支持服务。一般建设大数据和云计算的技术架构，可以按管理层次划分，大体上可以分为服务层、管理层、虚拟化层和资源层四个层次。如图2所示。

服务层是针对用户的，其负责管理用户账户、部署服务、对部署后的服务以服务目录的形式组织，便于用户索引服务，对终端用户的使用以报告的形式提供使用信息统计上报。

管理层，对虚拟资源提供管理，调度、分发，在资源出现故障时可以进行切换、恢复等措施。在资源间可以实现负载均衡，实现资源的充分利用，减少导致资源瓶颈的因素。

虚拟化层，将异构系统的存储、计算、网络等资源虚拟化成统一的资源模式。对于应用隔离系统间的差异性，通过应用级的文件系统、网络交换系统等实现虚拟化。

资源层，是最底层的真实资源，如：服务器、网络、存储、集群、应用等。资源可以通过虚拟化的形式被纳入到云端管理模型中。

从计算框架而言，首先要将数据分布式的存储到云端的虚拟存储设备上，其次要考虑的就是如何将海量数据的计算分散在云端的虚拟计算设备上。对于存储一般采用分布式的文件系统作为底层的数据存储架构，而计算则一般采用MapReduce框架负责分布式的计算模型。

由于在云端需要部署大量的应用服务，这就需要一个可以满足弹性的计算框架来满足应用服务的需要。一般会设计一个由服务提供方（Provider）和服务消费方（Consumer）的服务消费模型来满足应用服务。在服务模型上需要考虑服务定义、服务配置、服务代理模式、服务注册中心、下层云的服务集群、为了满足负载均衡设计的服务质量监控、应用协议的封装、数据交换方式、数据传输模式和最底层的数据序列化。整个服务框架都是基于RPC和消息的模式设计的，因此在服务提供方和服务消费方都明确的语义、语法和明确的传输约定。

4 管理功能定义

大数据和云计算的物联网应用平台，提供管理功能包括，GIS拓扑管理、设备配置管理、网络故障分析、网络运维管理、公共服务管理、大数据服务、云服务管理等主要管理功能，同时还提供面向应用的丰富的应用接口服务。

GIS拓扑管理，系统结合了物联网和GIS的服务，能够在资产的物理位置发生变化的情况下，使得系统能够结合GIS提示用户当前物的所在位置和定位信息，提供追踪服务等功能。设备配置管理，提供物联网设备的配置服务，如网络设置，访问设置，设备工作参数设置，通信模式设置，设备存储设置，设备性能设置，设备告警设置，设备工作模式设置等。网络故障分析，主要是在系统上可以管理来之网联网的故障，传输网络的故障，数据中心机房的网络故障，可以连带做关联分析和主因分析等故障智能判定。网络运维管理，主要是调度网络运维资源，包括网络统计、运维调度、分配公共资源、运维人员管理、任务管理等。公共服务管理，主要是提供安全管理、系统日志管理、操作日志管理、安全事件管理、云服务平台管理等基础功能。大数据服务和云服务管理，主要提供对大数据的资源管理、网络资源管理、计算资源管理、弹性服务配置、安全策略配置等服务管理。应用接口服务，即为上层应用的API服务，一般采用Web Service的Restful形式为用户扩展，同时满足不同用户的管理需求定制化的安全服务等功能。

5 总结

综上所述，物联网的规模扩大让数据的收集变得容易，但是让存储、处理、挖掘数据本身的价值变得复杂，但是其价值就在于让物体具备了智能。一个完整的物联网应用包括了感知层、传输层、汇聚层和应用层，其融合了无线技术、光纤传输技术、计算机网络技术、计算机软件技术等多种技术。在智慧项目的物联网的无线通信技术上，本文建议使用更为开放的LoRa技术作为技术载体，利用其低功耗低带宽、低功耗、远距离、连接数量大的特点可以满足智慧项目户外设备多的特点。同时，本文扩展了LoRaWAN的技术方案，通过LoRa over IP的技术方案解决了LoRa和IP数据网络的接口差异满足了上层服务的接入和扩展能力。在计算框架上海量数据的存储采用分布式的文件系统作为底层的数据存储架构，而计算则一般采用MapReduce框架负责分布式的计算模型。由于在云端需要部署大量的应用服务，本文提出设计一个由服务提供方（Provider）和服务消费方（Consumer）的服务消费模型来满足应用服务。最后，本文所述的应用架构借助大数据和云计算平台让物联网具备了智慧，让物联网更为精細更为智能。