前言
随着物联网产业的迅速发展,物联网应用也正由离散的、示范性应用逐步走向多层次、规模化应用,并且深入地融合入人们生活及工业生产制造的各个环节。特别是,互联网及移动互联网不再仅仅是人与人之间的联络通道,物与物、物与人之间也逐步建立了持续的互动关系。我们通过部署在远端的、无处不在的传感器能够极大地扩展我们的感知能力,由这些传感器产生的数据正通过互联网改变着我们的生活。
分散部署的亿万级的各类传感器持续产生海量的数据,这些感知数据的采集、处理、传输以及存储管理、挖掘分析都让我们面临着一系列新的挑战。随着大数据技术的发展与应用,这些数据的处理与利用正得到越来越多的重视与关注。但是,不同于互联网中大数据的非结构化及价值密度低等特性,物联网应用中的数据更加倾向于结构化、及时的处理需求以及价值密度与数据量成正比等特性,需要有序的管理与处理利用。
本书作者近几年研究开发成果及应用实践的基础上,通过系统地分析物联网中这类感知数据的特点及相应的事务处理特性,针对互联网场景下的物联网大数据而提出了一套三层的物联网大数据处理的技术体系。并在此基础上,就相关的技术开展进行了深入的探讨与分析。进一步,介绍了作者所在团队研发的相关产品,以及这些产品在智能交通、智能电厂、教育、安全监控等领域的应用案例。希望这些内容对于物联网应用的开发者及两化融合、工业4.0环境下的大数据处理分析提供重要的指导与参考价值。
全书分为3篇:缘起与发展趋势篇、技术解析篇、产品研发篇。缘起与发展趋势篇包括第1章物联网与产业发展以及第2章大数据处理技术的发展,主要针对物联网产业以及大数据处理相关技术进行简要介绍以及发展趋势的分析与探讨。技术解析篇包括第3章到第8章,其中第3章物联网大数据技术体系主要针对物联网大数据处理的挑战提出相应的技术体系;第4章感知数据特性与模型,并进一步提出物联网感知数据库系统,进一步在第5章针对感知数据库系统的设计、关键技术以及部署体系进行阐述;面对物联网感知数据处理的实时性需求,第6章就这类事务的实时调度、并发控制以及事务的执行模式与框架进行深入的探讨,从而为这类系统的开发实现提供有价值的参考;第7章主要针对物联网大数据在云端的存储管理进行分析,第8章主要探讨物联网大数据的计算与分析技术。产品研发篇包括第9章到第11章,分别介绍物联网大数据处理的三个层次中对应的产品以及这些产品的成功应用案例,为读者开展物联网大数据的应用工作提供参考。
本书主要由王桂玲、王强、赵卓峰、韩燕波编著,参与编著的还有刘晨、李寒、房俊。其中,王桂玲主要编写了第2章、第7章、第8章、第11章的内容,王强主要编写了第1章、第3章、第4章、第5章、第6章、第9章、第10章的内容,赵卓峰参与编写了第11章,韩燕波教授整体组织了本书的内容及结构,并对本书关键内容进行把关。刘晨、李寒分别参与编写了11.4节、11.5节内容,房俊参与编写了7.2.3节内容。实验室硕士研究生曹波、李冬、王路辉参与了本书部分实例的验证。
本书内容特别是本书所介绍的相关研发产品是北方工业大学计算机学院数据工程研究院、大规模流数据集成与分析技术北京市重点实验室及中科启信公司全体人员集体努力的结晶。本书得到了国家自然科学基金(No. 61672042)、北京市自然科学基金(No. 4172018)的资助。
在本书编写过程中,得到了戴国忠研究员的大力指导与帮助,还得到了其他许多师友的帮助和鼓励,在这里我们无法一一列举,谨向他们表示真挚的感谢。
电子工业出版社的董亚峰老师、米俊萍老师为书稿的面世给予了大力的帮助。在此,对二位老师表示衷心的感谢!
物联网大数据的应用尚处于初级阶段,由于作者水平所限,本书缺点以及不足之处在所难免,欢迎广大读者批评指正。