智慧城市数据中台设计与应用

ProductsandSolutions智慧城市数据中台设计与应用

产品与解决方案

智慧城市数据中台设计与应用

DesignandApplicationofSmartCityDataCenter

许苗峰1，薛

慧2（1.中国联通智能城市研究院，北京100089；2.海联金汇（北京）金融科技有限公司，北京100089）

XuMiaofeng1，XueHui2（1.ChinaUnicomSmartCityResearchInstitute，Beijing100089，China；2.HailianJinhui(Beijing)FinancialTechnol⁃

ogyCo.，Ltd.，Beijing100089，China）

摘要：关键词：

智慧城市；数据中台；数据标准化

doi：10.12045/j.issn.1007-3043.2020.02.018文章编号：1007-3043（2020）02-0084-03中图分类号：TN914文献标识码：A

开放科学（资源服务）标识码（OSID）：

随着城市信息化水平的不断提升，智慧城市建设应运而生。为解决智慧城市领域数据孤立、利用率低、分析指标零散的问题，设计了数据中台系统。通过设计数据抽取、数据加工、数据共享的服务架构，实现了数据中台的数据共享与交换。结合智慧楼宇的具体业务，设计数据分层架构和数据分析模型，验证了数据中台的可行性。数据中台系统可以深入地挖掘数据价值，提升业务数据服务水平，引领智慧城市业务向深层次发展。

Abstract：

Withthecontinuousimprovementofcityinformatizationlevel，theconstructionofsmartcitycomesintobeing.Inordertosolvetheproblemsofdataisolation，lowutilizationandscatteredanalysisindexesinthefieldofsmartcity，adatacentersys-temisdesigned.Bydesigningtheservicearchitectureofdataextraction，dataprocessinganddatasharing，thedatasharingandexchangeinthedatacenterisrealized.Combinedwiththespecificbusinessofintelligentbuilding，thedatahierarchicalar-chitectureanddataanalysismodelaredesignedtoverifythefeasibilityofdatacenter.Thedatacentersystemcanrealizein-depthdatavaluemining，improvetheservicelevelofbusinessdata，andleadthebusinessofsmartcitytodevelopindepth.

Keywords：

Smartcity；Datacenter；Datastandardization

引用格式：许苗峰，薛慧.智慧城市数据中台设计与应用［J］.邮电设计技术，2020（2）：84-87.

0前言

智慧城市经过十多年的信息化建设，各类信息化系统已全面应用于智能楼宇、智能园区、智能校园、智能社区等多个领域，为各项业务提供了有力支撑。但也存在很多不足之处：一是各领域各系统形成了以各自为中心的独立应用，如楼宇能耗与空间管理都是独立系统，导致了严重的流程断点和数据壁垒；二是数据利用率低，没有形成有效积累，系统之间数据重复获取；三是数据分析指标多而散、数据价值并没有有——————————

收稿日期：2019-12-20

效体现，导致系统价值低。

针对智慧城市发展的不足，需要将各系统数据统一管理，形成数据生态，挖掘数据价值。构建数据中台，正是建设智慧城市中不可缺少的一环。数据中台可通过数据建模来实现跨业务的数据整合；通过数据服务对各个系统数据封装和共享；通过数据分析，实现数据应用的服务化，挖掘数据价值。

1数据中台设计

数据中台的目的在于为各个系统提供数据共享和数据分析。以数据资产管理为基础，沉淀数据通用能力，通过对数据进行采集、加工、存储、共享以满足不同

84

2020/02/DTPT

许苗峰，薛慧产品与解决方案

智慧城市数据中台设计与应用ProductsandSolutions

专业间、不同领域之间的数据共享、数据挖掘、数据分析的需求。数据中台架构如图1所示。

数据展示平台数据共享MySQL，MongoDB，Oracle，SQLServer，PostgreSQL…数据标准管理数据数据模型管理数据价值管理数据加工主数据管理数据安全管理缓存元数据管理数据质量管控定时任务管理：Quartz数据抽取定时采集对应数据库，定期同步定时增量/全量抽取数据库：MySQL，MongoDB，Oracle，数据采文件（图SQLServer，PostgreSQL…集API片、视频、文档等）异构系统数据存储RestAPI数据共享API数据标准管理是数据加工的基础，规定了数据中台中所有数据的统一格式、统一标准和唯一ID等数据规范，主要包括数据模型管理、主数据管理、元数据管理、数据的质量、价值、安全管理。

传统智慧城市系统的单个业务领域都独立进行并自行管理数据，对于同一份原始数据每一个业务都有不同的定义，命名、标识都不尽相同，标准混乱给统一管理业务带来了极大的困难。主数据管理和元数据管

数据共享数据转换加工日志数据分析管及算法模型理智能城市数据中台理致力于构建数据源标准化数据，对每一个元数据进行定义，使数据中台抽取到的数据有统一的规范标准。

以智慧城市为例，数据主要来自于楼控系统、楼宇能源系统、园区环境监测系统，数据又分为用户数据、经济数据、环境数据、能耗数据等。不同业务系统之间关注的数据整体关联但又相互独立。因此需要借助数据模型管理对数据分层分类，建立统一的数据管理规则从中挖掘更多的数据价值。

2.2.2数据转换

数据转换模块作用是将抽取来的数据进行加工，使之符合数据标准的规定。主要使用计算列、合并列、行转列、列转行、SQL筛选等一种或者多种操作，进行数据转换加工。同时，也可以使用算法模型进行数据的复杂分析，从而得到期望的数据。

图1数据中台技术架构

2构建数据中台的关键模块

2.1数据抽取

数据抽取模块是数据中台的第一步，主要为API数据接入、数据库数据接入、文件（图片、视频、文档）等。其抽取模式主要分为全量抽取和增量抽取，全量抽取是每次都将所有数据全部接入到数据中台中，而增量抽取只接入数据中台中没有的部分数据，增量抽取数据量更小，性能更好。

增量数据抽取模式主要有基于触发器的增量数据抽取、基于日志文件的增量数据抽取、基于时间戳的增量数据抽取和基于全文比对的增量数据抽取，其优缺点如表1所示。

2.3数据共享

将中台内部整理完成的数据，通过通用服务能力进行共享与交换。为各应用系统访问业务数据提供统一接口支持和策略支持。负责接收应用系统的数据请求，按照请求内容读取数据，然后发送给请求数据的应用系统。

3数据中台实施

智慧城市的建设涉及到众多系统整合，亟需数据中台将零散的信息化系统规范和统一起来。以智能楼宇为例，其涉及系统有智慧停车、会议室管理、空间管理、能源管理、门禁系统、烟感系统、安防管理等众多系

2.2数据加工2.2.1数据标准管理

表1

项目基于触发器的增量数据抽取

基于日志文件的增量数据抽取

不同增量数据抽取的对比

基于时间戳的增量数据抽取

基于全文比对的增量数据抽取获取源数据库与目标数据库的数

据快照，然后逐一进行对比，找出新增、删除、修改的数据后进行相应操作

业务数据库中建立触发器，并由触

使用数据库本身的日志系统，读读取目标数据库中的最大时间，然后

发器将变化的数据写入临时表中，定义取并解析数据库的日志文件，然以这个时间作为参数从源数据库中

从临时表中读取数据，实现增量数

后在目标数据库中进行相应操作读取大于这个时间的所有数据

据抽取优点借助数据库本身的机制，可靠性强可靠性强，对源系统没有影响缺点

处理速度快，数据处理逻辑相对简单对源系统没有任何影响

源数据库没有时间戳字段的表需要

对源系统有影响，需要建立触发器各数据库系统的日志文件绝大部面对海量数据（千万级、万万级）更改表结构，而且需要源数据库来维

以及临时表或临时数据存储文件分都是私有的进行比对时有一定的性能问题

护时间戳字段

邮电设计技术/2020/02

85

许苗峰，薛慧

ProductsandSolutions智慧城市数据中台设计与应用

产品与解决方案

统。数据中台正是这些系统之间的数据桥梁，承担数据规范并深入挖掘数据之间的关系，构建多场景联动应用，对内加强精益化管理，对外实现可视化服务，全

数据直接应用场景智能楼宇可智能楼宇视化平台BI平台BI分析指标面提升楼宇智能化水平。智慧楼宇数据总体架构如图2所示。

传统数据仓库使用ETL将业务系统的数据直接采

数据分析应用场景减少内部提升安全故障抢修管理水平业务应用优化企业工位布置提升能源利用率应用层数据中台可视化指标空间态势人员空间管理模型设备态势故障研判模型门禁管理安防态势安防预警研判模型访客管理能耗态势能耗预估模型…中间层数据标准模型源数据层停车预约会议管理工位管理能源管理图2智慧楼宇数据总体架构

集加工至数仓中，其目的在于数据整合。随着业务的增加，重复ETL会造成数据混乱，无法满足数据标准化。依照数据中台原则，数据应分层设计，分为源数据层、中间层、应用层。三层自下而上，各层次之间数据低耦合高内聚，避免了因业务系统过多造成的数据混乱。

源数据层是将来源于各个终端业务系统的数据，结构化地存储到数据中台中。数据抽取主要采取同步任务的形式，对于使用关系型数据库的业务系统采取全量或者增量方式直接通过数据库同步到中台，对于使用非关系型数据库或者提供数据接口的业务系统，首先进行结构化处理，再存储到数据中台中。

中间层是数据中台最为核心的部分，是数据建模和数据标准化的体现点。在这一层需要以维度模型为基础，把源数据层整理完毕的数据转换加工后放入应用层中。维度建模首先需要做好需求调研，梳理业务系统抽象出数据作用域，如智慧楼宇中常用的人员空间管理模型、安防预警研判模型、设备故障研判模型、能耗预估模型等。同时，对于一些相对简单而孤立的数据，可采用通用数据标准模型进行处理。

应用层主要放置用于数据共享的统计指标和模型结果。这一层数据来源于中间层的加工，同时又与业务层的数据需求一一对应。比如：楼宇可视化平台、楼宇BI平台及一些数据分析场景。

业务系统数据共享与交换的桥梁。随着智慧城市不断发展，业务系统和业务数据都在快速增加。因此，打造数据中台对内可贯通多个业务系统，对外可快速支撑新业务拓展。

本文以智能楼宇为例，借鉴互联网较为成熟的中台战略，设计了符合需求的数据中台架构，并对其核心模块的关键技术进行了阐述，对于智慧城市数据中台建设具有一定的借鉴意义。参考文献：

［1］朱常波，程新洲，叶海纳.5G+大数据赋能智慧城市［J］.邮电设计

技术，2019（9）：1-4.

［2］刘冬雪，梁芳，刘佳星，等.新型智慧城市整体框架研究［J］.邮电

设计技术，2018（9）：61-64.

［3］孙亮，刘雁，刘冬雪，等.电信运营商助力智慧城市发展策略研究

［J］.邮电设计技术，2014（6）：24-27.

［4］刘雁，刘冬雪，李晓宇.智慧城市云平台设计方案探讨［J］.邮电设

计技术，2014（6）：6-10.

［5］甄峰，秦萧.大数据在智慧城市研究与规划中的应用［J］.国际城

市规划，2014，29（6）：44-50.

［6］李炳森，胡全贵，陈小峰，等.电网企业数据中台的研究与设计

［J］.电力信息与通信技术，2019（7）：29-34.

作者简介：许苗峰，工程师，硕士，主要从事智慧城市业务相关开发工作；薛慧，工程师，硕士，主要从事数据领域相关算法研究工作。4结束语

数据中台建设是智慧城市必不可缺的一环，是各

86

2020/02/DTPT

丆丆丆丆丆丆丆丆丆

丆丆丆丆丆丆丆丆丆丆丆丆丆丆丆丆丆丆