随着IT技术的飞跃式发展,联网的设备已经达到百亿级。根据Gartner的预测,到2021年联网的设备将达到250亿,而到2029年,连接到企业基础设施的设备将超过150亿。5G技术的飞速发展也是一个很重要的推动因素。海量设备所产生的海量数据,如何高效处理就是一个很大的挑战。
对于传统型企业而言,要进行数智化转型升级,打造高效的物联网数据处理平台是根基。中国是制造大国,要向智造大国转型,打造数字化的工业互联网平台也是非常关键的一步。
数据的高效采集和处理是数智化转型的核心基础。
现在很多智能化场景也已经走进了我们的生活。比如智能零售,基于大数据技术、图形图像技术、人脸识别技术,线下门店、超市出现了很多新的玩法。再比如智能公交,我们在站点的大屏幕上就能看到公交车的实时状态,知道我们需要等几分钟,我们可以根据预估时间安排自己的具体行程。再进一步,智慧城市,指利用各种信息技术或创新概念,将城市的系统和服务打通、集成,以提升资源运用的效率,优化城市管理和服务,以及改善市民生活质量。其背后更是海量数据的综合处理与分析。
而这些场景的第一步,就是海量数据的收集和处理。
这也是我开发TDengine,创建涛思数据的初心,即高效解决物联网大数据的存储和分析问题。基础设施上效率的提升,无疑会节省大量的社会成本。在碳中和、碳达峰与新能源革命这个大背景下,更是意义非凡。
在创建涛思数据之前,我调研了很多企业是如何进行物联网、工业互联网的数据处理的。我发现很多企业用的就是从互联网公司学来的Hadoop技术栈,整个系统要依赖非常多的分布式组件,开发效率低,运行效率差,而且运维成本很高。
通过深入研究,我发现物联网数据有其非常典型的特征,如果针对这些特性设计一套数据处理系统,效率可以极大提升。针对物联网时序数据的典型特征,我们创造性地提出了“一个数据采集点一张表”的模型,采用“超级表”来解决多设备之间的数据聚合分析问题,这也是我们的核心模型,于是也就有了涛思数据的创业之旅。
企业的数智化转型,我认为核心有三点:数据的采集和高效存储;对实时分析的灵活支持;打造数据平台底座,为其他系统提供支撑。
数据的采集和高效存储
首先看数据的采集和高效存储。海量数据需要大量的计算和存储资源,也需要配套的人力资源,这是企业的一个很大的成本。我试举几例:
(1)中国地震台网中心的数据通过有线或无线网络传输至台网中心,台网中心的数据处理软件会采用人工交互处理或自动处理方式对数据进行处理,监测全国和全球的地震活动情况。
(2)广联达在某新区智慧城市大数据管理系统中,也会使用各类终端设备采集数据,比如智能灯杆上照明情况、用电情况,供水压力流量数据、燃气压力、可燃气体泄露、污水排污成分数据等。
(3)还有些企业在水环境综合治理运维系统中,也会使用各类终端设备的采集数据,比如硫化氢、电压、电流、雨量、温度、液位、闸门、风机、排风扇、溶解氧等信息。为上层的实时分析提供强有力的支撑。
这些场景,日增数据量可能就有几百GB,甚至是TB级别。
基于数据的多样化分析
数据是资源,但数据的最大价值并不是数据本身,而是我们通过各种分析从中挖掘出的、对业务有帮助的洞察,进而为企业决策提供支持。所以平台能提供哪些分析功能,就是重要的抓手了。
前面提到过智能零售、智能公交和智慧城市等典型的应用场景,通过各种传感器、摄像头收集实时数据,最终的目的都是为我们的决策提供依据,提升效率。
在IT运维领域,智能运维的概念方兴未艾。所谓智能运维,也是在充分收集各项运维指标的基础之上,运用大数据、人工智能等技术,通过各种模型来预测分析可能存在的问题,实现主动发现和预测。
以数据为基础,辅以各项分析技术,再综合人工智能的模型和算法,人们也从数据中挖掘出了越来也多的价值。
如果以我们为例的话,其核心是一个时序数据库,我们提供了非常丰富的分析功能。无论是十年前还是一秒钟前的数据,指定时间范围即可查询。数据可在时间轴上或多个设备上进行聚合,即席查询可通过Shell/Python/R/Matlab随时进行。我们提供了多种多样针对表和超级表的查询处理功能,除了常规的聚合查询之外,还提供针对时序数据的窗口查询、统计聚合等功能。
这样基于系统自身的接口,我们就能完成常见的大部分分析工作了。从下图可知,我们很方便基于TDengine打造时序数据的处理生态。
打造数据平台底座,为其他系统提供支撑
随着数据的不断累积,存储成本会持续增长。所以,一定要利用多级存储功能,才可以将最冷的数据存放在最廉价的存储介质上,应用的访问也不用做任何调整,不过是读取的速度降低了。
数字化时代,能否顺利实现数智化转型,事关企业成败。这也是国产化软件、服务公司的难得机遇。IT技术的飞速发展,也为中国培养出很多高质量的研发人才。希望能有更多技术型企业,借助这一大势快速成长起来,共同推进数智化转型。
作者个人简介
陶建辉,涛思数据创始人兼CEO,1994年到美国留学,1997年起,先后在芝加哥Motorola、3Com等公司从事无线互联网的研发工作。2008年初回到北京创办和信,后被联发科收购。2013年初创办快乐妈咪,后被太平洋网络收购。2017年5月创办涛思数据,专注物联网大数据的处理,产品TDengine开源后,在GitHub全球趋势排行榜上多日排名第一。涛思数据已获红杉、GGV、经纬、明势资本等多家机构的近7000万美元的投资。