美亚柏科:以创新大数据操作系统,撬动数据智能信创产业新发展!丨数据猿专访
2022-09-27 19:06:42
  • 0
  • 0
  • 0

在全球范围内,数字经济都已经成为国民经济的一个重要亮点。在国内,2021年我国数字经济规模达45.5万亿,占GDP的比重为39.8%。并且,数字经济尤其是产业数字化的增速要显著高于GDP增速。可以说,数字经济已经成为我国经济的核心发动引擎。大数据产业,作为数字经济的重要基础,处于快速发展阶段,技术、应用创新不断。

近期,数据猿关注到我国的大数据企业美亚柏科提出了一个比较新的概念——大数据操作系统。那么,何谓大数据操作系统,有什么特点,如何支撑整个大数据产业的发展?为了回答这些问题,数据猿专访了美亚柏科乾坤大数据操作系统研究院副院长魏超,跟他探讨大数据操作系统的核心要素,以及对大数据产业国产化、信创的意义。

系统级能力和应用生态,
大数据操作系统的两个关键要素

谈到操作系统,我们首先就会想到Windows、安卓、IOS。这类操作系统的关键特点是承上启下:对下调度CPU、存储、I/O设备等硬件资源,以及进程和调度、文件系统、设备驱动、安全访问控制等内核管理,提供进程控制、通信与网络、系统控制、用户权限等服务/shell;对上支撑各种应用软件的开发,共同构建一个软硬件计算生态,而操作系统则是这个生态体系的核心纽带。

魏超认为,大数据操作系统与计算机操作系统类似,具备链接上下层资源和应用的能力,只是具体的资源内容存在差异。

具体来看:在计算、存储、I/O资源方面,大数据操作系统管理的是IaaS、PaaS资源;跟计算机操作系统的内核层对应,大数据操作系统提供各种引擎,包括内部感知(运维)引擎、外部感知(采集)引擎、管理控制(运营)引擎、开发支撑引擎、安全控制引擎等,通过各种引擎来为上述应用提供支撑;与计算机操作系统的服务/shell层对应,大数据操作系统在能力服务层,提供资源运维、性能/故障分析、任务管理、模型组织、元数据管理、资源申请授权等服务;在最外层的应用方面,大数据操作系统除了提供门户/桌面、应用市场、低代码平台、建模平台等基础应用外,还通过应用程序+行业平台的方式,发展外部应用生态。

据魏超介绍,美亚柏科自主研发的乾坤大数据操作系统聚焦于大数据领域,通过链接IaaS、PaaS、芯片、服务器、数据库和上层SaaS厂商,来构建一个完善的大数据产业生态。目前,美亚柏科已经有300多家合作伙伴,包括110多家整机厂商、50多家ISV(独立软件开发商)、30多家代理商等。要打造一个生态系统,需要大量的合作伙伴“捧场”才行,而吸引其他厂商的一个关键点,就是市场拓展机会。美亚柏科作为国内领先的网络安全和大数据厂商,有大量行业资源,通过共享这些资源能够为合作伙伴提供大量的项目机会;另一方面,金融、医疗、能源、交通等其他行业的合作伙伴要为客户提供大数据服务,但又不具备底层的大数据能力,这时可以通过与美亚柏科的合作补齐这些能力,共同为客户提供一整套大数据解决方案。

做有价值的事情,
以使命感点燃研发团队的创新激情

大数据操作系统,作为整个大数据产业的重要基础设施,必然有较高的技术门槛,其研发难度不容小觑。美亚柏科一直将核心技术研发作为其重要战略基石,长期的投入也取得了丰硕的成果。截至2022年6月,美亚柏科共取得授权专利523项,其中发明专利358项,承担国家发改委高技术产业化专项、国家重点研发专项、国家“十二五”科技支撑计划项目等科技计划项目共40余项,并获评“国家科学技术进步奖”、“公安部科学技术奖”等。

如何保持研发团队的创新活力呢?魏超向我们介绍了美亚柏科的技术创新秘诀:以价值观让研发团队产生内驱力,以规范的研发流程提升效率。

魏超认为,美亚柏科所提供的技术产品具备很高的社会价值,这有助于激发研发人员的热情。例如,公共安全是美亚柏科大数据产品的重要应用领域,通过技术创新,可以提升公安破案的效率,有力的维护了社会安全和公平正义。

依据国家统计局的数据,从2016-2020年,我国公安机关立案的刑事案件呈现逐年下降的态势,刑事案件的增速分别为-14.7%、 -7.5%、 -4.1%、 -1.7%;治安案件数量也逐年下降,公安机关查处的治安案件数量由2016年的1065万件,下降到2020年的772万件,下降近30%。哪有什么岁月静好,无非是有人替我们负重前行。社会变得更加安全,一方面是公安机关的不懈努力,另一方面则是像美亚柏科这样的厂商为公安机关提供的大数据“武器”。借助大数据的赋能,公安机关办案效率得到显著提升,让罪犯无所遁形。

社会治安的好转并不只是一个宏大的抽象概念,而是关乎我们每个人的切身利益。更加安全的社会,保护了我们每一个人,包括我们的爸妈、兄弟姐妹、爱人、孩子。从这个角度上说,美亚柏科的科研人员是在为自己的家人做技术攻关,他们的每一项技术创新,就让家人和这个社会多一份安全。正是这份社会责任感,让乾坤大数据操作系统乃至整个美亚柏科的研发团队产生了一种强大的内驱力和使命感,让他们有足够的热情去攻克一个个技术难关。魏超认为,要让研发人员看到技术创新所能带来的社会价值,让他们觉得自己做的事情是有意义的,这会极大激发他们的创造热情。

除了社会价值带来的使命感外,美亚柏科还通过线上系统的流程化管理来提升研发效率。魏超介绍道,美亚柏科通过线上数字化系统,把整个研发过程都转到线上,每一个研发环节都在线上系统实现有效控制。每一个软件的开发,从需求的收集、版本的规划,到核心功能的开发,软件测试,修改反馈等多个环节,都在线上系统进行有效的管理。借助线上研发系统,业务、产品、开发、测试等不同环节的人员可以进行协同,让整个开发流程高效的运转起来。有序、流畅的系统,就像一个管道,将众多研发人员的热情、智慧汇聚起来,成为攻克一个个技术堡垒的“炮弹”。

元数据驱动、低代码、分层解耦,
大数据操作系统的关键创新

那么,美亚柏科研发团队的创新热情结出了哪些“果实”呢?一个操作系统要成功,要有重要的技术创新。华为的“鸿蒙”操作系统之所以能取得突破,技术创新功不可没。在技术创新方面,鸿蒙系统采用微内核架构,在物联网领域的系统反应更快,比如在自动驾驶、工业自动化领域将系统时延控制在毫秒甚至亚毫秒级别。

据魏超介绍,乾坤大数据操作系统在以下三个方面有重要的创新:

元数据驱动

乾坤大数据操作系统的元数据驱动主要体现在三个方面:元数据驱动开发,基于元数据实体声明式开发系统,围绕元数据实体构建界面、服务、流程、模型、表结构,围绕元数据实体实现个性化需求开发,围绕元数据服务获取元数据和数据;元数据驱动产品,将业务的稳定部分和可变部分进行分离,把可变的部分作为输入,通过输入内容的不同实现乾坤大数据操作系统功能的变化,适应不同行业不同场景的业务需求;元数据驱动交付,通过元数据实现知识的共享,通过元数据实现配置智能推荐,配置流程推荐,提高各行业的交付效率和质量。

魏超认为,元数据驱动,是大数据操作系统的一项核心能力,在各个方面发挥重要作用。例如,元数据驱动与低代码结合,可以改变以往低代码平台人工进行拖拉拽的操作方式,而改为靠数据、模型驱动,实现低代码开发的自动化。

低代码

乾坤大数据操作系统的低代码包括两个方面,一是资源全生命周期管理的低代码,包括治理、建模、服务和应用等环节的可视化操作,通过简单的拖拉拽,即可完成资源的融合治理和对外赋能;二是软件研发过程的低代码,包括表设计、逻辑编排、工作流编排、服务调用、页面构建等,通过系列制造能力,快速完成业务应用的研发工作。

低代码平台已经比较普遍了,那么大数据低代码平台有什么不一样呢?魏超指出,大数据低代码平台的一个关键创新,就是可以实现低代码平台与业务应用的正反馈闭环:客户基于自身的行业特点,借助低代码平台构建相关应用,实现业务需求;与此同时,典型的行业应用又可以形成相关组件,沉淀到低代码平台上,供其他有类似需求的客户选用。这种模式极大的丰富了大数据低代码平台的组件类型,不仅低代码平台可以赋能客户,客户也在应用过程中反过来赋能低代码平台。进一步的,客户沉淀的功能组件,可以放在应用市场上,当被其他企业调用之后,客户也能获得相应的收入。这样一来,就在低代码平台上“生长”出一个繁荣的数据应用生态,群众的智慧是无穷的,大数据低代码平台会越用越强大。

分层解耦

乾坤大数据操作系统采用高内聚、松耦合的方式,对能力进行分层,能力和能力之间做到解耦,每个具象化的能力具有单独的输入输出(IPO),既能以服务的形式对外进行赋能,也可以体现在产品的功能层面。基于分层解耦的技术路径,乾坤大数据操作系统对外赋能的方式是一个个服务化的能力,这样就可以集成兼容不同生态伙伴的特色能力。

魏超指出,分层解耦的核心有两个,分别是抽象和标准化:将业务逻辑和功能抽象出来,是实现解耦的第一步;之后要对解耦之后的功能模块进行标准化封装,建立统一的对外、对内标准接口,方便模块之间的互相调用和组合。在统一的大数据操作系统基础上,美亚柏科发展出天基大数据治理平台、天河大数据服务平台、天算大数据建模平台、天匠大数据标签平台、天智大数据知识平台等10个产品。借助分层解耦能力,这些产品既可以配合应用,也可以单独应用,还能与外部合作伙伴的数据智能产品进行融合。

这种模式,把产品选择权还给了客户,客户可以依据自身需求,选用不同厂商的不同产品,然后将这些产品融合成一个完整的解决方案,避免被单个厂商的锁定。客户完全可以博采众长,用A厂商的大数据治理平台、B厂商的大数据运维平台、C厂商的大数据建模平台、D厂商的BI平台等,以最小成本获得最强大数据能力。

需要指出的是,不同厂商的标准是不统一的,虽然分层解耦降低了软件的替换成本,但还不能实现零成本的替换,还是需要做一些适配和对接。如何进一步降低不同厂商产品的对接成本呢?魏超认为可以通过标准映射和平台服务化的方式:一方面,标准本身是可以映射的,通过映射来实现不同厂商技术标准的统一;另一方面,因为乾坤大数据操作系统内部是打通的,合作伙伴可以注册天河大数据服务平台,来实现与乾坤大数据操作系统各个平台的对接。注册天河服务平台,就是一个“标准化”的过程。

从产业链入手,培育我国大数据产业信创生态

作为整个数字经济大厦的基石,大数据产业的自主可控至关重要。尤其是在中美产业竞争加剧、美国动辄制裁封杀的背景下,构建信创产业链已经迫在眉睫。作为国务院国资委控股的大数据企业,美亚柏科将构建自主可控的大数据产业作为自身义不容辞的责任。乾坤大数据操作系统,就是助力大数据国产化的一个重要行动。乾坤大数据操作系统本身就是自研的国产化系统,系统有超过千万行代码,具备完全的自主知识产权。

更重要的是,乾坤大数据系统以自身能力,去带动整个大数据产业链条的国产化。魏超指出,数据库国产化替代是一个艰巨的系统工程。目前大量的上层数据系统,都建立在原有数据库基础上,要替换成国产数据库,需要成千上万的上层数据应软件都适配才行,这大大提高了国产数据库的推广难度。

为了解决这个问题,乾坤大数据操作系统提供数据资源操作的抽象层,解除上层数据应用软件与下层数据库的绑定,这大大降低了上层数据应用软件切换下层数据库的成本。要适配南大通用、达梦数据库等国产数据库,只需要乾坤大数据操作系统与国产数据库适配,而上层各种行业应用软件就可以自动适配新的国产数据库,进而有力推动整个数据价值链条的国产化。

目前,乾坤大数据操作系统从服务器、操作系统、中间件、数据库等多个层面开展信创适配,构建信创生态圈,涵盖华为云鲲鹏云服务器、阿里云服务、统信服务器、宝兰德、达梦数据库、麒麟软件、新华三、南大通用、奥星贝斯等多个信创产品。此外美亚柏科也在积极推动大数据操作系统进入信创目录,并在大数据操作系统的标准、测评方案等方面贡献力量。

我国信创产业已经进入大规模落地推广阶段,国家也提出了“2+8+N”信创体系(两个核心行业,党政+金融;8大关键行业,电信、电力、石油、交通、教育、医疗、航空、航天;N个其他行业)。信创产业的发展,让我国数字经济大厦的基础更加稳固,有了“任凭风浪起,稳坐钓鱼台”的底气。当然,大数据国产化的任务还远未结束,前面依然还有很多挑战需要去面对,有很多问题需要去解决。在这个过程中,大数据厂商的每一次创新,都为产业的发展增添了一份力量。相信随着各方的持续努力,我国的大数据产业的未来是值得期待的。

文:月满西楼 / 数据猿

 
最新文章
相关阅读