2022-04-28 16:51
【观察】星环科技：走向融合数据云新时代，背后必有强大数据底座
毫无疑问，今天国家对数字经济给予了前所未有的高度重视。近期国家就正式印发了《“十四五”数字经济发展规划》，明确将继续坚持推进数字产业化和产业数字化，赋能传统产业转型升级，为构建数字中国提供有力支撑，并提出到2025年，数字经济核心产业增加值占GDP比重达到10%的重要发展目标。
由此也带来了两大重大的变化：一方面是作为数字经济中的关键生产要素，数据的重要性会愈发突出，特别是大规模的数据在各传统行业深度应用，将会推动各行业在生产方式、商业模式、管理范式等方面发生深刻变革；另一方面是，国家在“十四五”期间也把科技创新摆在发展全局的核心位置，并提出要加快关键核心技术攻关，因此在数据领域尽快完成自主可控和国产化替代同样也“刻不容缓”。
在此背景下，在星环科技2022春季新品发布会上，星环科技就在业内率先提出了“融合数据云”的新理念，并基于此打造了一系列的大数据基础平台、融合数据云平台、分布式数据库等底层基础软件，以自主研发的丰富数据力和工具力技术和产品，打造出了可信任的、专业的、国产化的数据领域全新产品，不仅能够助力各行业在数字化转型过程中实现更好地“平滑演进”，同时也真正将数据领域的核心关键技术牢牢掌握在了自己手中，为数据生产要素价值的释放贡献着来自中国的自主创新力量。
客观地说，当前中国以数字产业化、产业数字化为核心的数字经济步伐正在全面加速，无论是数字经济还是千行百业的数字化都会产生海量的数据，而数据只有安全可靠、稳定运行在强大的数字底座之中才能产生价值，而星环科技在数据领域提出“融合数据云”的新理念，并通过“技术破局”，实现“自主绽放”，无疑在加速国产基础软件“弯道超车”的同时，也必将为千行百业的数字化转型升级提供新动能，并驱动和引领数字经济走向更为广阔的新未来。
我们知道，在数据成为关键生产要素的当下，2018年全球数据产生量就高达33ZB，在2019年达到约41ZB，在2020年为64ZB，而按照IDC的预测，到2025年全球产生的数据规模将达到180ZB，其中来自中国的数据有41ZB，预计未来几年社会上产生的数据，将超过自数据存储面世以来产生的总数据量的2倍。也正因此，在过去近十年的时间里，其实也是整个数据市场“波澜壮阔”发展的十年，同时这种快速的发展也对数据分析模式和整个大数据应用产生了深刻的影响，具体来看： 一是，2013年-2017年之间，当时随着数据类型的多样化，诸如文本、图片、音频和视频等非结构化数据的大量产生，使得很多企业每年的数据增长量更是超过60%，部分互联网企业的数据量甚至呈指数式的增长，但过去由于缺乏有效的数据处理机制，这些大量的数据，分散于各处，难以联通，难以汇聚，因此当时市场上出现了数据湖、湖仓一体、一站式数据平台等全新的产品和技术。
在星环科技创始人、CEO孙元浩看来，星环科技从公司成立之初，就紧跟整个数据市场的变化趋势，在2013年就率先提出了“Data Hub”的概念，这比其他厂商提出的数据湖概念的时间更早；而在2017年，星环科技再一次提出了“大数据3.0”的概念，其核心也是希望打造一个一站式数据平台，能够把数据湖、数据仓库、数据集市能够一体化，帮助企业通过一站式数据平台的方式，既能做数据湖又能做数据仓库，又能做数据集市，最终是让企业更好地掌控和管理好数据。 二是，在2018年-2020年之间，随着大数据、云计算、人工智能等新技术的蓬勃发展，三者之间的技术边界也变得越来越模糊，三类技术更相互影响与不断融合。为了应对这种趋势，星环科技提出了“Data Cloud”（数据云）的理念，同时推出Transwarp Data Cloud（TDC）数据云平台，该平台是满足企业对于数据云需求而打造的全新云原生平台，它采用了容器技术，以数据为中心，通过提供完整的数据、应用和智能的开发工具，实现了数据和应用的互通互联，对企业拥抱数字化和智能化，释放数据的红利和价值起到重要的支撑作用。 随后在2020年，星环科技发现在实际应用中，不少企业的数据使用场景日趋复杂，处理多模型的需求日趋广泛。为此，星环科技打造了多模型数据平台，其主打一站式多模异构数据处理，打破了行业内普遍存在的不同数据库产品切换的不便利，通过一个平台处理多种数据模型，用户无需维护多种数据库即将成为现实。此外，当年星环科技还重构了TDC数据云平台，通过“联邦数据云”（ Federated data cloud）的方式，将跨多个数据中心甚至公有云的数据、应用和基础设施资源进行统一管理，协同管理企业内部已有的资源和数据，从而帮助企业构建了一套完整、统一、互联互通的数据基础设施。 三是，迈入2022年以后，整个市场其实进入到了一个“万物数连”的时代，企业对数据应用的要求又提升到了一个全新的高度。例如，企业对数据的即时分析、按需分析、即时部署变得更加的强烈；此外，随着数据的广泛流动，企业为了管理好这些数据，其数据基础设施也必须要横跨边缘端、私有云、公有云和混合云等环境；更加关键的是，数据还需要实现开放共享、数据交易和流动必须更加便捷，由此才能让数据在企业的数字化变化中起到更加重要的作用。
也正是洞察到这些变化，星环科技又一次引领市场提出了“融合数据云”（Unified Data Cloud）的全新理念，它是指在按数据域组织的分布式数据云的技术架构基础上进行统筹管理、协同运营、服务融合以形成可协同一致，自由组合，灵活部署的一种新型数据分析模式。 对此，孙元浩强调，与“数据云”强调资源的弹性调度和统一管控不同，“融合数据云”更强调数据的流通和开放共享，其价值主要体现在三个维度：第一个“业务系统化”，是指能够促进数据的快速流动，让数据在数据平台上以安全可信的方式流动到合适的地方、流到需要的人；第二个是“分析平民化”，是指企业可以通过轻量化地构建统计分析和决策智能应用，赋能业务并实现业务的智能化；第三个是“数据领域化”，是指企业可以融合多种数据领域，通过联邦分析、多模型数据平台把数据的关联价值发展出来。 事实上，从最早的“Data Hub”，到“Data Cloud”数据云再到“Unified Data Cloud”融合数据云，星环科技总能站在数据分析模式演变的最前沿，并根据数据的变化和客户需求的升级推出“与时俱进”的全新理念和解决方案，可以说背后正是其将国内用户需求和技术创新深入融合的重要体现，同时也是其不断投入研发，持续坚持技术创新的重要印证。 孙元浩表示，基于融合数据云，未来数据将被存储于多模型的数据库中，并且以网络结构的方式部署和流动。数据域可独立或两两组合成融合数据域，具备部署、模型、分析、智能等多维属性，通过互联管控实现协同工作，数据流动。网格结构是数据流动的基础，代表了云边端等多种部署维度以及数据业务化过程中的价值转换维度所构建网格结构，数据在各数据域间的流动带动了数据价值的活跃度。企业可以根据云边端等数据资源环境、时序/对象/图片/文档/图数据等企业数据模型、湖仓集等存储结构建立三维立体的数据域，并形成企业级的网格结构，为数据的流通创造合规的路径和价值创造的前提基础。
更为关键的是，在融合数据云下的数据，还能够在不同的数据平台间即时流动，数据流从低到高，为企业不断涌现数据价值，而从高到低，又为企业的分析应用部署，提供了应需而生的响应速度。换句话说，那就是星环科技的“融合数据云”能够真正帮助企业实现“数据即时流动、分析应需而生、价值自然涌现。” 同样，在“融合数据云”的全新理念之下，星环科技的技术和产品线也再一次做了全面的升级和迭代，真正为企业构筑了关键的数据底座的工具力，我们可以从几个方面来做观察：
首先，在多模型大数据平台方面， 星环科技正式推出TDH9.0，它基于多模型统一架构对多模型处理能力进一步加强，通过提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层和统一的资源调度层，具有“易开发、易运维、高性能”等特性；新增文档存储引擎，可实现9种存储引擎支持10种数据模型的支持，同时还实现了各模型引擎性能的数倍提升，可帮助企业用户满足更多以及要求更高的业务场景。此外，统一大数据存储底座提升5倍数据碎片承载能力，强化了存储规模与可靠性，而全新增加的平台智能运维模块，也通过打造完善的智能运维体系帮助了用户更轻松地运维大数据平台。不仅如此，基于容器安全网络提升了数据访问的安全性，结合自身基础安全组件以及大数据开发工具，为用户数据全生命周期提供安全防护。因此，TDH9.0从整体上进一步提升了平台综合性能、可靠性、易用性以及安全性，为企业数字化转型构建了统一、高性能、高可靠的新型数字底座。在此基础上，TDH经过9年时间的迭代，同样也已取得了一定技术的积累和行业经验，为此星环科技也新推出TDH社区版，为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境。社区版提供星环最具竞争力和最成熟的Inceptor组件、Waterdrop等自研开发工具以及Hadoop 3.0和星环科技的精选组件服务等，为用户构建批处理数据仓库、数据湖等提供平台支持。TDH社区版同时具有轻量资源即可高效部署，简单易用，便捷运维，以及性能优异等优点，真正做到了让大数据分析触手可及。 其次，在数据云平台方面， 星环科技也新推出了TDC 3.0，该版本支持星环全系产品新版本，同时 PaaS 能力持续增强 ，可以更方便地利用星环的产品构建湖仓一体数据湖、数据中台、数据科学等数字化场景。
全新的TDC 3.0也支持联邦云，实现了多集群统一管理和联邦租户。TDC联邦云是指将跨地域、跨数据中心异构基础设施部署的多个TDC集群，通过Galaxy多云管理服务模块形成统一的管理视图，进而实现跨地域、跨多个数据中心基础设施的统一的数据云平台（TDC联邦云）。TDC联邦云核心能力及场景包括多云异构基础设施资源统一管理，支持多租户运营模式；跨数据中心或云的DevOps、微服务和数据库服务；支持星环分布式交易型数据库 KunDB 的跨数据中心部署和同城容灾；支持企业基础设施资源的统一运维和弹性伸缩；在企业私有基础设施资源不足时能快速补充，以应对业务负载快速变化对基础设施资源的需求。此外，TDC 3.0还支持隐私计算区，提供了联邦学习和可信计算套件，并结合自研的微隔离案区技术，一站式满足企业的联邦学习和数据沙箱场景。 第三，在数据工具类产品方面， 星环科技大数据开发工具TDS也迎来能力全面升级，TDS 2.3在原有十多款工具的基础上，新增三大组件，包括星环科技数据服务平台Midgard、数据标签平台StarViewer和TDS数据商城 Foresight。与此同时，星环智能分析工具Sophon 3.1，打造数据要素和计算智能、认知智能、感知智能、决策智能深度融合的新一代全链路AI底座，新版特性更优异，可覆盖多模态数据的融合分析、保障隐私的安全高效分析等场景。
最后，在分布式数据库方面， 这也是星环科技一直以来发力的重点领域。其中，新发布的ArgoDB 5.0实现了存算引擎双升级，打造高性能湖仓集一体化多模型数据库。尤其是OLAP分析场景下的性能提升，无论是单表查询还是多表关联场景，ArgoDB都具备有明显的性能优势，整体上是同类数据库产品的2-10倍，帮助用户更快、更稳定地应对复杂多变的业务需求；在多模能力方面，ArgoDB5.0新增对半结构化的JSON/JSONB/XML数据类型的支持，满足了更多数据模型处理场景和更多复杂业务需求。而KunDB 3.0高度兼容Oracle语法和PL/SQL，实现OLTP数据库国产化升级，目前拥有替代MySQL、金融级分布式数据库、替代Oracle、HTAP业务场景等典型的业务场景及能力。此外，图数据库方面，星环StellarDB 4.0也实现了性能倍数提升，能够为万亿级图数据库挖掘海量数据互联价值起到支撑，StellarDB 4.0支持万亿边PB级数据量存储和近30种算法，在数据加载、查询和算法性能方面提升了2-10倍等等。 由此可见，星环科技“融合数据云”的“应运而生”，不仅是一种全新的数据理念，更是星环科技在多模大数据平台、数据云平台、数据工具类产品以及分布式数据库领域持续坚持技术创新的“集大成者”，相信随着“融合数据云”的在千行百业中的广泛落地，未来在整个市场中也会重新定义数据的升级和迭代的全新范式，而这也会对推动数据价值的全面释放起到十分重要的价值和意义。 可以看到，在国家政策支持和“新基建”加速推进的背景下，今天信创产业已成为中国数字经济发展的重要基石。目前，无论是底层的处理器技术、存储等硬件平台，还是数据库、操作系统等软件平台，信创技术和应用的生态都正在“从点到面”的实现快速崛起，而星环科技自2013年成立以来，就一直以自主研发为己任，不仅在数据领域释放了自主创新更高的价值，同时更为助力国产基础软件“弯道超车”奠定了坚实的基础。 第一，星环科技全系列产品目前已具有完全替代国外进口产品的能力和实力。 比如，其大数据基础平台TDH就可以完美的替代CDH/HDP和CDP，提升功能、性能、稳定性、易用性、扩展性、可靠性、安全、国产生态支持等能力，提供多种模型支持能力，性能的提升可以达到5到100倍，原厂专业服务能力更强。
此外，分布式交易型数据库KunDB可以在交易型OLTP的业务场景、高并发在线数据服务场景，替代Oracle/DB2，并且提升存储计算能力、高可用能力、跨分区事务能力。分布式分析型数据库ArgoDB可以在批处理和OLAP、Ad hoc分析等场景，替代Oracle/DB2/TD/SAP HANA，提供海量数据分析能力，提升混合负载、实时数据分析等能力，软硬件综合性价比得到10到100倍的提升；而分布式图数据库StellarDB可以在图查询、图分析的场景替代Neo4j，提升图数据存储检索能力，支持万亿顶点以上的图存储与毫秒级检索性能，提供近30种分布式图算法和10层以上深度链路分析能力等等。 第二，星环科技还打造了一系列的国产化替代平滑迁移方案， 能够更好帮助用户完成迁移工作，而且星环科技已在大数据平台、数据库产品、数据分析平台等领域拥有了大量成功替代国外进口产品的案例，可以说这些实践验证的经验和技术积累，也将会企业实现国产化替代夯实基础。其中，在大数据平台国产化替代平滑迁移方案方面，星环科技TDH基础存储与计算组件兼容CDH/HDP，可以实现平滑迁移，大大降低企业迁移成本低。同时，星环科技提供专业的迁移工具Transwarp Backup (TBAK），帮助用户通过简单的三步即可实现数据与业务的一键迁移，高效便捷。在数据库国化产替代平滑迁移方案方面，星环科技大数据基础平台和数据库产品支持完整的SQL标准语法，兼容Oracle、IBM DB2、Teradata方言，兼容Oracle和DB2等的存储过程，可以实现平台间的平滑迁移。同时能够提供统一的架构，一站式帮忙用户解决所有业务场景，从降低成本、提升效能、平台创新、应用创新等多个方面为用户带来收益。此外，在图数据库、搜索产品以及分析工具方面，星环科技也有对应的国产化替代平滑迁移方案。
第三，在自主研发创新的同时，星环科技也在积极参与国家信创工作。 星环科技作为信创工委会WG24大数据工作组的小组组长及副组长单位，牵头制定信创大数据行业标准及规范，并深度参与产品图谱编制、产业白皮书、案例集编撰等工作。更值得一提的是，星环科技目前在基于容器的数据云技术、分布式技术、数据库技术、多模型数据的统一处理技术、SQL编译技术、大数据开发与智能分析技术等6大类技术上拥有31项具备先进性的核心技术，拥有了一大批发明专利。此外，星环科技也参加并且通过了工信部自主代码扫描测试，完全符合信创验收标准，多个产品进入了国家软硬件技术图谱等。 总的来说，不吝啬于对技术创新的投入，不断创新数据落地的新模式，同时始终坚持自主研发和自主创新的战略定力，是星环科技在全球和中国数据服务市场闯出一片新蓝海的关键所在，而未来随着“融合数据云”深入到千行百业，星环科技也会帮助更多用户筑牢数据要素坚实底座，由此在企业未来的数字化转型中，以及在自主创新的征途中，都能够不断帮助客户创造出拥有无限想象空间的新业态、新服务和新动能。 申耀的科技观察，由科技与汽车跨界自媒体人申斯基创办，18年企业级科技媒体工作经验，长期专注企业数字化、产业智能化、ICT基础设施、汽车科技内容的观察和思考。