2021-04-09 19:20:14 中国能源网

随着互联网和物联网的快速发展，实时数据分析应用的业务需求量日益增长，例如实时推荐、实时风控、实时监测、精准营销等，数据实时处理能力成为企业提升竞争力的一大因素。华为云GaussDB(DWS)实时数仓提供即开即用、可扩展且完全托管的分析型数据仓库服务，支撑高并发高性能实时数据分析。4月8日，在华为云TechWave全球技术峰会数据使能分论坛上，GaussDB(DWS)技术专家详谈实时数仓黑科技。

GaussDB(DWS)实时数据分析技术架构基于企业级内核，采用统一SQL引擎，多引擎协同，实现数据体系内自闭环，从而达到一份数据多个引擎调用，高效多维度分析。依据流数据和时序数据特征打造出从优化器、执行器到存储的全系列、高性能、可扩展的实时数仓，提供四大技术创新：

1.CEP引擎告别T+1模式

改变传统数据先入库再查询的分析模式，CEP引擎提供流计算能力：数据先计算分析，并实时反馈计算结果，计算结果可以继续进行下一步计算或者保存，大大降低了数据处理时延。

2.1=N：GaussDB(DWS)实时数仓=Flink/SparkStreaming+Druid+InfluxDB……

国内首创在同一套系统内实现流和时序数据的处理和预聚合操作，减少数据跨系统间迁移，降低冗余存储和加载时间，最大化的利用系统缓存，提高处理效率。

3.预置丰富时序、流处理函数，一切皆SQL

采用最简洁高效的数据开发语言SQL，并预置丰富的时序和流处理函数，通过SQL即可完成复杂流式计算，可实现亿级数据，秒级聚合，极大简化应用开发。

4.高达40:1的压缩比，极大节约存储成本

通过自适应压缩算法，充分利用行列混合存储+时序数据专用压缩算法优势，实现低时延查询和高效存储。

技术专家还分享了实时智能监控平台的实践，传统数据仓库单节点入口性能和散列度存在瓶颈，GaussDB(DWS)实时数仓单节点入库性能超过10w/s，支持千万级散列度计算，彻底解决时序数据和流数据“装不进”和“算不动”的问题。

目前GaussDB(DWS)实时数仓已经正式发布公测。华为云GaussDB(DWS)实时数仓仍将不断迭代优化，为企业用户提供更强大的实时数据分析能力。