Skip to content

高性能-分析技术

并行扫描技术

虚谷数据库能完全调度整个集群节点的计算和I/O能力来对用户发起的SQL请求进行处理,并行处理过程自动完成,以整个集群算力为用户提供高效的大数据查询分析能力,如图1所示。

智能单元扫描技术

虚谷数据库基于计算向存储靠拢的设计理念,开发了独特的智能单元扫描技术(算子下推),让数据在存储节点进行裁剪计算后再汇聚,从而减少了网络开销,降低了计算资源消耗,以提升数据库对SQL的响应速度和吞吐量,如图2所示。

当用户发起扫描请求并只对数据表的部分字段与限制条件进行检索的时候,定位到存储节点的存储单元将按照指定输出列与符合限制条件进行数据裁剪,仅仅向工作节点返回少量符合用户需求的数据,再将返回的数据用于统计运算,最后返回给用户。整个过程以最少的资源消耗达到高效迅速完成运算的效果。

复杂统计分析函数

虚谷数据库提供一系列专门用于解决复杂报表统计需求的分析(开窗)函数,支持排名分析函数与聚合分析函数。分析函数在一组与当前行相关的表行之间执行计算,与使用聚合函数可以完成的计算类型类似。但与常规的聚合函数不同的是,使用分析函数不仅可以保留所有原始行记录,还可以进行分组数据分析。