多篇论文入选SIGMOD,华为云GaussDB底气何来?

多篇论文入选SIGMOD,华为云GaussDB底气何来?

6月20日-25日,2021 ACM SIGMOD 在西安举行。22日,华为GaussDB内核首席架构师任阳将受邀参会并分享华为新一代自研分布式数据库GaussDB的最新探索和研究成果,展示GaussDB相关论文入选SIGMOD等国际顶级学术会议的成果。

数据库创新从来不是一蹴而就,而是千锤百炼后的厚积薄发,是百尺竿头更进一步,国产数据库的崛起和发展如此,华为云GaussDB也是如此。

围绕AI-Native课题研究,今年华为云GaussDB相关论文被入选SIGMOD国际顶级会议,其研究论文《Learned Cardinality Estimation for Similarity Queries》提出使用DNN进行基数预测,为了解决DNN训练问题,创新地提出了模型分割和数据分割解决方法,同时在此基础上提出了使用该方法进行连接操作结果集预测。该方法在BMS、GloVe300、ImageNetde等数据集上取得了很好的效果。

作为数据库领域公认的最具学术影响力地位的国际性学术会议,SIGMOD与ICDE、VLDB并称为国际数据库三大顶级会议。华为云GaussDB基于AI-Native理念,近年在SIGMOD、VLDB等会议上发表了数篇论文,如《Interactively Discovering and Ranking Desired Tuples without Writing SQL Queries》,《Query Performance Prediction for Concurrent Queries using Graph Embedding》,《QTune: A Query-Aware Database Tuning System with Deep Reinforcement Learning》以及《An End-to-End Learning-based Cost Estimator》等,分别就数据库优化器相关问题提出了AI技术解决方案,在RBO、CBO基础之上提出了基于AI技术的AI优化器,简称为AIBO(AI Based Optimizer),使得数据库中从数据分布估计、代价估计、执行计划选择等各个阶段均使用AI技术,在该领域取得了很好的突破。

华为历来重视与高校、合作伙伴共建良好生态关系,积极促进数据库领域开源、开放、融合、创新发展。在同清华大学数据库组的合作中,华为进一步围绕AI-Native理念,在GaussDB的开源版本openGauss社区中,使用AI技术对数据库的众多模块进行了重构,例如使用MCTS方式代替数据库优化器中基于规则的逻辑重写,使用Tree-LSTM代替原始的基于直方图的代价估计,使用深度强化学习方式代替原始的Greedy/Genetic算法。

同时为了提升数据库自治能力,先后提出使用Extreme Value Theory进行数据库异常检测,使用LSTM+KNN的方式进行系统异常诊断,使用Tree-LSTM方式进行SQL诊断,使用深度强化学习及RNN的方式进行系统自调优,物化视图推荐及索引推荐,使用GNN的方式进行系统性能预测。相关技术陆续在实际生产系统中使用,例如索引推荐功能,在客户负载性能提升的基础上,消除了83%的索引冗余,索引空间磁盘占用率降低70%。

此外,华为在同清华以及CCF数据库专委会的合作中,陆续产生众多的科研成果,先后在SIGMOD、VLDB、ICDE上发表论文36篇,CCF-华为数据库创新研究计划总共资助20项数据库相关研究课题,成果覆盖数据库多模、云数据库、数据库全密态处理、图数据库等,极大的活跃了openGauss开源社区以及国内数据库研究发展。

6月22日,在本次SIGMOD 2021大会上,华为GaussDB内核首席架构师任阳将会带来《华为自研分布式数据库》主题分享,内容覆盖华为自研分布式数据库的发展和使用现状,以及GaussDB极致性能、混合负载、高安全等特性,更多精彩,敬请关注!

嘉宾简介:

2014年9月至2019年10月,担任分布式分析型数据库架构师与系统组组长,完成华为公司自研超大规模并行数据仓库产品设计与实现,完成GaussDB(DWS)数据仓库在工商银行的规模商用。之后担任华为GaussDB自研分布式数据库首席架构师及内核系统组组长,在性能、混合负载能力、容灾能力、安全能力以及易运维能力方面构筑数据库内核核心竞争力。

议题简介:

本议题将会介绍华为自研分布式数据库的发展和使用状况,并围绕高性能、高可用、混合负载、安全以及易运维五大特性进行技术介绍,向大家全方位展示GaussDB分布式数据库。当前GaussDB分布式数据库及其开源版本openGauss相继在国内头部银行客户上线并规模使用。

点击链接预约直播:https://live.bilibili.com/21945422返回搜狐,查看更多

责任编辑:

发布于:湖北随州随县