新闻动态 > 现场直击|SequoiaDB@SIGMOD 2021:关注数据库的根科技存储技术

现场直击|SequoiaDB@SIGMOD 2021:关注数据库的根科技存储技术

 2021-06-24

ACM SIGMOD国际数据管理会议(ACM SIGMOD International Conference on Management of Data)由美国计算机协会(ACM)数据管理专业委员会(SIGMOD)发起,是数据库领域具有最高学术地位的国际性学术会议,被中国计算机学会(CCF)推荐为A类会议。ACM SIGMOD顶级学术会议对促进数据库领域学者和开发者开展更深层次的国际交流与合作,进一步提高我国数据库领域的研究水平有重要作用。巨杉数据库和华为作为中国企业,以最高钻石赞助级别与微软共同赞助本次SIGMOD大会和编程大赛。


同时,巨杉数据库将于6月22日在SIGMOD大会带来精彩演讲:《从0打造的「湖仓一体」金融级分布式数据库》,介绍 SequoiaDB全新架构和技术特性。


image.png



image.png

存储是数据库的根科技


许建辉 SequoiaDB合伙人&研发副总裁:


新一代分布式数据库面向海量多模化数据的存储、查询和分析处理,同时是分布式存储技术和数据库技术的精细化结合,在数据存储的可靠性、数据访问的时间控制、数据一致性能力以及数据计算的代价开销上都需要做到精准可控。

我有幸成为国内最早一批从事分布式存储技术和分布式数据库技术的研究研发人员,曾主导华为第一代分布式存储产品的设计和研发,并实现了多项分布式核心技术的突破。2012年我加入巨杉,瞄准海量多模数据的存储、查询和分析处理方向来主导巨杉数据库的设计和研发。在多模数据存储、数据多版本访问控制、分布式事务,分布式可靠性、并行计算技术、多模引擎技术以及分布式精准、分布式节点对等和并行分析处理能力上都取得多项核心技术突破,领先业界。

image.png

分布式数据存储技术是新一代数据库技术的根科技,它决定了数据的可靠性。提供操作访问ACID的保障,也是数据库性能好坏最关键的决定因素。众所周知,业务对数据库的所有访问操作,都需要数据存储的相应能力来完成,并且会在数据存储层被无限放大,比如业务层一个简单的数据查询,可能会需要数据存储层成千上万次数据操作才能完成。因此,数据存储技术必须精益求精,做深做实。分布式数据存储技术不仅要提升数据存储访问与本地存储设备相关的技术能力,还要提升分布式节点之间数据分区、精准交互和数据一致性等技术能力。


巨杉数据库采用多模的分布式存储引擎设计,根据结构化、半结构化以及非结构化数据的访问特点设计技术独立、能力共享的双存储引擎,将结构化和非结构化数据的性能发挥到极致。在数据的可靠性上,巨杉数据库实现高性能的Check Point机制,秒级快照机制,以及表级的一致性策略机制,保障数据可靠不丢。在数据访问控制上,实现基于回滚段的高性能MVCC机制,缓存调度机制,数据精准计算机制,开销估算机制等,实现数据访问性能的大幅提升。在事务管理上,巨杉数据库实现基于序列时钟的分布式事务,无中心节点约束,具有极高的性能和线性扩展能力。同时,对事务2PC引入可疑确认机制,确保了分布式事务在极端情况下都始终保持一致性。在分布式能力中,采用对等节点机制,实现数据物理页级高性能同步。另外,巨杉数据库采用数据分区并行计算机制,以及分区数据交互机制,提升整体系统的访问性能等。


可以说,作为一家数据库公司,如果没有稳定可靠的存储技术做根科技,上层的各类技术栈就难以搭建。


image.png

SIGMOD推荐存储技术研究课题


本次2021 ACM SIGMOD会议中有多个非常值得我们关注的存储技术课题,期待大家与巨杉数据库一起进行前沿的学术探索及交流。


image.png

image.png


SIGMOD第一届会议于1974年在美国密西根(Michigan)召开,传统上一直都在北美内部举办。自2004年在巴黎举办起,逐步开始走向国际。值得一提的是,第26届ACM SIGMOD国际数据管理学术会议曾在2007年在北京国际会议中心举行,当时的会议受到国家自然科学基金委员会国际合作交流项目资助,由ACM SIGMOD主办、清华大学承办。这是该会议第一次在亚洲举行、也是第二次在北美以外的国家举行。也是在这一年,中国人民大学信息学院李翠平教授作为第一作者,中国人民大学王珊,新加坡国立大学Beng Chin Ooi、Anthony K. H. Tung合作的论文《DADA: A Data Cube for Dominant Relationship Analysis》被顶级国际会议ACM SIGMOD2006(International Conference of ACM Special Interest Group on Management of Data)接收,这是中国大陆学者首次以第一作者身份在SIGMOD发表论文。据悉,今年中国大陆地区高校有22篇文章被SIGMOD接收,这也代表中国数据库技术在国际数据库领域的地位逐年攀升。 


时隔14年,2021 ACM SIGMOD大会再度回归中国,于6月20-25日在西安举办。ACM SIGMOD顶级学术会议对促进数据库领域学者和开发者开展更深层次的国际交流与合作,进一步提高我国数据库领域的研究水平有重要作用。巨杉数据库期待与全球数据库行业人才加强交流,共同见证数据库行业的飞速发展,探讨业界最领先的数据库应用方向,未来联合培育国产分布式数据库人才,形成人才与产业之间的良性循环。


image.png