分享

中国分布式数据库技术现状解析(收藏版)

 张问骅 2022-09-18 发布于甘肃

图片

来自《2022年中国数据库产品策略解析报告》和《2021年中国分布式数据库市场报告》。分析未来数据库管理领域的重要发展趋势,各类技术的互相借鉴、融合和发展。数据库数据库产业持续不断地适应着市场需求进行改进,而此演进迭代的进程将持续。

数据库的发展阶段划分数据库(Database)是指长期保存在计算机的存储设备上并按照某种模型组织起来的,可以被各种用户或应用共享的数据的集合。

数据库管理系统(Database Management Systems)是指提供各种数据管理服务的计算机软件系统,这种服务包括数据对象的定义、数据存储与备份、数据访问与更新、数据统计与分析、数据安全保护、数据库运行管理以及数据库的建立和维护等。数据模型是数据库系统的核心和基础,各种数据库管理软件都是基于不同的数据模型而生的,对数据库技术发展阶段的划分基本按照数据模型的发展演变作为主要依据和标志。

图片

数据库设计流程:数据库设计理论正在寻求更有效的语义表达关系,并在各设计阶段提供自动或半自动的设计工具和集成化的开发环境。

数据库设计:对于给定的应用环境,构造最优的数据库模式,建立数据库及其应用系统,使之能够有效地存储数据,并满足各种用户对信息分类与处理等应用要求。数据库设计理论正在寻求更有效的语义表达关系,并在各设计阶段提供自动或半自动的设计工具和集成化的开发环境。

图片

中国数据库产品图谱:中国数据库厂商分为传统数据库厂商、新兴数据库厂商、云厂商、ICT跨界厂商四类,各家提供不同的集中式数据库与分布式数据库产品中国数据库厂商及代表数据库产品。

图片

数据库架构维度:数据库技术架构整体包括管理模块、计算模块和存储模块,物理资源层是为数据库提供基础支撑环境。四个模块中分别具有不同的前沿创新技术。

图片

数据库架构维度:物理资源层是为数据库及上层业务系统提供包括物理基础设施的基础支撑环境。

计算模块负责解析应用程序查询请求、生成查询计划,并将查询计划自动分配到各计算节点并行执行。

图片

存储模块负责执行计算层数据操作请求,并实现数据在硬件层面的持久化保存,确保数据不丢失。管理模块负责协调分布式时钟和维护元数据,并提供数据库参数配置和运行监控接口。

HTAP混合事务和分析处理:目前HTAP有两种方案∶分离架构和统一架构,分离架构是目前的主流方案。趋势中,云原生架构环境与HTAP系统的融合将衍生新的HTAP产品方案和技术特征。

图片

HTAP混合事务和分析处理:HTAP描述的是消除OLTP和OLAP之间的间隔,使一个分布式数据库系统既可以应用于事务型数据库场景,又可以应用于分析型数据库场景,从而满足实时业务决策的需求。

HTAP能让数据产生后马上就可以进入分析场景,但它面临最大的问题是如何把OLTP和OLAP两类互斥的工作负载更好放在一个系统上运行,并且实现资源干扰小、数据可见度高、延时短。

HTAP的应用场景:HTAP保证一定的实时性能的同时也能充分提升响应速度、吞吐量、并发访问量、事务大小、数据访问量及索引规模,为以下两个场景带来了业务与架构的创新和提升∶

  1. 数据密集型业务:将分析能力内嵌进传统的OLTP业务系统。物联网、医疗、风控、个性化推荐营销等数据密集型业务可以在交易侧完成实时的分析,且不会影响交易的性能与数据一致性。

  2.  以“用”为核心的实时数据服务平台:在现有的数据平台以'用'为核心,以'管'为基础的数据中台,将成为企业数字化规划与实施的重点创新与升级。让全企业用户能自由选择与应用数据资产,实时变现数据红利。

图片

压缩存储技术:Zstd的压缩比最高,且压缩/解压效率表现较高,适用于冷存储场景。Iz4对比当前流行的压缩工具,尽管压缩比一般,却具有最快的压缩和解压速度,适用于OLAP查询场景。

数据压缩的目的是为了减少数据传输或者转移过程中的数据。数据压缩存储技术需要在不丢失信息的前提下,缩减数据量以减少存储空间,提高传输、存储和处理效率,或者是按照一定的算法对数据进行重新组织,减少数据的冗余和存储的空间。

图片

目前流行的压缩算法有Snappy、Terark、zlib、bz2、lz4、lz77、zstd、brotli、B-tree、RLE、Delta Value Encoding、Deflate、Dictionary等。

存储索引结构:在存储系统的设计中,存储引擎属于底层数据结构,直接决定了存储系统所能够提供的性能和功能。常见存储算法结构涵盖∶哈希存储,B、B+、B*树存储,LSM树存储引擎,R树,倒排索引,矩阵存储,对象与块,图结构存储等等。

图片

在存储系统的设计中,存储引擎属于底层数据结构,直接决定了存储系统所能够提供的性能和功能。在数据库产品中以Hash、B+tree、LSM-tree为存储引擎的主流索引架构。

数据库智能自治:数据库的治理是保障数据库安全可控的重要方式。随着业务信息化的发展,数据库面对的数据规模及复杂度井喷式增长,传统的基于经验的数据库优化工具已不能满足负载调优等高性能要求,需要基于学习的数据库优化工具∶Al4DB。

图片

数据库治理模式亟需基于云平台的操作自动化与基于Al的自动的调参优化、由数据驱动的自监控自运维、智能化自诊断自设计,来减轻甚至取消对DBA的依赖。

智能参数调优∶通过结合深度强化学习和全局搜索算法等Al技术,实现在无需人工干预的情况下,获取最佳数据库参数配置。支持智能参数调优的厂商有∶华为云、腾讯云、Oceanbase、百度智能云、易鲸捷、星云科技、天云数据、阿里云等。

图片

部署模式:数据库的部署模式分为传统本地部署(on-premise)与云部署。传统的线下部署数据库架构依赖于高端硬件,难以支持新业务的扩展需求。而云上部署数据库可以横跨多服务器和虚拟机实现大规模扩展能力。

图片

云部署数据库产品已经进入了成熟商用阶段,各大数据库厂商都提供了不同形态的云部署数据库产品及服务,主要分为云托管、云服务及云原生三种形态的数据库。
下载链接:
2022年中国数据库产品策略解析报告
2021年中国分布式数据库市场报告
Oracle数据库技术和方案汇总 
1、Oracle数据集成平台解决方案.pdf 
2、Oracle RAC集群的简单介绍.pdf 
3、Oracle Exadata 数据库云平台.pdf 
4、GaussDB迁移Oracle的三大难点剖析以及应对策略.pdf 
5、基于分布式存储的 Oracle 解决方案设计.pdf 
6、超越Oracle,Salesforce宣告SaaS模式的胜利.pdf
数据库云管平台白皮书(2022)
金融级数据库容灾技术报告(2021)
数据库发展研究报告(2021年)
分布式数据库原理和架构设计
2022年月度数据库行业分析报告
1、2022年6月中国数据库行业分析报告.pdf
2、2022年4月中国数据库行业分析报告.pdf
3、2022年5月中国数据库行业分析报告.pdf
4、2022年7月中国数据库行业分析报告.pdf
2022爱分析:中国分析型数据库市场研究报告
Oracle数据技术合集汇总
数据库知识合集(1)
数据库知识合集(2)
数据库知识合集(3)
Oracle数据库异构上云最佳实践
《数据库一体机合集》 
1、PBData 数据库一体机—技术白皮书 
2、QData-数据库一体机-技术白皮书 
3、登云数据库一体机X8-2产品技术白皮书 
4、QData数据库一体机解决方案 
5、SAP HANA一体机技术白皮书(集群方案)
6、SAP HANA一体机技术白皮书(SAP on HANA)

《数据库产品介绍及应用汇总(1)》 
1、京东科技国产分布式数据库StarDB最佳实践.pdf 
2、openGauss数据库新特性和未来演进.pdf 3、
PolarDB-X 单机平滑演进分布式之路.pdf 
4、伴鱼数据库架构选型及平台化建设的思考与实践.pdf 
5、从传统数据库到云数据库的演进.pdf 
6、OceanBase分布式数据库的新征程.pdf

《数据库产品介绍及应用汇总(2)》 
1、真实世界Oracle故障诊断一千零一夜-张维照.pdf 
2、内存计算和可计算存储在数据库场景中的应用.pdf 
3、数据库系统的分类和评测研究.pdf 
4、万亿级湖仓一体架构下的统一数据服务平台应用实践.pdf 
5、网易有数 BI 体系的建设和实践.pdf 
6、杨廷琨_Oracle In Memory最佳实践.pdf 
7、招行基于K8S构筑容器数据库平台建设及应用实践.pdf

本号资料全部上传至知识星球,加入全栈云技术知识星球下载全部资料。

‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧  END  ‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧
免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言删除,谢谢。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多