合作伙伴公司简介

迪思杰（北京）数据管理技术有限公司（以下简称DSG）, 是全球领先的数据复制技术专业公司，拥有几乎所有主流数据库，如：Oracle、MySQL、PostgreSQL、DB2及各类国产数据库的实时日志分析复制技术和完全的自主知识产权。DSG全球领先的数据库统一实时转换数据模型，能够快速、统一实现各类数据库之间的转换和异构加载，及对各类大数据组件的支持。DSG各类产品线已应用于政府部门、公安、银行、证券、保险、企业等1000多家客户。

方案应用背景

随着云计算与大规模并行数据库的兴起，传统IT架构与并行集群数据库之间、与基于云计算的大规模非结构化的数据库之间，需要实时高性能数据复制共享，使企业突破单一传统IT架构限制，走向性能可无限扩张的混合云架构。

当前，客户业务存在以下问题：

• 低性能日志分析：企业业务更改都记录在日志中，当需要了解数据库中所作的交易时，需要先分析日志。大型数据库一般峰值日志产生量高达200G/小时以上，传统日志分析技术处理过程繁琐，分析效率低，对源生产端的运行造成较大的压力；

• 无法进行全同步与增量同步：传统数据复制工具不支持全同步功能，数据首次同步需要通过备份恢复实现，即通过备份软件将生产端数据库的数据进行全备份，然后再通过恢复功能将数据恢复到某个时间点。首次同步完成后，用户还需要手动创建增量同步的SN点（手动操作会导致操作失误率提高），复制软件才能实现增量同步，无形中增加同步时间，效率低下；

• 难以进行异构数据库复制：传统数据库复制软件大都仅支持单种数据库间的数据复制，即使可以实现异种数据库之间的复制，也需要进行复杂的数据导出及数据转换，导致数据复制时间长、系统停机及人为操作失误；

• 数据上云困难：传统的业务应用程序不但过于复杂，而且成本高昂，企业采用云服务模式将节省大量用于购买IT产品、技术和维护运行的资金，方便地利用信息化系统，但当前大多同步软件不能很好的支持云下数据库异构上云。

方案内容

SuperSync通过select方式对多种源端数据库进行全量导出为xdt数据，再通过vagentd读取分析数据库日志文件，当数据库有DML或者DDL操作时，vagentd将分析到的数据转换成xdt文件。SuperSync对同步数据xdt先缓存在源端目录中，以支持断点续传,然后再通过nfm_sender将xdt数据发送给目标端。

SuperSync目标端使用nfmd接收xdt数据并保存在本地目录中，通过yloader对xdt文件进行解析，生成目标端数据库可以识别的SQL，再通过目标端yxad装载到目标端SequoiaDB巨杉数据库中。

方案亮点

• 实时并发日志分析

采用并发多线程分析在线日志文件，提前预分析在线日志文件转化成供分析程序需要的精简日志文件格式，供不同的分析进程多次使用，甚至在数据库非归档模式下，日志切换覆盖之前，保留未分析完的日志文件。增量分析日志速度可达：100-200G/小时。

• 全量增量一体化同步

不停机、不停业务、不修改数据库参数，一键化启动全量数据同步、增量数据同步，自动完成源端全量数据的导出、目标端全量数据装载、源端增量数据实时分析、目标端增量数据实时装载。特别采用自主研发的底层工具直接dump数据文件导出存量数据，非调用数据库接口方式导出全量数据，减少对于生产数据库的资源占用及对应用系统的影响。全量导出正常数据速度可达：200-400G/小时。

• 频繁DDL支持

采用非触发器模式通过抓取到日志文件里的具体DDL语句，并且取得DDL后准确的数据字典信息，目标端无故障、无感知的完成DDL操作及后续DML的装载。支持瞬间批量频繁的DDL操作，支持异构数据库之间DDL的转换。

• 特殊字段表同步

对LOB字段表（BLOB/CLOB/BFILE）优化的全量导出算法，提供断点续导、并发导出、坏块检测、LOB字段单独导出、单独装载等方式，达到全量导出LOB数据表速度：100-200G/小时。同时支持XML、UDT、IOT等特殊字段表的同步。

• 统一的数据流格式

可以将不同源端数据库、不同目标端数据库之间的数据流动采用统一的数据流格式文件，即可以实现源端Oracle、PostgreSQL、DB2、MySQL等多种数据库同步到SequoiaDB巨杉数据库中，也实现对SequoiaDB巨杉数据库到各种数据库的回流，帮助客户更好的高效的完成业务应急接管，容灾切换时间小于5分钟。

客户价值

• 业务无需中断

SuperSync在不中断业务的情况下可以实现数据首次全同步和不一致数据修复，无需人工干预，简化软件操作，减少用户工作量。

• 数据库零停机迁移

SuperSync支持Oracle、MySQL、PostgreSQL、DB2等多种数据库迁移到SequoiaDB巨杉数据库。

• 满足复杂同步需求场景

针对客户不同源端数据库、不同目标端数据库之间的数据流动，SuperSync采用统一自主知识产权的数据流格式文件xdt，从而可以支持源端数据库到目标端数据库的复制的任意组合，适应客户的多种数据库之间、不同平台组件的复杂同步需求场景。

• 提高业务应急接管能力

当生产库发生故障时，容灾系统能高效的完成业务应急接管，容灾切换时间小于5分钟。

• 降低生产业务影响

SuperSync的日志并发分析，加快日志分析性能。仅对日志进行一次分析，结果就可供多进程、多任务使用，同时分析结果可存放在本地或远程，以减轻数据库日志重复分析对源端系统带来的压力。

互认证证书