华为新手机数据迁移 :精准定位数据差异行,DBMotion 数据库迁移工具再添新功能

太平洋在线手机版 12 0

又双叒叕华为新手机数据迁移

丝滑的零停机在线迁移工具

DBMotion又发新版了华为新手机数据迁移

此次版本更新华为新手机数据迁移 ,进一步加强了校验模块的能力,

并新增日志过滤功能、用户迁移和用户校验功能华为新手机数据迁移

以及修复了多项问题华为新手机数据迁移

查看校验失败表华为新手机数据迁移 ,精准定位数据不一致行:

本次新增了校验失败表,查看不一致功能,支持准确查看一个表内的源库和目标库到底哪些行不一致华为新手机数据迁移 。迁移完成之后,如果你的表只有少量行不一致,就能很直接地帮你定位出来。

目前,DBMotion基于性能的考虑,对于源库和目标库的数据比较,是分块做checksum的华为新手机数据迁移 。通过确定源库和目标库上每一个分片的checksum的一致性来确定表是否一致,加快对比的速度。这种对比方案,非常适用于表的绝大部分数据是一致的情况,用户校验完成后只需要着重关注不一致的表。

举个例子,当用户A使用DBMotion构建迁移任务,配置并完成了对象/表结构的迁移、全量迁移和增量迁移后,开始使用数据校验进行结果比对华为新手机数据迁移 。在正常情况下,DBMotion迁移过来的数据应该跟源库是一模一样的,但是不管是增量同步、部分延迟、数据已在目标库被修改或是其他的原因,校验出数据后,部分表还是会出现不一致。

DBMotion新的版本允许用户点击“查看不一致”请求华为新手机数据迁移 ,去查看该校验失败的表到底是哪里不一致:

华为新手机数据迁移 ,DBMotion 数据库迁移工具再添新功能" >

如图所示华为新手机数据迁移 ,该表中有三行不一致,页面显示为:

华为新手机数据迁移 ,DBMotion 数据库迁移工具再添新功能" >

展开全文

明显可以看到:

id=1的行,目标库多,只在目标库存在这一行记录(蓝色)华为新手机数据迁移

id=2的行,字段值不一致,age列在源库是2(绿色),在目标库上是4(蓝色)华为新手机数据迁移

id=4的行,目标库少,只在源库上存在这一行记录(绿色)华为新手机数据迁移

DBMotion将源库数据迁移到目标库,能够最大程度保证对象和数据的一致性华为新手机数据迁移 。对于数据量特别大但只有很少一部分数据不一致的表来说,“查看不一致”可以精确定位到这些不一致的数据,明确到底是源库的数据、目标库的数据或是某一行数据的列不一致,从而确认导致数据不一致的原因。

在分析binlog日志时,如果发现最近的日志中正好有删除id=1,新增id=4和修改id=2的age值从2变为4的操作华为新手机数据迁移 。那么,几乎可以确定这几行数据就是由于增量复制延迟而导致的,可采用增量同步追上的方式。如发现部分数据没有同步到目标库,也可以手工将这一部分数据导入目标库,确保数据的最终一致性。

这个功能也可能会有一定的副作用:从源库和目标库查询数据不一致的信息时,需要从源库和目标库上拉取数据,对网络、IO有较大影响华为新手机数据迁移 。如果出现太多源库和目标库的数据不一致,建议用户对相关表进行全量重新同步,来保证数据的一致性。

华为新手机数据迁移 ,DBMotion 数据库迁移工具再添新功能" >

为了尽量降低这个副作用,查看不一致功能目前只支持查看500条数据不一致的行华为新手机数据迁移 。如DBMotion查询到不一致数据达到501行,会提醒用户,并不再继续查找。

华为新手机数据迁移 ,DBMotion 数据库迁移工具再添新功能" >

数据校验是迁移任务的兜底工作,可以保证迁移前后数据的一致性华为新手机数据迁移 。DBMotion在这一块花费了大量的精力进行打磨,后续版本会继续加强相关功能。

多项新增功能:

除查看不一致行之外华为新手机数据迁移 ,这次发布还新增了以下功能:

增加日志过滤功能华为新手机数据迁移 。通过关键字、迁移步骤、错误级别、时间范围的筛选,用户可以将关注的特定日志筛选出来,便于诊断。

华为新手机数据迁移 ,DBMotion 数据库迁移工具再添新功能" >

增加用户迁移和用户校验功能华为新手机数据迁移 。保证用户所选的信息能及时迁移到目标库,并且在对象校验时比对目标库用户是否存在,密码是否跟源库一致。

华为新手机数据迁移 ,DBMotion 数据库迁移工具再添新功能" >

DBMotion还对以下问题进行华为新手机数据迁移 了修复:

1.#1168 全量同步时华为新手机数据迁移 ,OOM的问题;

2.#1169 连续DDL时华为新手机数据迁移 ,增量同步报错;

3.#1309 全量迁移时华为新手机数据迁移 ,syntax error报错;

4.#1320 预检查时源端或目标端连接失败,返回信息不明确等问题华为新手机数据迁移

通过修复这些问题,进一步提升了产品稳定性和可用性华为新手机数据迁移

这些功能的更新华为新手机数据迁移 ,想先人一步使用吗?

赶紧上Squids体验吧华为新手机数据迁移

丝滑的DBMotion在线等你华为新手机数据迁移

标签: 精准 迁移 新功能 DBMotion 差异

抱歉,评论功能暂时关闭!