MySQL分库分表使用Snowflake全局ID生成器(3rd)

  • A+
所属分类:MySQL

前言

由于考虑到以后要动态切分数据,防止将不同表切分数据到同一个表中时出现主键相等的冲突情况,这里我们使用一个全局ID生存器。重要的是他是自增的。

这边我使用Snowflake的python实现版(pysnowflake)。当然你也可以使用java实现版.

具体详细信息:http://pysnowflake.readthedocs.org/en/latest/

Snowflake的使用

安装 requests

安装 pysnowflake

启动pysnowflake服务

--address本机的IP地址默认localhost这里解释一下参数意思(可以通过--help来获取):

--dc数据中心唯一标识符默认为0

--worker工作者唯一标识符默认为0

--log_file_prefix日志文件所在位置

 

使用示例(这边引用官网的)

数据整理重建ID

重建ID是一个很庞大的工程,首先要很了解表的结构。不然,如果少更新了某个表的一列都会导致数据的不一致。

当然,如果你的表中有很强的外键以及设置了级联那更新一个主键会更新其他相关联的外键。这里我还是不建议去依赖外键级联更新来投机取巧毕竟如果有数据库的设计在项目的里程碑中经过了n次变化,也不能肯定设置的外键一定是级联更新的。

在这边我强烈建议重建ID时候讲MySQL中的检查外键的参数设置为0。

小提示:其实理论上我们是没有必要重建ID的因为原来的ID已经是唯一的了而且是整型,他兼容BIGINT。但是这里我还是做了重建,主要是因为以后的数据一致。并且如果有些人的ID不是整型的,而是有一定含义的那时候也肯定需要做ID的重建。

修改相关表ID的数据类型为BIGINT

使用python重建ID

使用的python 模块:

模块名 版本 备注
pysnowflake 0.1.3 全局ID生成器
mysql_connector_python 2.1.3 mysql python API

这边只展示主程序:完整的程序在附件中都有

完整的python程序:rebuild_id.py

执行程序

最后查看表的结果

建议:如果在生产上有使用到snowflake请务必要弄一个高可用防止单点故障,具体策略看你们自己定啦。

 

如有疑问,跟帖说明。

感觉本文内容不错,读后有收获?

逛逛衣服店,鼓励作者写出更好文章。

weinxin
微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~
HH

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:1   其中:访客  1   博主  0

    • Augus 9

      抢这沙发