前言
其实在系统中我们可以看到,那些属于公共信息的库和表最总将会成为一个高频爆发的点,系统在那里也容易出现瓶颈。因此我们为了提高系统的并发性和性能。我们可以选择一些NoSQL数据库。
我的推荐
...
MySQL分库分表(番外篇1)-使用kafka记入日志
前言
其实这篇文章说介绍的和分库分表没有很大的关系,主要是业务流程的完整性。
实际情况
在开发过程中许多重要的操作都会记录日志的。如:谁什么时候下单了、下单成功还是失败等等。
往往这些比较...
MySQL分库分表缩容(11)
此缩容非彼缩容
无论是在ORACLE、MSSQL中都会存在着扩容、缩容的操作,并且这个技能基本是DBA所必备的。下面是本人的一点理解:
扩容:数据在增长,在快达到磁盘或数据库的容量时,增加...
MySQL分库分表弃强妥最提高性能(10th)
回顾
之前我们介绍了使用分布式事务(XA)处理用户下订单,对MySQL有所了解的都知道XA其实是在非用不可的情况下才用的,因为它实在是影响性能。当然,其实迫使我们使用XA的原因也是因为我们的设计决定...
MySQL反经验定律创建索引
说明
相信大家在做数据库优化的时候肯定都会听到,一定不能这样做,必须要这样做。这也是为什么DBA会和开发"打架"原因,毕竟有些经验的开发多多少少也会一点优化啦。
大家有听到过在为表建立索引的时...
MySQL分库分表-多实例INSERT的困扰(9th)
存在问题
分库分表是完成了,细心的朋友可能会发现。我们这边存在一个问题就是本来应该在一起的事务,现在因为分库事务将被分成了两个。如果第一个事务完成了提交,这时候应用程序或服务器发生了问题导致第二个没...
MySQL分库分表分库后的查询(8th)
前言
这边我们以使用python程序要展示一下再分库分表后,我们需要如何对数据库进行操作。
python操作数据库
我们这边还是沿用之前的那5中:
场景1:购买者下订单
#!/u...
MySQL分库分表python实现分库(7th)
理清思路
现在我们分为两大个步骤:
1、创建分库,并在分库中创建分表。
2、能指定用户的数据到特定的库和表。
现在我们有两个数据库了:
1、test库:里...
MySQL分库分表分库准备(6th)
前言
随着业务的发展单库中的分表的数量越来越多, 使用在单库上存放过多的表这样是不合理的。因此,我们就需要考虑将数据根据数据库进行拆分。
一般mysql不建议表的数量超过1000个。当然,这不...
MySQL分库分表分表后数据的查询(5th)
前言
在分表完之后显然对于数据的查询会变的比较的复杂,特别是在表的关联方面,在有些情况下根本就不能使用JOIN。
其实个人是比较鼓励将那些大的JOIN SQL拆分成几个小的SQL来查询数据。这...
MySQL分库分表单库分表和迁移数据(4th)
前奏
因为在分表的时候我们需要知道我们分的是第几个表,所以我们先需要初始化我们的分表号
-- 创建一个系统信息表为了记录下当前最大的分表号
DROP TABLE system_setting;...
MySQL分库分表使用Snowflake全局ID生成器(3rd)
前言
由于考虑到以后要动态切分数据,防止将不同表切分数据到同一个表中时出现主键相等的冲突情况,这里我们使用一个全局ID生存器。重要的是他是自增的。
这边我使用Snowflake的python实...
MySQL分库分表创建新表结构(2nd)
前言
在互联网时代大家都知道数据量是爆炸试的增加,从之前的表结构设计来看,我们很容易的知道商品表(goods)、订单表(orders)、订单商品表(order_goods)这几张表的数据量将会爆炸试...
MySQL分库分表基础表介绍(1st)
表基本模型结构
这里我们模拟一个商城的基本的表结。此结构由(用户、门店、导购、门店商品、订单、订单对应的商品)。其中,导购也是一个用户,门店是只属于一个店主的,同时店主本身也是一个导购也是一个普通用...
python 生成excel报表
前言
年底来了,这时候公司各个部门开始算年业绩等情况。由于公司报表系统还未完善,只能靠人力查询数据库生成报表。刚开始一两个报表需求还好,使用手工帮他们做excel。最近一下子收到几十个报表要做。如果...
7