关于MySQL分表操作的研究

默北 MySQL PHP811,668字数 3463阅读11分32秒阅读模式

一般来说,当我们的数据库的数据超过了100w记录的时候就应该考虑分表或者分区了,这次我来详细说说分表的一些方法。首先,我们需要想好到底分多少个表,前提当然是满足应用。这里我使用了一个比较简单的分表方法,就是根据自增id的尾数来分,也就是说分0-9一共10个表,其取值也很好做,就是对10进行取模。另外,还可以根据某一字段的md5值取其中几位进行分表,这样的话,可以分的表就很多了。
好了,先来创建表吧,代码如下:

CREATE TABLE `ttlsa_com`.`article_0` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci
CREATE TABLE `ttlsa_com`.`article_1` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci
CREATE TABLE `ttlsa_com`.`article_2` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci
CREATE TABLE `ttlsa_com`.`article_3` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci
CREATE TABLE `ttlsa_com`.`article_4` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci
CREATE TABLE `ttlsa_com`.`article_5` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci
CREATE TABLE `ttlsa_com`.`article_6` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci
CREATE TABLE `ttlsa_com`.`article_7` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci
CREATE TABLE `ttlsa_com`.`article_8` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci
CREATE TABLE `ttlsa_com`.`article_9` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci

好了10个表创建完毕了,需要注意的是,这里的id不能设为自增,而且所有的表结构必须一致,包括结构,类型,长度,字段的顺序都必须一致那么对于这个id如何取得呢?后面我会详细说明。现在,我们需要一个合并表,用于查询,创建合并表的代码如下:文章源自运维生存时间-https://www.ttlsa.com/mysql/research-on-the-mysql-table-operation/

CREATE TABLE `ttlsa_com`.`article` ( 
`id` BIGINT( 20 ) NOT NULL ,
`subject` VARCHAR( 200 ) NOT NULL ,
`content` TEXT NOT NULL ,
PRIMARY KEY ( `id` )
) ENGINE=MRG_MyISAM DEFAULT CHARSET=utf8 INSERT_METHOD=0 union =(`article_0`,`article_1`,`article_2`,`article_3`,`article_4`,`article_5`,`article_6`,`article_7`,`article_8`,`article_9`);

注意,合并表也必须和前面的表有相同的结构,类型,长度,包括字段的顺序都必须一致这里的INSERT_METHOD=0表示不允许对本表进行insert操作。好了,当需要查询的时候,我们可以只对article这个表进行操作就可以了,也就是说这个表仅仅只能进行select操作,那么对于插入也就是insert操作应该如何来搞呢,首先就是获取唯一的id了,这里就还需要一个表来专门创建id,代码如下:文章源自运维生存时间-https://www.ttlsa.com/mysql/research-on-the-mysql-table-operation/

CREATE TABLE `ttlsa_com`.`create_id` ( 
`id` BIGINT( 20 ) NOT NULL AUTO_INCREMENT PRIMARY KEY 
) ENGINE = MYISAM

也就是说,当我们需要插入数据的时候,必须由这个表来产生id值,我的php代码的方法如下:文章源自运维生存时间-https://www.ttlsa.com/mysql/research-on-the-mysql-table-operation/

<?php 
function get_AI_ID() { 
    $sql = "insert into create_id (id) values('')"; 
    $this->db->query($sql); 
    return $this->db->insertID(); 
} 
?>

好了,现在假设我们要插入一条数据了,应该怎么操作呢?还是继续看代码吧:文章源自运维生存时间-https://www.ttlsa.com/mysql/research-on-the-mysql-table-operation/

<?php 
function new_Article() { 
    $id = $this->get_AI_ID(); 
    $table_name = $this->get_Table_Name($id); 
    $sql = "insert into {$table_name} (id,subject,content) values('{$id}','测试标题','测试内容')"; 
    $this->db->query($sql); 
} 
/** 
* 用于根据id获取表名 
*/ 
function get_Table_Name($id) { 
    return 'article_'.intval($id)%10; 
} 
?>

其实很简单的,对吧,就是先获取id,然后根据id获取应该插入到哪个表,然后就很简单了。
对于update的操作我想应该不需要再说了吧,无非是有了id,然后获取表名,然后进行update操作就好了。
对于用户表,建个最少列最基本信息的用户名,比如用户ID,用户名,密码。用户的其他信息分布到以用户ID分表的表上。
怎么分表如何分表以业务需求而定。文章源自运维生存时间-https://www.ttlsa.com/mysql/research-on-the-mysql-table-operation/

相关技术理论参见:http://dev.mysql.com/doc/refman/5.1/zh/storage-engines.html#merge-storage-engine文章源自运维生存时间-https://www.ttlsa.com/mysql/research-on-the-mysql-table-operation/

PS:分表分库在我曾经工作过的地方经常使用。文章源自运维生存时间-https://www.ttlsa.com/mysql/research-on-the-mysql-table-operation/ 文章源自运维生存时间-https://www.ttlsa.com/mysql/research-on-the-mysql-table-operation/

weinxin
我的微信
微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~
默北
  • 本文由 发表于 25/07/2013 14:00:31
  • 转载请务必保留本文链接:https://www.ttlsa.com/mysql/research-on-the-mysql-table-operation/
评论  8  访客  6
    • mdh6789
      mdh6789 9

      你们俩真是名符其实的死基友、、、

      • 邓贇
        邓贇 7

        这种分表不错,但是有个不足

          • 默北
            默北

            @ 邓贇 哪不足? 求高见

              • 邓贇
                邓贇 7

                @ 默北 如您说所不能表连接

                  • 默北
                    默北

                    @ 邓贇 一般是要避免使用连表查询

            评论已关闭!