分享

mysql 千万级数据库如何进行多张结构相同的表联合查询?如何优化或设置提高查询速度?

 橙zc 2015-04-28

问:

1. 现有近亿条记录数据,分成N个表进行存储;当然这N个表结构都一样,如何才能提高这N表的联合查询?表都建了索引;  

我在一个上百万的表上进行单表查询时间几乎为0,但几个同样的表进行联合查询,结果处于假死状态,请问有什么机制可以

提高这N个表的联合查询速度?

2.如何请提高其它表 结合 这N几个表进行查询?我觉得同结构表结合查询就很慢,再结合其它不同结构表 会更麻烦些,请高

手们支招!

为便于理解我建了一个表结构出来:
CREATE TABLE `test_bj` (
`id` int(10) NOT NULL,
`username` char(12) default NULL,
`userpwd` char(16) default NULL,
`sex` int(1) default NULL,
`Position` char(10) default NULL,
`Remarks` char(150) default NULL,
`addtime` timestamp NULL default NULL on update CURRENT_TIMESTAMP,
PRIMARY KEY (`id`),
KEY `s_id_atm` (`id`,`addtime`),
KEY `s_all` (`id`,`username`,`userpwd`,`sex`,`Position`,`Remarks`,`addtime`)
) ENGINE=MyISAM DEFAULT CHARSET=gb2312;

字段分别为:id , username , usrepwd , sex , position, remarks, addtime (字段可根据优化需要再建或修改)
表名:test_bj,test_sh .... test_gz... test_n (假设每张有1千万记录)
每个表名 很想以地区单独分开(不想建分区表),这样方便查看和单独查询

还说明一点
select id,username,sex,addtime from
(
select id,username,sex,addtime from test_bj where username like '%张%' and sex=1
union all
select id,username,sex,addtime from test_sh where username like '%张%' and sex=1
union all
...
select id,username,sex,addtime from test_gz where username like '%张%' and sex=1
) order by addtime desc limit0,20
这种多表联合查询基本处于死机状态 , 这查询代码该如何写?

朋友们以上问题给我支个招吧!大家一起总结下,对后来者都是一个帮助!在此拜谢了!
不要拷贝、复制,最好给出实例代码和配置步骤
答:

首先要说的是创建索引会提高搜索速度
再就是 like 不会使用索引,结果就是你创建了索引但是找不到结果,这个和union没有关系
即使你单独一条查询也是遍历整个数据库,不会在索引中查询
对于这种情况一般都是通过分词创建文件索引的方式进行文字查询 如 lucene
现在的数据量,想要通过sql解决文字的like查询,通过数据库已经不够用的了~
 
追问:
多谢你的回答,我以上提的问题,Mysql有没有其它解决办法?表可多个,要联合查询,或者只能用分区表来做吗?还是像一个朋友说的 运用hash算法对同样结构的表进行计算分类后存入新表?
 
回答:
不论你怎么分表 只要使用like 索引就不会起作用 最后的结果还是所有的数据都要遍历一遍你可以看看 Mysql+sphinx 做的搜索,对于大数据量的查询使用比较多单独使用数据库很难,我找过通过创建mysql分词索引的方式搜索数据,结果会丢失很多数据,结果也不准确,毕竟查询还是以准确为第一位的你可以看看京东或者当当之类的,你输入了一个字他会自动匹配出结果数和数据量,这个就是分词索引的结果

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多