开心豆豆2010 / 大数据 /     SHDP--Working with HBase(...

0 0

   

    SHDP--Working with HBase(三)之HBase+Phoenix实现分页

2018-12-03  开心豆豆2...
先简单讲讲只用HBase来实现分页的思路:
HBase利用scan来扫描表,通过startKey,stopKey来确定扫描范围,在需要进行分页时可以结合HBase提供的PagefFilter过滤扫描的行数使scan返回N条数据达到分页的目的(N为每页的记数),此时有以下两种方案达可以达到分页目的:
1. 在得到scan结果后把上一页的最后一条数据作为scan下一页时的startKey,但是此时下一页的数据在传到客户端时就要排除第一条数据了(因为第一条的数据是上一页的)
2.在每次scan时多查询一条数据(即返回N+1)作为下一页的startKey
以上的方案存有个大前提:HBase的RowKey必须是序列增长(类似1,2,3,....)的,否则的话虽然能定位到下一页的startkey,但是当我要查询上一页/上N页时就不能够定位到此时的startkey了。
所以解决这个大前提的方案就是添加一个序列ID到RowKey中来帮助起始键定位到对应偏移量的位置,但是当你的RowKey存在其他字符(如汉字)时就不能简单的将序列ID添加到RowKey了。(所以仅仅通过HBase来实现分页还是比较麻烦的,特别是RowKey比较复杂的时候)
下面是具体的实现方案:
项目场景:按条件查询并实现分页(如按澳门,三亚,2016-01-02查询并分页)
这里我选择使用Phoenix来操作HBase,原因是对于简单条件的查询Phoenix速度快,并且Phoenix提供了生成序列ID的方法,对于熟悉SQL语句的开发者来说可以很好的提高开发效率。
步骤:(HBase中存在TRAVEL表)
1.在Phoenix中为TRAVEL表创建视图TRAVEL
CREATE VIEW TRAVEL (ROWKEY VARCHAR PRIMARY KEY,INFO.SP VARCHAR,INFO.EP VARCHAR,INFO.ST VARCHAR,INFO.ET VARCHAR);
 (INFO为HBase表TRAVEL的列族名)
视图TRAVEL中的一段数据如下:
2.建立sequence(序列)
CREATE SEQUENCE SEQ;
3.在Phoenix中新建表PAGETRAVEL
CREATE TABLE TRAVEL (ROWKEY VARCHAR PRIMARY KEY,INFO.SP VARCHAR,INFO.EP VARCHAR,INFO.ST VARCHAR,INFO.ET VARCHAR,PAGEID BIGINT);
(字段PAGEID就是帮助起始健定位对应偏移量的分页ID)

 

4.通过Phoenix的UPSERT SELECT将视图TRAVEL中的数据全部插入到PAGETRAVEL表中
UPSERT INTO PAGETRAVEL SELECT ROWKEY,SP,EP,ST,ET,NEXT VALUE FOR SEQ FROM TRAVEL;
PAGETRAVEL表中的部分数据如下:    
有了PAGEID后就可以轻易的确定每页起始键对应的偏移量。
5.得到每页起始键的偏移量(PAGEID)
SELECT PAGEID FROM TRAVEL WHERE ROWKEY LIKE '澳门三亚%' AND ST >= '2016-01-02';
6.分页查询
SELECT * FROM TRVELS WHERE PAGEID > PAGEID*(PAGENUM-1)*N ORDER BY PAGEID LIMIT N WHERE ROWKEY LIKE '澳门三亚%';

(PAGENUM为当前页数)

 

关键代码实现:

复制代码
public List findPageRecords(int currentPageNum, int pageSize,String ST,String SP,String EP) {
//得到每页起始键的偏移量,第一个参数为SQL语句,第二个参数为返回值类型的Class对象,第三个参数为占位符值(为可变参数) int startkey = jdbcTemplate.queryForObject("SELECT * FROM TRAVELS WHERE ST >= ? AND ROWKEY LIKE ? LIMIT 1",Integer.class,ST,SP+EP+"%"); //第一个参数为SQL语句,第二参数的RowMapper将每一行结果映射成一个Java对象,方便将其他封装到JavaBean中,第三个参数为占位符值(为可变参数) List<Travel> travels = jdbcTemplate.query("SELECT * FROM TRAVELS where PAGEID >= ? AND ST >= ? AND ROWKEY LIKE ? limit 8", new RowMapper<Travel>() { public Travel mapRow(ResultSet rs, int rowNum) throws SQLException { Travel travel = new Travel(); travel.setROWKEY(rs.getString("ROWKEY")); travel.setURL(rs.getString("URL")); travel.setSP(rs.getString("SP")); travel.setEP(rs.getString("EP")); travel.setST(rs.getString("ST")); travel.setET(rs.getString("ET")); travel.setSIGHTS(rs.getString("SIGHTS")); travel.setALLDATE(rs.getString("ALLDATE")); travel.setHOTEL(rs.getString("HOTEL")); travel.setTOTALPRICE(rs.getString("TOTALPRICE")); travel.setTRAFFIC(rs.getString("TRAFFIC")); travel.setTRAVELTYPE(rs.getString("TRAVELTYPE")); travel.setSUPPLIER(rs.getString("SUPPLIER")); return travel; } },startkey+(currentPageNum - 1)*pageSize,ST,SP+EP+"%"); return travels; }

总结:通过与Spring JDBC的集成,利用Phoneix可以很轻易的实现HBase分页极大地提高开发效率,并且Phoenix还提供了二级索引的功能。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。如发现有害或侵权内容,请点击这里 或 拨打24小时举报电话:4000070609 与我们联系。

    猜你喜欢

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多
    喜欢该文的人也喜欢 更多