| 共 48 篇文章 |
|
（所以仅仅通过HBase来实现分页还是比较麻烦的，特别是RowKey比较复杂的时候）下面是具体的实现方案：项目场景：按条件查询并实现分页（如按澳门，三亚，2016-01-02查询并分页）这里我选择使用Phoenix来操作HBase，原因是对于简单条件的查询Phoenix速度快，并且Phoenix提供了生成序列ID的方法，对于熟悉SQL语句的开发者来说可以很好的提高开发... 阅126 转0 评0 公众公开 18-12-03 15:16 |
./kafka-producer-perf-test.sh --topic test_perf --num-records 1000000 --record-size 1000 --throughput 20000 --producer-props bootstrap.servers=localhost:9092 88126 records sent, 17625.2 records/sec (16.81 MB/sec), 968.5 ms avg latency, 1409.0 max latency.113096 records sent, 22587.6 records/sec (21.54 MB/sec), 249.2 ... 阅204 转0 评0 公众公开 17-10-23 15:51 |
[hsu@server01 ~]$ ls /opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hadoop-0.20-mapreduce/hadoop-examples*/opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hadoop-0.20-mapreduce/hadoop-examples-2.5.0-mr1-cdh5.2.0.jar/opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hadoop-0.20-mapreduce/hadoop-examples.jar. 阅748 转3 评0 公众公开 17-10-21 15:07 |
用hadoop计算PI值。摘要：最近研究hadoop的一个例子，计算PI值，本以为hadoop不适合这种密集型的计算，却发现了在hadoop自带的examples里，竟然有PiEstimator这个例子，于是深入研究一下，首先感谢博主http://thinkinginhadoop.iteye.com/blog/710847。二，运行hadoop估算PI的命令。<span style="white-space:pre"> </sp... 阅455 转0 评0 公众公开 17-10-21 14:37 |
Hadoop/Spark生态圈里的新气象。IBM承诺会培训100万名新的 Spark开发人员，为这个项目备好了庞大资金，Cloudera宣布Spark是我们知道与其一个平台(One Platform)计划配套的所有项目的核心，加上Hortonworks全力支持Spark，鉴于这种形势，我们可以肯定地说，业界已将“技术环球小姐”(Tech Miss Universe)这顶桂冠授予了Spark(但愿这回没有弄错)... 阅75 转0 评0 公众公开 17-09-12 19:01 |
一、Druid简介二、Druid架构组成及相关依赖三、Druid集群配置四、Druid集群启动五、Druid查询六、后记一、Druid简介。druid.host=node2druid.port=8092druid.service=druid/brokerdruid.broker.http.numConnections=20druid.broker.http.readTimeout=PT5Mdruid.processing.buffer.sizeBytes=2147483647druid.processing.numThreads=11druid.ser... 阅787 转2 评0 公众公开 17-09-12 19:01 |
Log4jLoggerFactory] 15/01/19 20:21:17 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar 15/01/19 20:21:17 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 15/01/19 20:21:17 INFO client.Job: The url to track the job: http://secondm... 阅1471 转7 评0 公众公开 17-07-20 17:56 |
当hive.metastore.authorization.storage.checks属性被设置成true时，Hive将会阻止没有权限的用户进行表删除操作。试验，在命令行环境开启用户认证Shell代码 hive> set hive.security.authorization.enabled=true; hive> CREATE TABLE authorization_test (key int, value string); Authorization failed:No privilege ''Crea... 阅48 转0 评0 公众公开 17-07-10 16:46 |
当hive.metastore.authorization.storage.checks属性被设置成true时，Hive将会阻止没有权限的用户进行表删除操作。试验，在命令行环境开启用户认证Shell代码 hive> set hive.security.authorization.enabled=true; hive> CREATE TABLE authorization_test (key int, value string); Authorization failed:No privilege ''Crea... 阅1440 转4 评0 公众公开 17-07-10 16:46 |
hadoop安全。hadoop/_HOST@HADOOP.BUAA.chown hadoop:hadoop/tmp/master.buaa /tmp/slave1.buaa /tmp/ slave2.buaa.UserGroupInformation: Login successfulfor user hadoop/slave2.buaa@HDFS.BUAA using keytab file/opt/modules/keys/hadoop.keytab.export HADOOP_SECURE_DN_USER=hadoop4.8.4hadoop没有连接kdc记录。IOException: Login fail... 阅715 转3 评0 公众公开 17-07-10 16:46 |
