他的首页
他的馆藏
他的动态
馆友反馈
关于他
| 共 11 篇文章 |
|
Experiments with HBase, Phoenix, and SQL at Scale.While not a lot of data at all for this type of cluster (it all fir easily in the HBase block cache) it none-the-less lets us gauge how Phoenix and HBase can scale their workloads across the cluster.Increase phoenix.query.threadPoolSize (1000, 2000, or 4000) and phoeni... 阅60 转0 评0 公众公开 16-10-08 09:34 |
HashMap[String, Double]) : JSONObject = { val jsonobj = new JSONObject() val sb = new StringBuffer() sb.append("select ") allColArr.map{col => sb.append(s"count(distinct(`$col`)) as unique_$col ," + s"sum(case when `$col` is null then 1 else 0 end) as missing_$col, ")} sb.append(s"... 阅1796 转1 评0 公众公开 16-09-21 10:18 |
SPARK_SUBMIT_OPTS="$SPARK_SUBMIT_OPTS -Dscala.usejavacp=true"export SPARK_SUBMIT_OPTS"$FWDIR"/bin/spark-submit --class org.apache.spark.repl.-n 0 ]]+ main+ false+ export SPARK_SUBMIT_OPTS+ /usr/lib/spark/bin/spark-submit --class org.apache.spark.repl.# Spark submit uses SPARK_JAVA_OPTS + SPARK_SUBM... 阅45 转0 评0 公众公开 16-09-21 09:15 |
SVD会把一个m*n的矩阵A分解为三个矩阵A~UTVT，U是一个正交矩阵，它的列被称为左奇异向量，T是一个对角线上德值均为非负数并且降序排列的对角矩阵，它的对角线上德值被称为奇异值，V是一个正交矩阵，它的列被称为右奇异向量 对于大型矩阵，通常不需要进行完全分解，只需要分解出靠前的奇异值和与之对应的奇异向量即可，这样可以节省存储空间，降... 阅526 转2 评0 公众公开 16-08-19 12:44 |
def main(args: Array[String]) { val a = List(1,2,3,4) val c = a.par.aggregate(5)(seqno,combine) println("c:"+c) } def seqno(m:Int,n:Int): Int ={ val s = "seq_exp=%d+%d" println(s.format(m,n)) return m+n } def combine(m:Int,n:Int): Int ={ val s = "com_exp=%d+%d" println(s.format(m,n)) retu... 阅2136 转2 评0 公众公开 16-08-18 16:11 |
val nums = List(1,2,3)val sum1 = nums.reduce((a,b) => a+b) //6val sum2 = nums.reduce(_+_) //6val sum3 = nums.sum //6.val nums1 = List(1,2,3)val nums2 = List(2,3,4)val diff1 = nums1 diff nums2 // List(1)val diff2 = nums2.diff(num1) // List(4)val union1 = nums1 union nums2 // List(1,2,3,2,3,4)val union2 = nums2 ++ nu... 阅638 转1 评0 公众公开 16-08-09 14:21 |
当FRP模型中的某一状态发生变化时，你并不需要手动地对依赖这些变化的变量进行更新，与之相反，FRP会使用声明的方式描述数据元素之间的依赖关系，而FRP运行时则会负责状态的传播。FRP基本上就是面向异步事件流的编程了，这个异步事件流（Stream）是一个按时间排序的事件序列。Actor、FRP以及Rx都是基于事件的系统模型。FRP和Rx模型更像是一个处... 阅173 转1 评0 公众公开 16-06-29 20:17 |
