| 共 8 篇文章 |
|
Spark 1.4以前的版本中spark.sql.codegen, spark.sql.unsafe.enabled等几个参数在1.5版本里面合并成spark.sql.tungsten.enabled并默认为true，只需要修改这一个参数就可以配置是否开启tungsten优化（默认是开启的）。Spark 1.5可以通过指定spark.sql.parquet.output.committer.class参数选择不同的output committer类，默认是org.apache.parque... 阅106 转1 评0 公众公开 15-09-14 08:37 |
hflights_df <- tbl_df(hflights)hflights[order(hflights$DayofMonth, hflights$Month, hflights$Year), ]hflights[order(desc(hflights$ArrDelay)), ]1.3 选择: select()以上5个动词函数已经很方便了, 但是当它们跟分组操作这个概念结合起来时, 那才叫真正的强大! 当对数据集通过 group_by() 添加了分组信息后,mutate(), arrange() 和 sum... 阅4010 转14 评0 公众公开 15-08-24 21:41 |
[root@hadoop ~]# vi /etc/sysconfig/network.[root@hadoop ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0.[root@hadoop ~]# vi /etc/hosts.127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6.[root@hadoop ~]# service iptable... 阅118 转1 评0 公众公开 15-08-06 19:38 |
数据挖掘的算法分类。从算法分析数据的方式角度划分，可将数据挖掘算法划分为假设检验型算法和知识发现型算法。●知识发现型算法，也称自底向上（Bottom-Up）型算法。从算法来自的学科类型划分，可将数据挖掘算法划分为机器学习算法和统计学算法。从算法所得的类型角度划分，可将数据挖掘算法划分为直接型数据挖掘算法和间接性数据挖掘算法。从... 阅1007 转2 评0 公众公开 15-08-05 10:00 |
Rattle :基于R的数据挖掘工具：简介和安装1.Rattle是什么 数据挖掘是当今时代的一门核心技术，提供了对大数据的描述，探索，模式的识别和预测。Rattle易学易用，不要求很多的R语言基础，被广泛的应用于数据挖掘实践和教学之中，在澳大利亚，有至少15个政府部门采用Rattle作为标准的数据挖掘工具（http://en.wikipedia.org/wiki/Rattle_GUI... 阅2 转自toppoo 公众公开 15-08-01 16:26 |
计算机科学教授Norm Matloff 曾说过，“Python并未建立起一个能与CRAN媲美的巨大的代码库，R在这方面领先巨大。但是，统计学并不是Python的中心任务。”其实R与Python并不是完全孤立的，在R中用户可以通过rPython包运行Python代码，从Python传递或获取数据，调用Python函数或者方法。过去，Python数据分析包的幼年期曾是个问题，但是现在已经得... 阅28 转0 评0 公众公开 15-07-24 13:48 |
Orange(http://www.ailab.si/orange)是类似KNIME和WekaKnowledgeFlow的数据挖掘工具，它的图形环境称为Orange画布（OrangeCanvas），用户可以在画布上放置分析控件（widget），然后把控件连接起来即可组成挖掘流程。Orange的控件不象KNIME的节点分得那么细，也就是说要完成同样的分析挖掘任务，在Orange里使用的控件数量可以比KNIME中的节点数... 阅33 转0 评0 公众公开 14-10-21 12:40 |
Weka和R的比较。Weka和R是两个突出的开放源码分析软件系统。R来自统计界，是一个通用分析统计环境，Weka的起源是在计算机科学，因此专门为机器学习和数据挖掘而设计。Weka提供了技术，广阔的选择数据挖掘和机器学习。R里有很多机器学习的函数和包，不过Weka里提供的函数更全面更集中。在Weka里做机器学习（如：特征选择、分类……）； 阅279 转1 评0 公众公开 14-10-21 12:36 |
