| 共 40 篇文章 |
|
阅168 转0 评0 公众公开 16-10-11 13:41 |
在功能方面，Spark SQL中的Dataset变得成熟，Spark 2.x通过Dataset重构了Spark Streaming和MLlib的API，进而使得这两个系统在易用性和性能方面有重大提升，在不久的将来，Dataframe/Dataset API（high-level API）将取代RDD API（low-level API），成为主流的Spark编程接口。Spark Streaming基于Spark SQL（DataFrame / Dataset ）构建了high-l... 阅61 转1 评0 公众公开 16-10-09 08:40 |
嗯，Babel 是一个转译工具，Babel 能把你写的 JS 转译成任意版本的 JS。我举个例子吧，如果你要使用 React，你直接用 npm 安装 React，然后在代码里导入 React 就可以了。Typescript 也是 JavaScript 呀，它比 JS 更好用，是 JS 的超集，它是基于 ES6 的，就是我们刚才谈论的 ES6，你还记得吧。用 Typescript 写代码，用 Fetch 发起异步请求，... 阅15 转0 评0 公众公开 16-10-09 08:40 |
当以YARN模式启动spark集群时，你可以指定executors的数量（-num-executors 或者 spark.executor.instances 参数)，可以指定每个executor 固有的内存大小（-executor-memory 或者 spark.executor.memory)，可以指定每个executor使用的cpu核数（-executor-cores 或者 spark.executor.cores)，可以指定分配给每个task的core的数量（spark.task.cp... 阅96 转0 评0 公众公开 16-10-09 08:40 |
论人的自然属性和社会属性。社会性是人的本质属性。从联系和发展观点看，还必须再回到人既有自然属性又有社会属性这对矛盾体来.上述这些现象都可从通过人的现实而具体的生活中表现出来,生活中的人既表现出自己的社会性,也表现出人的生物性,也就是自然属性,不论人的社会属性纯度如何,都渗透着人的自然属性.马克思主义高明之处,就在于考察人的自... 阅5 转自循天园 公众公开 16-07-11 17:55 |
【国内首款互联网大数据API】数说聚合：让爬虫工程师下岗！2）网络存在大量无关的、无用的、干扰“脏”数据，需要大量的数据清洗工作；为此，数说故事推出国内首款互联网数据API——数说聚合，通过提供统一标准格式的数据接口，让企业快速拥有一站式的外部数据获取能力。“我们未来的方式是数据代理，而不是爬虫。”在数据链条和模式相对成熟的... 阅878 转3 评0 公众公开 16-02-29 21:58 |
当当11.11：促销系统与交易系统的重构实践。促销系统重构。促销规则支持分时段设置，多个活动能够叠加，促销系统中的数据量甚至会超过商品信息系统，而且促销内容会根据执行效果快速调整，这些都对促销系统提出了更高的要求，促销系统越强大，促销活动才能玩得越疯狂。在当当，有一些“类促销”业务，从广义上可以归入促销范畴，但业务与数据均... 阅50 转0 评0 公众公开 16-02-11 16:55 |
1号店技术部从1个人做起到今天千人级别的规模，系统支持每天亿级的访问量、单Service支持每天亿级的请求、订单支持每分钟几万单级别、Service服务可用性达到99.9999%，架构上也经历了历次演进，今天我们就从应用架构历次演进的落地点谈起。业务监控首提订单监控，对订单我们从实际订单数据和Service接口调用量两个维度去做监控，保证了监控系统... 阅30 转0 评0 公众公开 16-02-11 16:55 |
京东11.11：商品搜索系统架构设计。对于实时索引，为了保证数据的实时性，实时调用各商品信息接口获取实时数据，将数据合并后采用与全量索引类似的方法处理数据，生成增量待索引数据。有了这两步之后，在用户进行查询时，merger同时调用用户模型服务和在线检索服务，用户模型服务返回用户维度特征，在线检索服务返回商品信息，排序模块运用这两... 阅105 转0 评0 公众公开 16-02-11 16:52 |
大数据技术的回顾与展望 ——写在Hadoop十周年纪念编者按。早期的Hadoop，包括Hadoop v1以及更早之前的版本，主要由两个核心组件构成：HDFS和MapReduce，其中HDFS是Google GFS的开源版本，MapReduce计算框架实现了由Google工程师提出的MapReduce编程模型。除互联网行业外，出现了网络通讯大数据、金融大数据、交通旅游大数据、工业制造大数据、... 阅98 转0 评0 公众公开 16-02-11 16:51 |
