数据可视化是少数几个 VR“布道者”非常喜欢说道的利用虚拟现实可能产生变革的领域之一。但是究竟应该如何做呢?现今的数据可视化领域又有什么问题呢?本文对传统的数据可视化的几个具体问题进行挖掘,讨论理解抽象信息方面的难题,并探讨VR如何改变这一切。
日期:12月15日
作者:
点击:22
文 | 韩伟 腾讯互娱研发部高级工程师
上期我们邀请腾讯互娱研发部高级工程师韩伟给大家分享了关于分布式系统的一些基础知识,了解了分布式系统产生的背景以及它是如何提高系统承载量的。回顾往期请看《分布式系统,你真的了解吗?》 今天我们将继续跟随韩伟的分享,来进一步学习解决分布式系统可管理性有哪些基本手段。 韩伟现就职于腾讯互娱研发...
日期:12月08日
作者:
点击:25
基本概念
Spark是一个分布式的内存计算框架,其特点是能处理大规模数据,计算速度快。Spark延续了Hadoop的MapReduce计算模型,相比之下Spark的计算过程保持在内存中,减少了硬盘读写,能够将多个操作进行合并后计算,因此提升了计算速度。同时Spark也提供了更丰富的计算API。 MapReduce是Hadoop和Spark的计算模型,其特点是Map和Reduce过程高度可并行...
日期:12月08日
作者:
点击:20
Hbase是什么
Hbase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它...
日期:12月07日
作者:
点击:26
经常有小伙伴在各种渠道问我,数据分析师怎么入门?应该读什么书?如何能成为被大公司认可的数据分析师?
日期:12月06日
作者:
点击:18
引言
在上一篇文章里(如何用TensorFlow和TF-Slim实现图像分类与分割),我们介绍了如何截取图片的中央区域,然后用标准的分类模型对图片的类别进行预测。随后,我们又介绍了如何将网络模型改为全卷积模式,对整张图片进行预测。我们通过这种方法可以得到原始图片的一张降采样预测图 —— 降采样是由于网络结构含有最大池化层。这种预测图可以被视为一...
日期:12月05日
作者:
点击:18
前言
这几天学校开始选毕业设计,选到了数据脱敏系统设计的题目,在阅读了该方面的相关论文之后,感觉对大数据安全有了不少新的理解。 介绍 随着大数据时代的到来,大数据中蕴藏的巨大价值得以挖掘,同时也带来了隐私信息保护方面的难题,即如何在实现大数据高效共享的同时,保护敏感信息不被泄露。 数据安全是信息安全的重要一环...
日期:12月01日
作者:BeyondHannn
点击:35
在KDnuggets上,《检测伪数据科学家的20个问题》是1月份阅读量最高的文章,由于作者只是提问而没有给出答案,这篇文章也让厨子和火车司机们混入数据科学家队伍的难度大增。
日期:11月24日
作者:白雪 龙星镖局
点击:38
本文章我们使用hadoop2.6.0版本配置Hadoop集群,同时配置NameNode+HA、ResourceManager+HA,并使用zookeeper来管理Hadoop集群。
日期:11月16日
作者:
点击:32
有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。
日期:11月10日
作者:
点击:56
大家好,我又来了,答应云栖论坛一周一篇文章, 由于工作太忙已中断1个多月实在抱歉,这一次写点轻松有趣的东西-快速的做个资源搜索站
日期:11月09日
作者:张柔
点击:57
何为数据产品?从广义上讲,一切以数据作为驱动或者核心的都叫数据产品(例如数据报表平台、DMP、搜索与精准化产品、风控产品等等),从狭义上讲,就是公司的内部数据平台。今天和大家讨论的,主要是关于公司的内部数据平台的搭建。
日期:11月08日
作者:英宝
点击:61
柯南·道尔一百多年前创造的大侦探福尔摩斯形象经久不衰。日前,英国《卫报》的两位作者亚当·弗罗斯特和吉姆·金文深入原作文本,用数据可视化的方法呈现了这个经典系列的60个故事中诸多不为人知的细节。
日期:11月07日
作者:
点击:74
看了《在线》一书,能感受到王坚博士在早期的困惑与纠结。让心理学出身的他去理解为工科男所津津乐道的大数据、云计算与万物互联,这是一个异常痛苦的过程。但也正是因为跨界的思考,让他对这些科技概念有了全新的理解,从而能够站到新的角度,将社会、人性、资源与大数据、云计算相融合,进而构思出了一个全新的“在线”世界,一个以互联网为基础设施、以数...
日期:11月03日
作者:王吉伟
点击:71
|
|