| 共 21 篇文章 |
|
Apache Hadoop.例如另一个框架Apache Spark可以纳入Hadoop并取代MapReduce。一些系统可以用批处理方式处理数据，一些系统可以用流方式处理连续不断流入系统的数据。无论直接从持久存储设备处理数据集，或首先将数据集载入内存，批处理系统在设计过程中就充分考虑了数据的量，可提供充足的处理资源。Apache Hadoop及其MapReduce处理引擎提供了一... 阅38 转0 评0 公众公开 19-01-14 17:52 |
从某种意义上说，当我们处理数据的时候，实际上是在管理数据的位置，管理数据在CPU的位置，数据相对其他数据的位置。列式存储天然的保持了一列中数据的顺序性，方便两列数据进行关联，而heap-file index结构关联时候，一份数据可以按顺序读取，则另一份数据就会有随机读取了。流处理架构把数据存储到可扩展的消息或者日志队列，例如kafka，这样... 阅23 转0 评0 公众公开 19-01-14 17:42 |
用于实时大数据处理的Lambda架构1.Lambda架构背景介绍。Speed Layer中处理的数据也不断写入Batch Layer，当Batch Layer中重新计算的数据集包含Speed Layer处理的数据集后，当前的Realtime View就可以丢弃，这也就意味着Speed Layer处理中引入的错误，在Batch Layer重新计算时都可以得到修正。Lambda架构的Serving Layer用于响应用户的查询请求... 阅31 转0 评0 公众公开 19-01-03 16:46 |
（Otter, JingoBus, DRC）数据库与数据库之间会有数据迁移（同步）的动作，同款数据同步原理比较简单，比如MySQL主备同步，只要在数据库层进行相应的配置既可，但是跨数据库同步就比较复杂了，比如Oracle->MySQL. 数据迁移一般包括三个步骤：全量复制，将原数据库的数据全量迁移到新数据库，在这迁移的过程中也会有新的数据产生；如果数据集... 阅18 转0 评0 公众公开 19-01-03 16:39 |
可扩展架构设计的三个维度。我们以生产汽车的工厂来举例：假设一个车间能完整的生产一辆汽车，为了短时间内生产更多的汽车，我们可以建设更多的车间，任何新增车间除了工作的效率可能不同之外，都是一个新的复制品，也能提供与原来车间相同的工作，生产出完整的汽车。由于存在多个复制品存储，为了使得每个复制品提供无差异的数据服务，我们需... 阅19 转0 评0 公众公开 19-01-03 16:12 |
（Otter, JingoBus, DRC）数据库与数据库之间会有数据迁移（同步）的动作，同款数据同步原理比较简单，比如MySQL主备同步，只要在数据库层进行相应的配置既可，但是跨数据库同步就比较复杂了，比如Oracle->MySQL. 数据迁移一般包括三个步骤：全量复制，将原数据库的数据全量迁移到新数据库，在这迁移的过程中也会有新的数据产生；如果数据集... 阅23 转0 评0 公众公开 18-12-29 15:59 |
在大数据3.0时代，Lambda大数据架构已经无法满足企业用户日常大数据分析和精益运营的需要，去ETL化的IOTA大数据架构才是未来。“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-... 阅40 转0 评0 公众公开 18-12-25 18:28 |
到底什么时候该使用MQ？不少网友询问，究竟什么时候使用MQ，MQ究竟适合什么场景，故有了此文。在互联网架构中，MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后，消息发送上游只需要依赖MQ，逻辑上和物理上都不用依赖其他服务。既然MQ是互联网分层架构中的解耦利器，那所有通讯都使用MQ岂不是很好？这样的话，tast... 阅37 转0 评0 公众公开 18-12-24 16:42 |
Queue:消息的载体,每个消息都会被投到一个或多个队列。要持久化队列queue的持久化需要在声明时指定durable=True; 这里要注意,队列的名字一定要是Broker中不存在的,不然不能改变此队列的任何属性. 队列和交换机有一个创建时候指定的标志durable,durable的唯一含义就是具有这个标志的队列和交换机会在重启之后重新建立,它不表示说在队列中的消息... 阅66 转0 评0 公众公开 18-12-24 16:35 |
RabbitMQ的深入理解和最简单的用途说明。RabbitMQ能实现系统扩展的一个重要功能在于, 可以两个邮箱收同一个地址的信. 翻译成专业的话 RabbitMQ 可以 两个队列Queue订阅同一个RoutingKey的信息.. RabbitMQ在投递的时候,会把一份信息,投递到多个队列邮箱中Queue…我的理解认为 消息系统的分布式可扩展的实现在于消息广播, 集群性的实现在于邮箱队... 阅306 转0 评0 公众公开 18-12-24 16:07 |
