他的首页
他的馆藏
他的动态
馆友反馈
关于他
| 共 12 篇文章 |
|
对于使用 Bucket 表的场景，如果直接更新计算引擎，会造成 Spark SQL 写入 Hive Bucket 表的数据无法被下游的 Hive 作业当成 Bucket 表进行 Bucket Join，从而造成作业执行时间变长，可能影响 SLA。为了解决这个问题，我们让 Spark SQL 支持 Hive 兼容模式，从而保证 Spark SQL 写入的 Bucket 表与 Hive 写入的 Bucket 表效果一致，并且这种表... 阅543 转2 评0 公众公开 19-12-04 08:15 |
基于 Flink 的实时特征平台在携程的应用。本文来自7月26日在上海举行的 Flink Meetup 会议，分享来自于刘康，目前在大数据平台部从事模型生命周期相关平台开发，现在主要负责基于flink开发实时模型特征计算平台。1.5.1 平台功能展示-数据源注册1.5.2 实时特征编辑-基本信息1.5.3 实时特征编辑-数据源选择1.5.4 实时特征编辑-SQL计算1.5.5 实时... 阅36 转0 评0 公众公开 19-12-02 23:08 |
Java使用极小的内存完成对超大数据的去重计数，用于实时计算中统计UV.同样指定使用10M的内存运行，测试数据集2命令为：java -cp /tmp/stream-2.9.1-SNAPSHOT.jar:/tmp/teststreamlib.jar -Xms10M -Xmx10M -XX:PermSize=10M -XX:MaxPermSize=10M \com.lxw1234.streamlib.TestCardinality /home/liuxiaowen/site_raw_log/big_cookies.txt. 阅363 转0 评0 公众公开 19-11-28 00:08 |
Redis分布式锁 命令。expire 设置 key 的有效期 del 删除 key与时间戳的结合 分布式锁的值是按 系统当前时间 System.currentTimeMillis()+Key 有效期组成。简化版 redis 分布式锁。进化版 redis锁。优化版 redis 分布式锁的解释。如果当前时间并不大于 lockA 表示结束分布式锁这个流程。Redis 分布式锁优化版流程 与时间戳的结合 分布式锁的值... 阅134 转0 评0 公众公开 19-11-27 15:45 |
LSM-tree显然比较适合那些数据插入操作远多于数据更新删除操作与读操作的场景，同时 Druid在一开始就是为时序数据场景设计的，而该场景正好符合 LSM-tree的优势特点，因此 Druid架构便顺理成章地吸取了 LSM-tree的思想。Druid的这种架构安排实际上也在一定程度上借鉴了命令查询职责分离模式（ Command QueryResponsibility Segregation，CQRS）... 阅1 转自bladexu09... 公众公开 19-11-27 07:28 |
滴滴实时大数据平台架构解析。本文将针对滴滴大数据平台做分析，看看这种场景的大数据架构是如何搭建和实现的。Druid实时聚合数据指标。实时监控数据流。实时监控数据。1100 个实时数据指标。flink日志改造:支持业务日志和系统日志分离;支持日志上报kafka,支持日志滚动。flink 的一些bug修复:内存申请和实际内存不一致的bug;client 的可能判误... 阅1 转自侯培彬 公众公开 19-11-27 07:27 |
马蜂窝实时计算平台演进之路MES 是马蜂窝统一实时计算平台，为各条业务线提供稳定、高效的实时数据计算和查询服务。基于 Lambda 的数据平台架构, 可以按照分层集成众多的大数据组件。这个任务会被提交到 PrestoSQL 集群，计算结果最终落地到 HBase 里，重算后 MES 的历史数据就会和离线数据算出来的数据保持一致；Spark 会读取配置规则，重算所... 阅63 转0 评0 公众公开 19-11-18 14:07 |
alter table sales_order_fact rename order_date_sk to status_date_sk;insert into sales_order select null, order_number, customer_number, product_code, verification_ind, credit_check_flag, new_customer_ind, web_order_flag, @order_date, ''''''''S'''''''', re... 阅281 转0 评0 公众公开 19-11-04 17:12 |
阅312 转0 评0 公众公开 19-11-04 17:07 |
comment on table month_end_sales_order_fact is ''''''''月销售周期快照表''''''''; comment on column month_end_sales_order_fact.year_month is ''''''''年月''''''''; comment on column month_end_s... 阅206 转0 评0 公众公开 19-11-04 17:04 |
