最近,中国版Azure即将发布两款数据服务利器:Azure 数据工厂(Azure Data Factory, ADF),和Azure 数据库托管实例(Azure SQL Database Managed Instance, SQL DB MI)。这是很多使用全球版Azure的客户和开发者翘首期盼的两款利器,如今正式在中国版Azure推出。 Azure 数据工厂(ADF)是基于云的数据集成服务,用于在云中创建数据驱动型工作流,以便协调和自动完成数据移动和数据转换;将复杂的混合提取-转换-加载 (ETL)、提取-加载-转换 (ELT) 和数据集成项目,部署到托管云服务平台,加快数据集成,缩短上市时间,极大提升工作效率。 中国古训:“工欲善其事,必先利其器“。 古代武士通常佩戴两把利器,一长一短,正所谓:“一寸长,一寸强;一寸短,一寸险“。从某种意义上讲,ADF正是那把长刀,威力强大,大开大阖,适合数据团队和开发者纵横攻伐;而最新发布的 Azure SQL DB MI则是Azure 数据服务(ADS)所提供的短刀中的一把,灵巧锋利,为更加适合各种工作负荷及解决某些场景挑战而精心打造。 如今,数据团队和开发者又得新的利器双配,战力得以倍增,长攻短打,所向披靡。 敲黑板 您知道吗?
现在,让我们一起探索一下ADF这把长刀及和其他ADS短刀配合的刀法精要吧。 说到ADF这把长兵器的优势,首先要提到的就是ADF所支持的一长串的连接器的名单。 数据团队和开发者首先面临的一个挑战就是各种的数据源,既有企业组织的各种现有的业务数据,例如交易数据库、LOB应用数据、海量历史数据等;也有大量的外部数据源,例如互联网上的社交数据、舆情数据、开放数据、第三方伙伴数据等。这些数据构成了众多数据孤岛,难以形成统一的数据资产集合。 而Azure 数据工厂正是一款专为各项数据需求和技能级别构建的服务,目前Azure 数据工厂目前已支持的连接器达80多个,长长的名单列表,让您能够直观集成数据源,而且这些连接器免维护、无额外费用。 而且,这个名单还在不断增长中… 敲黑板 点名了,下面有没有您熟悉,或需要打通的数据源? 数据集成项目往往具有业务场景多、数据集多、处理步骤多等特点。 例如,游戏行业公司需要汇集整理在线游戏所生成的日志,这些日志包括了玩家的基本信息、游戏进度、历史成绩、装备升级等信息,进一步了解玩家偏好、行为模式、人口统计信息等。同时,也可以进一步提高向上销售和交叉销售机会,推荐新游戏或新社群,增加社交互动等,并为玩家提供更好的游戏体验。 再比如,零售行业企业需要有众多业务数据系统,例如ERP、CRM、物流等,很多数据存储在关系型数据库系统中;此外,企业还通过电商、社交媒体等互联网平台,收集整理潜在客户、商机、舆情、价格变化、商圈、竞争、地理、气候等信息,通过精准营销、个性化营销、交叉销售等手段,推动企业业务发展,更好满足客户消费体验,增强和供应链伙伴的协同运作,降低企业运作成本等。 在Azure数据工厂中,“管道”是共同执行一项任务的活动的逻辑分组。数据工厂可以包含一个或多个数据管道。例如,管道可能包含一组引入和清理日志数据的活动,然后在 HDInsight 群集上启动 Spark 作业以分析日志数据。这样做的好处是,通过管道可以将活动作为一个集来管理,而非单独管理每个活动。 管道中的活动可以定义对数据执行的操作。 例如,可使用复制活动将数据从本地 SQL Server 复制到 Azure Blob 存储。 然后,使用在 Azure HDInsight 群集上运行 Hive 脚本的 Hive 活动,将 Blob 存储中的数据处理/转换为生成输出数据。 最后,再使用一个复制活动将输出数据复制到 Azure SQL 数据仓库,基于该仓库构建紧商业智能 (BI) 报告解决方案。 敲黑板 如何利用Azure数据工厂的“长管道“,打造一个“端到端“的解决方案? 至于ADF长攻短打,有很多威力强大的组合,例如“ADF + Azure SQL DB MI “组合,支持“ADF + SQL Server 集成服务 (SSIS)”、“ADF + 数据迁移助手(DMA)、数据迁移服务(DMS)”强力集成组合,轻轻松松上云,从从容容创新! 敲黑板 来,让我们开启上云(Lift and Shift)流程!
敲黑板 从1数到7,集齐七颗龙珠,可以召唤神龙了! |
|