|
站在传统数据仓库的角度，数据脱格和数据解耦是必备的动作，这不是在原有生产系统所进行的，而是发生在数据仓库中，而在大数据时代这个动作就变成了数据湖，对元数据进行管理。对象存储有了元数据管理，用户可以拥有更大的数据湖。在完成数据脱格的时候，能够把数据有效管理起来，为后续的数据质量治理、数据管理提升打好基础。 事实上，从大型机时代的DB2到后来的关系型数据库，再到数据仓库、商业智能，最初就是以批处理、集中式的方式去解决结构化数据的处理需求，直到商业大数据的成熟使得数据分析有了更大的价值。不过在数据湖逐渐出现之后，传统集中化的处理开始难以应付大规模数据，于是就有了以Hadoop为代表的分布式处理技术。 Google曾做过一项调查，数据科学家仅有少数时间在写代码，更多的时间放在了数据抽取、数据清洗、数据治理等“数据管道”的工作上。由此可见，一个多功能、智能化、高效易用的管道对于帮助数据科学家提升工作效率、挖掘数据价值有着关键作用。 实时性、智能化、高弹性，使得云上构建数据湖成为了很多用户的选择。ESG研究发现，39% 的调查对象认为云部署主要用于分析，41%认为用于数据仓库，43%认为用于Spark。此时，数据湖的无缝传输和稳定性变得更加重要。以AWS为例，其要做的第一步就是将数据移动到云中。要知道，带宽和传输速度的物理限制在不会造成重大中断、高成本和长时间的前提下，限制了移动数据的能力。 然而在数据的传输过程中，SSL协议会被用来解决安全问题。通常，SSL协议层在TCP/IP层和应用层之间，可以使用不对称加密技术实现会话双方信息的传递，能够保证完整性和私密性，以及识别对方的身份。例如，配置服务器的SSL不仅需要验证用户身份，还要求浏览器提供用户证书。之后，客户端会检查服务器证书，如果检查失败，则不能建立SSL连接。如果成功，则继续。 可以说，云计算时代的大数据面临的威胁与日俱增，而如何给予用户安全感是云服务商要思考的问题。一方面，要让用户掌握对数据的控制权，采取多级加密验证机制，让用户能够监测到文件创建以来的元数据，另一方面也要做好健全的安全赔付机制，这样才会让用户放心地将数据迁移上云。 我是一位爱学习的老人！本站主要是些学习体验与分享(其中会引用一些作品的原话并结合我的一生体会与经验加工整理而成！在此一并感谢！如有不妥之处敬请与我联系,我会妥善处理，谢谢！)我写的主要是中老年人各方面应注意的事儿！退休后我希望通过这个平台广交朋友，互助交流，共筑美好生活！ |
|
|
来自： 赵站长的博客 > 《人工智能大数据云计算物联网》
