|
然而，调查发现，StreamSets在其报告中表示，“44%的组织无法维护治理和自动化数据的策略控制，42%的组织无法执行一致的安全措施，这是一个明显的漏洞。” 该公司表示，缺乏对数据管道的可见性会增加其他数据安全问题的风险。“研究表明，48%的企业无法看到数据何时在多个系统中使用，40%的企业无法确保数据是从最佳来源提取的。”报告说，“此外，54%的人不能将管道与数据目录集成，57%的人不能把管道集成到数据结构中。” 谁负责清理数据混乱？这是另一个有点模糊的区域。大约一半（47%）的StreamSets调查受访者表示，集中的IT团队负责管理数据。然而，18%的人表示，业务线承担主要责任，而在35%的情况下，业务线由业务和IT部门分担。 StreamSets第二项调查突显了在现代企业中运行数据管道的困难。许多公司有数千条数据管道在使用，很难按照业务要求的速度构建、管理和维护这些管道。 StreamSets在《揭开隐藏的数据集成问题的盖子》一书中表示：“对数据的需求高于大多数技术团队提供数据的能力。”该书基于上述相同的调查。“超过一半（59%）的受访者表示，数字化转型优先事项的加速给数据供应链带来了重大挑战。” 尽管在ETL/ELT、数据转换和数据管道构建方面取得了进展，但格式不一致的数据仓库的快速扩展意味着，通常需要训练有素的数据工程师的专业知识来构建一次性（定制）数据管道。这些数据工程师根本无法满足需求。 因此，68%的数据领导者表示数据摩擦“阻碍了他们以业务要求的速度交付数据”，或者65%的人表示“数据复杂性和摩擦可能会对数字化转型产生严重影响”，这并不奇怪。尽管已经制定了法律，防止消费者遭受一些最严重的数据隐私和安全滥用，但事实仍然是，许多企业内部的数据管理仍然很差。15年前引发大数据现象的因素——数据量爆炸、数据速度上升和准确性存疑——自那以后，其规模只会越来越大。 这些年来，数据管理工具已经稍微好了一些。数据网格（data mesh）和数据经纬（data fabric）等体系结构有所帮助，数据目录、ETL/ELT、数据转换和数据可观察性的增量增强在许多情况下帮助我们跟上了变化的步伐。但很明显，还有很多工作要做，离实现大数据完全治理还有一段路要走。 我是一位爱学习的老人！本站主要是些学习体验与分享(其中会引用一些作品的原话并结合我的一生体会与经验加工整理而成！在此一并感谢！如有不妥之处敬请与我联系,我会妥善处理，谢谢！)我写的主要是中老年人各方面应注意的事儿！退休后我希望通过这个平台广交朋友，互助交流，共筑美好生活！！！！！！ 更多文章请参看http://www.赵站长的博客。期待大家的光临与指教哦^0^！欢迎大家转发！ |
|
|
来自： 赵站长的博客 > 《人工智能大数据云计算物联网》
