分享

云计算中的弹性计算

 昵称48979411 2021-07-05

这是我学习研究的问题,我试着用中文从有趣的角度论述一遍。

在这个时代,每天都有大量的信息产生。无论是Facebook,微信和WhatsApp等社交媒体的用户分享的文字图片,还是YouTube和抖音等视频分享平台上传的大量的视频文件,数据量可以说是纸质媒体时代根本无法想象的。如何从这些海量的数据中提炼出有用的关键信息,从而为企业决策,用户行为分析提供依据成为一个迫切需要解决的问题。机器学习的出现可以说恰逢其时,在最初的时候机器学习叫做计算机视觉,它所作的工作大多是把数据进行可视化,比如PCA降维的手段,使得多维的数据能够在二维或者三维的空间呈现出来。当然,它也可以做一些分类的工作,在数据层面它是依据是决策函数,这个说起来有点抽象,事实上,这个的确很抽象。你可以想象一个巨大的空间里面很多的点点,重的会往下沉,轻的会往上飘,你在中间用手一划,点依据它们的重量这个特征在空间里面分为两类,这就是一个简单的分类。这个分类的映射过程就是我们的决策函数。它表现出来的就是人类所具有的判断功能,能够根据水果的颜色,重量,形状等特征将水果正确归类,这也许就是为什么机器学习也属于人工智能的范畴了吧。

在机器学习中最重要的问题就是计算的问题,大规模的计算需要硬件和软件的支撑,改进自然也是从两个方面入手。但是这里我主要从算法的层面进行探讨,所用的方法是分布式机器学习,本质上可以说是一种大规模并行计算。下面要谈到两个问题,存储和通信。现行的磁盘阵列技术采用了擦除码,这是一种冗余分布存储。其中编码和解码利用了矩阵满秩的特点,如果在有限域计算还可以避免溢出,这个在图像处理中用的很多。通信过程可以分为阻塞和非阻塞两种。

写着写着,就无趣了,哎。。。算了,还是回去改文章吧。。。

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多