|
工业界包括政府管理机构如何引入研究智力，数据分析如何转化和价值变现？数据科学研究人员和企业大数据系统开发工程人员都得想想这些关键问题。 目前数据工程要解决的关键问题主线是数据(Data)>知识(Knowledge)>服务(Service)，数据采集和管理，挖掘分析获取知识，知识规律进行决策支持和应用转化为持续服务。解决好这三个问题，才算大数据应用落地，那么从学习角度讲，DWS就是大数据学习要解决问题的总目标，特别要注重数据科学的实践应用能力，而且实践要重于理论。从模型，特征，误差，实验，测试到应用，每一步都要考虑是否能解决现实问题，模型是否具备可解释性，要勇于尝试和迭代，模型和软件包本身不是万能的，大数据应用要注重鲁棒性和实效性，温室模型是没有用的，训练集和测试集就OK了吗？ 大数据如何走出实验室和工程化落地，一是不能闭门造车，模型收敛了就想当然万事大吉了；二是要走出实验室充分与业界实际决策问题对接；三是关联关系和因果关系都不能少，不能描述因果关系的模型无助于解决现实问题；四是注重模型的迭代和产品化，持续升级和优化，解决新数据增量学习和模型动态调整的问题。 所以，大数据学习一定要清楚我是在做数据科学还是数据工程，各需要哪些方面的技术能力，现在处于哪一个阶段等，不然为了技术而技术，是难以学好和用好大数据的。 大数据已经火了很久了，一直想了解它学习它结果没时间，过年后终于有时间了，了解了一些资料，结合我自己的情况，初步整理了一个学习路线，有问题的希望大神指点。 学习路线 Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) 机器学习(R,mahout) Storm(Storm,kafka,redis) Spark(scala,spark,spark core,spark sql,spark streaming,spark mllib,spark graphx) Python(python,spark python) 云计算平台(docker,kvm,openstack) 我是一位爱学习的老人！本站主要是些学习体验与分享(其中会引用一些作品的原话并结合我的一生体会与经验加工整理而成！在此一并感谢！如有不妥之处敬请与我联系,我会妥善处理，谢谢！)我写的主要是中老年人各方面应注意的事儿！退休后我希望通过这个平台广交朋友，互助交流，共筑美好生活！！！！ |
|
|
来自： 赵站长的博客 > 《人工智能大数据云计算物联网》
