分享

Spark SQL数据加载和保存内幕深度解密实战

 看风景D人 2019-02-24

1、Spark SQL加载数据
2、Spark SQL保存数据
3、Spark SQL对数据处理的思考

sqlContext.read().json(“”) 和 sqlContext.read().format(“json”).load(“Somepath”)等价;如果不指定format的话默认使用Parquet格式读取

sqlContext.write().json()和sqlContext.write().mode(SaveMode.Append).format(“json”).save(“Somepath”)等价,如果不指定format的话默认使用Parquet格式写入

sqlContext.read()获取读取的对象
sqlContext.write()获取写入的对象

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约