如何进行spark SQL编程动手实战

如何进行spark SQL编程动手实战,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

首先创建SparkContext上下文:

接着引入隐身转换,用于把RDD转成SchemaRDD:

接下来要加载数据,这里的测试数据是user.txt文件:

我们创建好use.txt增加内容并上传到hdfs中:

hdfs命令查询:

验证数据是否加载成功:

此刻user还是一个MappedRDD:

此刻的teenagers已经隐身转换成SchemaRDD

结果:

同样使用\”user.txt\”的数据:

我们这次直接使用SQL查询操作:

可以发现使用DSL的使用teenagers在内部已经被隐身转换了SchemaRDD的实例

可以发现与前面那张注册Table方式的结果是一样的

看完上述内容,你们掌握如何进行spark SQL编程动手实战的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注箭头云行业资讯频道,感谢各位的阅读!

更多关于云服务器域名注册虚拟主机的问题,请访问西部数码官网:www.west.cn

赞(0)
声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-62778877-8306;邮箱:fanjiao@west.cn。本站原创内容未经允许不得转载,或转载时需注明出处:西部数码知识库 » 如何进行spark SQL编程动手实战

登录

找回密码

注册