spark中的累加器accumulator怎么用

spark中的累加器accumulator怎么用,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

累加的结果类型与合并的元素类型相同时,更简单的可累加值,即仅通过关联操作“添加”到的变量,因此可以有效地并行支持。它们可用于实现计数器(如MapReduce)或求和。Spark本机支持数值类型的累加器,程序员可以添加对新类型的支持。

通过调用SparkContext#acculator,从初始值v创建累加器。然后,可以使用Accumulable# =操作符将集群上运行的任务添加到集群中。但是,它们无法读取其值。只有驱动程序才能使用其值方法读取累加器的值。

下面的解释器会话显示用于添加数组元素的累加器:

scala> val accum = sc.accumulator(0)accum: spark.Accumulator[Int] = 0scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum  = x)…10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 sscala> accum.valueres2: Int = 10

看完上述内容,你们掌握spark中的累加器accumulator怎么用的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注箭头云行业资讯频道,感谢各位的阅读!

更多关于云服务器域名注册虚拟主机的问题,请访问西部数码官网:www.west.cn

赞(0)
声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-62778877-8306;邮箱:fanjiao@west.cn。本站原创内容未经允许不得转载,或转载时需注明出处:西部数码知识库 » spark中的累加器accumulator怎么用

登录

找回密码

注册