随笔 - 6  文章 - 129  trackbacks - 0
<2024年3月>
252627282912
3456789
10111213141516
17181920212223
24252627282930
31123456

常用链接

留言簿(14)

随笔档案(6)

文章分类(467)

文章档案(423)

相册

收藏夹(18)

JAVA

搜索

  •  

积分与排名

  • 积分 - 814158
  • 排名 - 49

最新评论

阅读排行榜

评论排行榜

平台环境:


  • 本地win7系统
  • 本地spark和集群spark都是2.0.0
  • IDEA

运行模式:

  • local
  • Spark Standalone
  • YARN

local模式

local模式只需要将程序中的setMaster(“local”)就可以了,一般不会出现什么问题。

Spark Standalone模式

在没有加sc.addJar(“F:\大数据\jar包\wordcount.jar”);这条语句之前报如下错误:

  • 2
  • 3
  • 4
  • 5
  • 6
java.lang.RuntimeException: Stream '/jars/wordcount.jar' was not found.
  • 1

显然是因为jar包未能传给工作节点,将生成的jar包放在上面路径中,运行成功。

YARN模式

修改的代码如下:

SparkConf conf = new SparkConf().setAppName("JavaWordCount").setMaster("yarn-client"); conf.set("spark.yarn.dist.files", "src\\yarn-site.xml");
  • 1
  • 2

将core-site.xml、hdfs-site.xml、yarn-site.xml三个文件放在项目src文件夹下,这三个文件从hadoop集群配置文件夹中复制下来,直接run java application就可以了。 
有些教程还会有如下代码:

sparkConf.set("spark.yarn.jar", "hdfs://192.168.0.1:9000/user/bigdatagfts/spark-assembly-1.5.2-hadoop2.6.0.jar");
  • 1

设置spark jar包地址,我并没有设置,但是日志显示,也会有jar包的上传过程。具体原理还不是很清楚,为什么需要上传这样的jar包。上面设置的yarn-client,如果你的电脑是在集群里面的,应该是设置为yarn-cluster的。



posted on 2018-03-13 17:09 Ke 阅读(1390) 评论(0)  编辑  收藏

只有注册用户登录后才能发表评论。


网站导航: