随笔 - 6  文章 - 129  trackbacks - 0
<2024年3月>
252627282912
3456789
10111213141516
17181920212223
24252627282930
31123456

常用链接

留言簿(14)

随笔档案(6)

文章分类(467)

文章档案(423)

相册

收藏夹(18)

JAVA

搜索

  •  

积分与排名

  • 积分 - 814154
  • 排名 - 49

最新评论

阅读排行榜

评论排行榜

在windows环境下使用Intellij idea远程执行spark程序时,遇到了以下问题:

Intellij控制台输出警告:WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

此时程序会一直loading,running,loading,running…的循环,并持续出现上面的警告。 
出现这个错误可能有几种原因:

  1. host配置不正确
  2. worker内存不足
  3. 相关端口号被占用

针对第二种原因,通过修改配置文件中worker和master使用内存资源的参数即可解决。 
针对第三种原因,可以查看占用端口的程序并将其关闭,或者重启spark集群。

解决方法: 

1. 修改本机hosts文件,在修改第一行,添加自己的hostName,如:

127.0.0.1 bob-PC

2.在spark集群的所有节点的hosts中添加本地提交任务的windows节点的ip和hostname,如:

192.168.189.19 bob-PC




posted on 2018-03-12 18:09 Ke 阅读(2074) 评论(0)  编辑  收藏 所属分类: spark

只有注册用户登录后才能发表评论。


网站导航: