BlogJava-bob-文章分类-spark

spark中split()特殊符号"." "|" "*" "\" "]"

Ke — Wed, 18 Apr 2018 03:15:00 GMT

关于点的问题是用string.split("[.]") 解决。

关于竖线的问题用 string.split("\\|")解决。

关于星号的问题用 string.split("\\*")解决。

关于斜线的问题用 sring.split("\\\\")解决。

关于中括号的问题用 sring.split("\\[\\]")解决。

Ke 2018-04-18 11:15 发表评论

windows下使用IDEA开发 spark SQL例子报IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI

Ke — Wed, 21 Mar 2018 03:31:00 GMT


public class FirstSparkSql {
    public static void main(String[] args) {


        String masterMode = "local";//spark://master:7077

 SparkConf conf = new SparkConf();
 //conf.set("spark.executor.memory", "1024m");
 conf.setAppName("First Spark SQL");
 conf.setMaster(masterMode);
//解决异常：IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI
 conf.set("spark.sql.warehouse.dir","D:\\temp_files");

 JavaSparkContext sc = new JavaSparkContext(conf);
 
 SparkSession spark = SparkSession.builder().config(conf).getOrCreate();
 Dataset df = spark.read().json("hdfs://master:9000/user/spark/input/persons.txt");
 df.show();
 sc.stop();
 }
}

Ke 2018-03-21 11:31 发表评论

Spark错误：TaskSchedulerImpl: Initial job has not accepted any resources

Ke — Mon, 12 Mar 2018 10:09:00 GMT

在windows环境下使用Intellij idea远程执行spark程序时，遇到了以下问题：

Intellij控制台输出警告：WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

此时程序会一直loading，running，loading，running…的循环，并持续出现上面的警告。
出现这个错误可能有几种原因：

host配置不正确
worker内存不足
相关端口号被占用

针对第二种原因，通过修改配置文件中worker和master使用内存资源的参数即可解决。
针对第三种原因，可以查看占用端口的程序并将其关闭，或者重启spark集群。

解决方法：

1. 修改本机hosts文件，在修改第一行，添加自己的hostName，如：

127.0.0.1 bob-PC

2.在spark集群的所有节点的hosts中添加本地提交任务的windows节点的ip和hostname，如：

192.168.189.19 bob-PC

Ke 2018-03-12 18:09 发表评论