随笔 - 6  文章 - 129  trackbacks - 0
<2018年11月>
28293031123
45678910
11121314151617
18192021222324
2526272829301
2345678

常用链接

留言簿(14)

随笔档案(6)

文章分类(467)

文章档案(423)

相册

收藏夹(18)

JAVA

搜索

  •  

积分与排名

  • 积分 - 662553
  • 排名 - 61

最新评论

阅读排行榜

评论排行榜


public class FirstSparkSql {
public static void main(String[] args) {


String masterMode = "local";//spark://master:7077

SparkConf conf = new SparkConf();
//conf.set("spark.executor.memory", "1024m");
conf.setAppName("First Spark SQL");
conf.setMaster(masterMode);
//解决异常:IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI
conf.set("spark.sql.warehouse.dir","D:\\temp_files");

JavaSparkContext sc = new JavaSparkContext(conf);

SparkSession spark = SparkSession.builder().config(conf).getOrCreate();
Dataset<Row> df = spark.read().json("hdfs://master:9000/user/spark/input/persons.txt");
df.show();
sc.stop();
}
}


posted on 2018-03-21 11:31 Ke 阅读(58) 评论(0)  编辑  收藏 所属分类: spark

只有注册用户登录后才能发表评论。


网站导航: