随笔 - 6  文章 - 129  trackbacks - 0
<2024年3月>
252627282912
3456789
10111213141516
17181920212223
24252627282930
31123456

常用链接

留言簿(14)

随笔档案(6)

文章分类(467)

文章档案(423)

相册

收藏夹(18)

JAVA

搜索

  •  

积分与排名

  • 积分 - 814167
  • 排名 - 49

最新评论

阅读排行榜

评论排行榜


public class FirstSparkSql {
public static void main(String[] args) {


String masterMode = "local";//spark://master:7077

SparkConf conf = new SparkConf();
//conf.set("spark.executor.memory", "1024m");
conf.setAppName("First Spark SQL");
conf.setMaster(masterMode);
//解决异常:IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI
conf.set("spark.sql.warehouse.dir","D:\\temp_files");

JavaSparkContext sc = new JavaSparkContext(conf);

SparkSession spark = SparkSession.builder().config(conf).getOrCreate();
Dataset<Row> df = spark.read().json("hdfs://master:9000/user/spark/input/persons.txt");
df.show();
sc.stop();
}
}


posted on 2018-03-21 11:31 Ke 阅读(1098) 评论(0)  编辑  收藏 所属分类: spark

只有注册用户登录后才能发表评论。


网站导航: