批量執行spark-shell命令，并指定提交參數

#!/bin/bashsource /etc/profileexec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOFimport org.apache.spark.sql.SaveModesql("set hive.exec.dynamic.partition=true")sql("set hive.exec.dynamic.partition.mode=nonstrict")sql("use hr")sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count!EOF

以上這篇Spark-shell批量命令執行腳本的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持武林站長站。