1、分配哪些資源？

executor、coreperexecutor、memoryperexecutor、drivermemory

2、在哪里分配這些資源？

在我們?cè)?strong>生產(chǎn)環(huán)境中，提交spark作業(yè)時(shí)，用的spark-submitshell腳本，里面調(diào)整對(duì)應(yīng)的參數(shù)/usr/local/spark/bin/spark-submit\--classcn.spark.sparktest.core.WordCountCluster\--num-executors3\配置executor的數(shù)量--executor-memory100m\配置每個(gè)executor的內(nèi)存大小--executor-cores3\配置每個(gè)executor的cpucore數(shù)量--driver-memory100m\配置driver的內(nèi)存（影響很大）/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar\

3、調(diào)節(jié)到多大，算是最大呢？

第一種，SparkStandalone，公司集群上，搭建了一套Spark集群，你心里應(yīng)該清楚每臺(tái)機(jī)器還能夠給你使用的，大概有多少內(nèi)存，多少cpucore；那么，設(shè)置的時(shí)候，就根據(jù)這個(gè)實(shí)際的情況，去調(diào)節(jié)每個(gè)spark作業(yè)的資源分配。比如說你的每臺(tái)機(jī)器能夠給你使用4G內(nèi)存，2個(gè)cpucore；20臺(tái)機(jī)器；executor，20；平均每個(gè)executor：4G內(nèi)存，2個(gè)cpucore。第二種，Yarn。資源隊(duì)列。資源調(diào)度。應(yīng)該去查看，你的spark作業(yè)，要提交到的資源隊(duì)列，hadoopsparkstorm每一個(gè)隊(duì)列都有各自的資源（cpumem）大概有多少資源？500G內(nèi)存，100個(gè)cpucore；executor，50；平均每個(gè)executor:10G內(nèi)存，2個(gè)cpucore。Spark-submit的時(shí)候怎么指定資源隊(duì)列？--confspark.yarn.queuedefault設(shè)置隊(duì)列名稱:spark.yarn.queuedefault一個(gè)原則，你能使用的資源有多大，就盡量去調(diào)節(jié)到最大的大小（executor的數(shù)量，幾十個(gè)到上百個(gè)不等；executor內(nèi)存；executorcpucore）