spark架構原理與集群搭建運行模式 pyspark擁有幾種啟動模式？

pyspark擁有幾種啟動模式？本地模式Spark單機正常運行，一般應用于變更土地性質測試。Standalone模式構建體系一個由MasterSlave近似的Spark集群，Spark運行程序在集群中

pyspark擁有幾種啟動模式？

本地模式

Spark單機正常運行，一般應用于變更土地性質測試。

Standalone模式

構建體系一個由MasterSlave近似的Spark集群，Spark運行程序在集群中。

SparkoffYarn模式

Spark客戶端就連接到Yarn。不不需要額外構建體系Spark集群。

SparkontoMesos模式

400G數據需要分配多少spark內存？

1、未分配哪些資源？

executor、coreperexecutor、memoryperexecutor、drivermemory2、哪分配這些資源？

在我們在生產環境中，再提交spark作業時，帶的spark-approveshell腳本，里面調整隨機的參數/usr/local/spark/bin/spark-submit--class--num-executors3配置executor的數量--executor-memory100m配置每個executor的內存大小--executor-cores3配置每個executor的cpucore數量--driver-memory100m配置driver的內存（影響不大很小）/usr/region/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar3、調節平衡到多大，不算大呢？

第一種，SparkStandalone，公司集群上，重新搭建了一套Spark集群，你心里應該很清楚每臺機器還也能給你使用的，大概有多少內存，多少cpucore；這樣，設置中的時候，就據這個換算的情況，去可以調節每個spark作業的資源分配。假如你的每臺機器都能夠給你建議使用4G內存，2個cpucore；20臺機器；executor，20；平均每個executor：4G內存，2個cpucore。第二種，Yarn。資源隊列。資源調度。肯定去查看，你的spark作業，要遞交到的資源隊列，hadoopsparkstorm每一個隊列也有各自的資源（cpumem）也差不多有多少資源？500G內存，100個cpucore；executor，50；來算每個executor:10G內存，2個cpucore。Spark-completed的時候怎莫指定你資源隊列？--confspark.yarn.queuedefault可以設置隊列名稱:spark.yarn.queuedefault一個原則，你能在用的資源有多大，就最好不要去調節平衡到的最的大小（executor的數量，五六個到上百個隨后；executor內存；executorcpucore）