為什么Spark要用Scala實(shí)現(xiàn)?
1、Spark和scala真的是非常完美的配搭,RDD的很多思想與scala類似,如完全相同概念List的map、filter等高階算子,很短的
代碼就可以實(shí)現(xiàn)java很多行的功能;類似于fp中的不可變及惰性計(jì)算,使得分布式的內(nèi)存對象rdd可以實(shí)現(xiàn),同時(shí)可以實(shí)現(xiàn)pipeline;
2、scala善于借力,如設(shè)計(jì)初衷就包含對于jvm的支持,所以可以很完美的借java的生態(tài)力量;spark一樣,很多東西不要自己寫,直接使用、借鑒,如直接部署在yarn、mesos、ec2,使用hdfs、s3,借用hive中的sql解析部分;
3、還有akka方便開發(fā)高效的網(wǎng)絡(luò)通訊。