sqlset參數?
1 spark.sql.codegen 默認值為false,當它設置為true時,Spark SQL會把每條查詢的語句在運行時編譯為java的二進制代碼。這有什么作用呢?它可以提高大型查詢的性能,但是如果進行小規模的查詢的時候反而會變慢,就是說直接用查詢反而比將它編譯成為java的二進制代碼快。所以在優化這個選項的時候要視情況而定。
2 spark.sql.inMemoryColumnStorage.compressed 默認值為false 它的作用是自動對內存中的列式存儲進行壓縮
3 spark.sql.inMemoryColumnStorage.batchSize 默認值為1000 這個參數代表的是列式緩存時的每個批處理的大小。如果將這個值調大可能會導致內存不夠的異常,所以在設置這個的參數的時候得注意你的內存大小
4 spark.sql.parquet.compressed.codec 默認值為snappy 這個參數代表使用哪種壓縮編碼器。可選的選項包括uncompressed/snappy/gzip/lzo
uncompressed這個顧名思義就是不用壓縮的意思