Java RDD

Java RDD（Resilient Distributed Datasets）是Spark的核心數據處理概念。

RDD具有以下特性：

• 分布式：數據可分布在集群的不同節點上，可以并行計算；
• 不可變性：RDD不可修改，只能產生新的RDD；
• 彈性：能夠自動恢復部分節點或任務失敗的節點。

JavaRDD<String> lines = sc.textFile("file.txt");
JavaRDD<String> filteredLines = lines.filter(line -> line.contains("Java"));
filteredLines.count();

在這個例子中，我們使用JavaRDD從文本文件中讀取數據，并對其中的數據進行篩選和計數。

JavaRDD還有其他常用的操作，例如：

• map()：每個元素都應用一個函數，返回結果作為新的RDD；
• flatMap()：每個元素都應用一個返回迭代器的函數，扁平化結果作為新的RDD；
• reduce()：對RDD中的元素進行聚合；
• groupByKey()：根據鍵進行分組；
• join()：將兩個RDD進行關聯操作。

JavaRDD<Integer> nums = sc.parallelize(Arrays.asList(1, 2, 3, 4, 5));
JavaRDD<Integer> squared = nums.map(num -> num * num);
int sum = squared.reduce((a, b) -> a + b);

在這個例子中，我們使用JavaRDD對一些數字進行平方并對它們進行求和。

Java RDD是Spark中非常重要的核心概念，它提供了廣泛的操作，可用于數據處理和分析。