Hadoop是一個流行的開源分布式數據處理框架。當處理大量數據時，經常需要從JSON（JavaScript Object Notation）格式的文件中提取信息。幸運的是，Hadoop提供了可以解析JSON的工具。在這篇文章中，我們將了解如何使用Hadoop解析JSON文件。

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.json.JSONObject;
import org.json.JSONException;
public class JSONParser {
public static class JSONMapper extends Mapper{
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
String jsonString = value.toString();
try {
JSONObject json = new JSONObject(jsonString);
context.write(NullWritable.get(), new Text(json.getString("name")));
} catch (JSONException e) {
e.printStackTrace();
}
}
}
public static class JSONReducer extends Reducer{
public void reduce(NullWritable key, Iterablevalues, Context context) throws IOException, InterruptedException {
for (Text value : values) {
context.write(key, value);
}
}
}
public static void main(String[] args) throws Exception {
Job job = Job.getInstance(new Configuration());
job.setJarByClass(JSONParser.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
job.setMapOutputKeyClass(NullWritable.class);
job.setMapOutputValueClass(Text.class);
job.setOutputKeyClass(NullWritable.class);
job.setOutputValueClass(Text.class);
job.setMapperClass(JSONMapper.class);
job.setReducerClass(JSONReducer.class);
FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.waitForCompletion(true);
}
}

代碼中包含了一個Mapper類和一個Reducer類。在Mapper類中，我們將value作為JSON格式的字符串，然后使用JSONObject類解析該字符串。在此示例中，我們只需要從JSON中提取一個名為“name”的字符串。在Reducer類中，我們只是要輸出所有值。

為了使用JSON庫，您需要導入org.json包。該庫包含了JSONObject和JSONException等類，這些類使解析JSON變得更加容易。

在main函數中，我們將TextInputFormat和TextOutputFormat設置為輸入和輸出格式，并將Map和Reduce類設置為JSONMapper和JSONReducer。最后，我們將輸入和輸出路徑設為args[0]和args[1]。執行Hadoop作業時，將參數傳遞給它。

以上是解析JSON文件的簡單示例。通過將該示例用于實際的任務中，您可以輕松地從JSON文件中提取信息和執行其他操作。有關Hadoop和JSON的更多信息，請閱讀有關該主題的文檔。