摘要:ysqlysqlysql到hdfs數據傳輸的方法。
1. 安裝datax3
首先需要在本地安裝datax3,可以從官網下載datax3的壓縮包,解壓后即可使用。
ysql和hdfs的連接信息fysqlysql和hdfs的連接信息。例如:ysql:
"job": {tent": [
{
"reader": {ameysqlreader",eter": {n": [
"id",ame",
"age"
],nection": [
{ysql://localhost:3306/test",
"table": [
"user"
],ame": "root",
"password": "root"
}
]
}
},
"writer": {amewriter",eter": {ysql",e": "user.csv"
}
}
}
],g": {
"speed": {nel": 3
}
}
}
"job": {tent": [
{
"reader": {amereader",eter": {ysql/user.csv"
}
},
"writer": {ame": "hdfswriter",eter": {
"path": "/user/hadoop/datax/hdfs",e": "user"
}
}
}
],g": {
"speed": {nel": 3
}
}
}
3. 運行datax3ysql配置文件,即可啟動數據同步任務。例如:ysql
4. 查看數據傳輸結果
數據傳輸完成后,可以在hdfs上查看數據是否成功傳輸。例如:
hdfs dfs -ls /user/hadoop/datax/hdfs
ysql到hdfs的數據傳輸了。datax3還支持多種數據源和目標,讀者可以根據實際需求選擇適合自己的配置文件。