欧美一区二区三区,国内熟女精品熟女A片视频小说,日本av网,小鲜肉男男GAY做受XXX网站

如何使用datax3實現mysql到hdfs的數據傳輸(詳細步驟分享)

錢諍諍2年前14瀏覽0評論

摘要:ysqlysqlysql到hdfs數據傳輸的方法。

1. 安裝datax3

首先需要在本地安裝datax3,可以從官網下載datax3的壓縮包,解壓后即可使用。

ysql和hdfs的連接信息fysqlysql和hdfs的連接信息。例如:ysql:

"job": {tent": [

{

"reader": {ameysqlreader",eter": {n": [

"id",ame",

"age"

],nection": [

{ysql://localhost:3306/test",

"table": [

"user"

],ame": "root",

"password": "root"

}

]

}

},

"writer": {amewriter",eter": {ysql",e": "user.csv"

}

}

}

],g": {

"speed": {nel": 3

}

}

}

"job": {tent": [

{

"reader": {amereader",eter": {ysql/user.csv"

}

},

"writer": {ame": "hdfswriter",eter": {

"path": "/user/hadoop/datax/hdfs",e": "user"

}

}

}

],g": {

"speed": {nel": 3

}

}

}

3. 運行datax3ysql配置文件,即可啟動數據同步任務。例如:ysql

4. 查看數據傳輸結果

數據傳輸完成后,可以在hdfs上查看數據是否成功傳輸。例如:

hdfs dfs -ls /user/hadoop/datax/hdfs

ysql到hdfs的數據傳輸了。datax3還支持多種數據源和目標,讀者可以根據實際需求選擇適合自己的配置文件。