對于使用datax進行數據同步的開發者來說,使用json文件描述任務是一個非常方便的方式。下面我們來介紹如何使用datax運行json文件。
{ "job": { "setting": { "speed": { "byte": 1048576 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [{ "reader": { "name": "mysqlreader", "parameter": { "username": "root", "password": "123456", "column": ["id", "name", "age"], "connection": [{ "table": ["user"], "jdbcUrl": ["jdbc:mysql://localhost:3306/test"], "querySql": ["select id,name,age from user"] }] } }, "writer": { "name": "mysqlwriter", "parameter": { "username": "root", "password": "123456", "column": ["id", "name", "age"], "writeMode": "insert", "connection": [{ "jdbcUrl": "jdbc:mysql://localhost:3306/test", "table": ["user"] }] } } }] } }
上述json文件描述了一個從mysql數據庫中讀取表user的id、name和age字段,然后將其寫入mysql數據庫的user表中的任務。我們可以使用以下命令將其運行:
python datax.py /path/to/json/file
其中,/path/to/json/file指的是json文件的路徑。當然,也可以將json文件放在datax的job目錄下,然后使用以下命令運行:
python datax.py job/job.json
最后,我們來看一下在json文件中可以進行哪些配置。
- speed:設置任務的速率,單位是字節,默認為1M。
- errorLimit:設置任務的錯誤上限,可以配置為記錄數或者錯誤率。
- reader:設置數據源,datax支持多種數據源,比如mysql、oracle、sqlserver等。
- writer:設置數據目標,也可以配置為多種數據源。
在json文件中可以進行的配置還有很多,這里僅做簡單介紹。使用json文件描述datax任務可以方便地進行版本控制以及任務的管理與維護,非常實用。
上一篇vue2 video
下一篇vue2 verify