mysql 批量導入數據,sqoop工作原理?
Sqoop的工作原理是一個在結構化數據和Hadoop之間進行批量數據遷移的工具,結構化數據可以是MySQL、Oracle等RDBMS。Sqoop底層用MapReduce程序實現抽取、轉換、加載,MapReduce天生的特性保證了并行化和高容錯率,而且相比Kettle等傳統ETL工具,任務跑在Hadoop集群上,減少了ETL服務器資源的使用情況。在特定場景下,抽取過程會有很大的性能提升。
如果要用Sqoop,必須正確安裝并配置Hadoop,因依賴于本地的Hadoop環境啟動MR程序;MySQL、Oracle等數據庫的JDBC驅動也要放到Sqoop的lib目錄下。