CDH(Cloudera's Distribution for Hadoop)是一種用于處理大數(shù)據(jù)分析的數(shù)據(jù)平臺(tái)。通過安裝連接Mysql數(shù)據(jù)源,可以實(shí)現(xiàn)更加高效、快速、準(zhǔn)確的分析。下面是連接Mysql數(shù)據(jù)源的安裝步驟。
1. 安裝MySQL JDBC驅(qū)動(dòng)程序 在Hadoop節(jié)點(diǎn)上,將mysql-connector-java-*.jar文件下載到/opt/cloudera/parcels/CDH/jars目錄下,其中*是MySQL JDBC Driver的版本號(hào)。在終端輸入以下命令: >cd /opt/cloudera/parcels/CDH/jars >sudo wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz >sudo tar -xvf mysql-connector-java-5.1.46.tar.gz 2. 創(chuàng)建SQOOP目錄和臨時(shí)目錄 >sudo /sbin/service hadoop-hdfs-namenode init >sudo -u hdfs hadoop fs -mkdir /sqoop >sudo -u hdfs hadoop fs -chmod -R 777 /sqoop >sudo -u hdfs hadoop fs -mkdir /tmp/sqoop >sudo -u hdfs hadoop fs -chown -R root:supergroup /tmp/sqoop >sudo chmod -R 777 /tmp/sqoop 3. 在Cloudera Manager上創(chuàng)建MR2服務(wù) 1) 打開Cloudera Manager網(wǎng)頁 2) 選擇“添加服務(wù)” 3) 在“選擇服務(wù)”中,選中“MR2” 4) 安裝并啟動(dòng)MR2服務(wù) 4. 檢查Hive服務(wù)器 在Hive服務(wù)器中,檢查是否啟用映射功能,如果沒有啟用,執(zhí)行以下命令: >sudo vi /etc/hive/conf/hive-site.xmlhive.server2.authentication LDAP hive.server2.authentication.ldap.url ldap:// : /
通過這些步驟,就可以安裝連接Mysql數(shù)據(jù)源,實(shí)現(xiàn)更好的數(shù)據(jù)分析。