hadoop備份恢復方案 學習大數據難嗎？
學習大數據難嗎？在學習之前，首先判斷的并非難并不難，完全是估計怎么學好的問題。學習大數據給幾點建議：1.上重點手中掌握大數據體系的架構和原理，比如說：分布式存儲和換算的思想2.大數據框架的體系，.例如
學習大數據難嗎？
在學習之前，首先判斷的并非難并不難，完全是估計怎么學好的問題。學習大數據給幾點建議：
1.上重點手中掌握大數據體系的架構和原理，比如說：分布式存儲和換算的思想
2.大數據框架的體系，.例如：hadoop，spark等等
3.多動手做實驗，也多問問看有經驗的人。
如果有信心，另外要堅持，是有這個可以把英語學好。
kettle 8導出數據Hadoop File Output上傳到集群比較慢？
Kettle有個hdfs插件就可以再用，不過要再注意你的hadoop集群版本和kettle中hadoop查找jar包要一致。
怎么用sqoop把hive的數據導入mysql？
運行環境centos5.6hadoophive
sqoop是讓hadoop技術支持的clouder公司的新的一個在關系數據庫和hdfs,hive之間數據導入的一個工具。
上海尚學堂hadoop大數據培訓組原創，陸陸續續有hadoop大數據技術干貨文章奉上，請多參與！
在建議使用過程中可能遇到的問題：
sqoop依戀zookeeper，所以要配置ZOOKEEPER_HOME到環境變量中。
sqoop-1.2.0-CDH3B4依賴hadoop-core-0.20.2-CDH3B4.jar，所以我你是需要上網下載hadoop-0.20.2-CDH3B4.tar.gz，解壓后將hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar不能復制到sqoop-1.2.0-CDH3B4/lib中。
1首先按裝sqoop,如果你可以使用的是clouder清點版的話就更加很簡單
#yuminstallsqoop
如果不是用官方版本的話
#cd
#wget
#yum-yinstallsqoop
sqoop都會直接安裝能夠完成
2使用sqoop
是需要將mysql-connector-java-5.1.16-bin.jar文件截圖到/usr/lib/sqoop/lib文件夾下
3導出功能數據庫
1)列一mysql數據庫中的所有數據庫命令
#sqooplist-databases--connectjdbc:mysql://localhost:3306/--usernameroot--password123456
2)連接上mysql并列出來數據庫中的表命令
#sqooplist-tables--connectjdbc:mysql://localhost:3306/test--usernameroot--password123456
命令中的test為mysql數據庫中的test數據庫名稱usernamepassword各為mysql數據庫的用戶密碼
3)將關系型數據的表結構剪切粘貼到hive中
sqoopcreate-hive-table--connectjdbc:mysql://localhost:3306/test--tableusername--usernameroot--password123456--hive-tabletest
其中--tableusername為mysql中的數據庫test中的表--hive-tabletest為hive中剛建的表名稱
4)從關系數據庫文件導入文件到hive中
sqoopimport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordmysql-password--tablet1--hive-import
5)將hive中的表數據導入到mysql中
./sqoopexport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordadmin--tableuv_info--export-dir/user/hive/warehouse/uv/dt2011-08-03
如果報錯
11/08/0510:51:22INFORunningjob:job_201108051007_0010
11/08/0510:51:23INFOmap0%reduce0%
11/08/0510:51:36INFOTaskId:attempt_201108051007_0010_m_000000_0,Status:FAILED
tojava.util.AbstractList$()
arriveuv_info.__loadFromFields(uv_)
asuv_(uv_)
on()
at()
arrive()
on()
to()
to()
as$()
arrive(Native Method)
at()
as()
at()
此出現錯誤的原因為sqoop解析文件的字段與MySql數據庫的表的字段填寫不上照成的。但需要在負責執行的時候給sqoop提升參數，告知sqoop文件的分隔符，使它還能夠正確的解析文件字段。
hive系統默認的字段分隔符為