當前位置:首頁 » 知網查重 » cdh安裝目錄

cdh安裝目錄

發布時間: 2021-03-25 20:22:21

『壹』 重裝CDH遇到的幾個問題

1.kafka-topics.sh --delete --zookeeper host:port --topic topicname
提示marked
for deletion
並沒有真正刪除,如果要真正刪除
配置delete.topic.enable=true
配置文件在kafka\config目錄server.properties
2、刪除kafka存儲目錄(server.propertiewenjian log.dirs配置,默認為「/tmp/kafka-logs」)下對應的topic。(不同broker下存儲的topic不一定相同,所有broker都要看一下)
3、進入zookeeper客戶端刪掉對應topic
zkCli.sh -server 127.0.0.1:42182
找到topic目錄
ls /brokers/topics
刪掉對應topic
rmr /brokers/topic/topic-name
找到目錄
ls /config/topics
刪掉對應topic
rmr /config/topics/topic-name

『貳』 如何解決CDH5中找不到JAVA

把JAVA的環境設置正確了

環境變數 JAVA_HOME 指向JDK的安裝目錄
把JDK下的bin的完整路徑,添加到PATH環境變數
環境變數中不要配置CLASSPATH 。。。。。。。。。。。
可以添加一個 JRE_HOME 指向JRE在安裝的目錄

~
~
~

『叄』 cdh安裝好後,安裝目錄在哪裡

參數fs.defaultFS的值是什麼,要改為hdfs的格式,默認是本地文件系統的

『肆』 為什麼cdh安裝沒有單用戶選擇

目前而言,不收費的Hadoop版本主要有三個(均是國外廠商),分別是:Apache(最原始的版本,所有發行版均基於這個版本進行改進)、Cloudera版本(Cloudera』s
Distribution Including Apache Hadoop,簡稱CDH)、Hortonworks版本(Hortonworks Data
Platform,簡稱「HDP」),對於國內而言,絕大多數選擇CDH版本,CDH和Apache版本主要區別如下:

(1) CDH對Hadoop版本的劃分非常清晰,只有兩個系列的版本,分別是cdh3和cdh4,分別對應第一代Hadoop(Hadoop
1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本則混亂得多;比Apache
hadoop在兼容性,安全性,穩定性上有增強。

(2)CDH3版本是基於Apache hadoop 0.20.2改進的,並融入了最新的patch,CDH4版本是基於Apache hadoop
2.X改進的,CDH總是並應用了最新Bug修復或者Feature的Patch,並比Apache
hadoop同功能版本提早發布,更新速度比Apache官方快。

(3)安全 CDH支持Kerberos安全認證,apache hadoop則使用簡陋的用戶名匹配認證

(4)CDH文檔清晰,很多採用Apache版本的用戶都會閱讀CDH提供的文檔,包括安裝文檔、升級文檔等。

(5)CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Manager四種方式安裝,Apache
hadoop只支持Tar包安裝。

註:CDH使用推薦的Yum/Apt包安裝時,有以下幾個好處: 1、聯網安裝、升級,非常方便 2、自動下載依賴軟體包

3、Hadoop生態系統包自動匹配,不需要你尋找與當前Hadoop匹配的Hbase,Flume,Hive等軟體,Yum/Apt會根據當前安裝Hadoop版本自動尋找匹配版本的軟體包,並保證兼容性。

4、自動創建相關目錄並軟鏈到合適的地方(如conf和logs等目錄);自動創建hdfs,
mapred用戶,hdfs用戶是HDFS的最高許可權用戶,mapred用戶則負責maprece執行過程中相關目錄的許可權。

『伍』 cdh hadoop安裝後的啟動命令在哪個目錄

1.關閉selinux
修改/etc/selinux/config 文件
將SELINUX=enforcing改為SELINUX=disabled
重啟機器即可

2.修改bin文件的運行許可權,運行bin文件後,進入安裝cdh-manager的安裝界面
如果直接安裝,cdh-manager會去archive.cloudera.com下載安裝包,這樣會很慢,所以最好在內網搭一個下載源,做個host
echo '192.168.8.XX archive.cloudera.com' >> /etc/hosts
每一步安裝的日誌會保存在 /var/log/cloudera-manager-installer/目錄

『陸』 cdh安裝時,需要哪些主要安裝包和資源包

參數fs.defaultFS的值是什麼,要改為hdfs的格式,默認是本地文件系統的。

『柒』 cdh5 hadoop的jar包的目錄在哪裡

$HADOOP_HOME/share/hadoop/ 該目錄下保存了common hdfs httpfs kms maprece maprece1 maprece2 tools yarn,進入對應的目錄可以看到相應的jar包。

『捌』 cloudera的sandbox中hbase安裝在哪個目錄下了

配置文件地址:
Hadoop: /etc/hadoop/conf
hbase: /etc/hadoop/conf
hive: /etc/hive/conf

使用cloudera manager web UI 修改hadoop .xml文件屬性方法:

For Cloudera the best way to push this configuration to the nodes is to use the Cloudera manager GUI.From the Cloudera web page, click on the HDFS service under Status to open the HDFS service.
Click Configuration, and choose View and Edit
On the left panel expand Service-Wide and click advance
Click on Cluster-wide Configuration Safety Valve for core-site.xml
Enter the setting from Table aboveSettings entered into core-site safety valve

At the top right of the page, Click Save ChangeGo back to the Cloudera Manager Home screen. Using the drop down stop the HDFS service.
Using the drop down next to the Status, deploy the client configuration


g


Using the drop down, restart the Maprece service.

Check that the nodes have received the correct configuration. From the CLI on a node do a grep on the core-site.xml and search for HSK
cat /etc/hadoop/conf.cloudera.hdfs1/core-site.xml |grep HSK


Next Upload the Java ViPR client JAR file to a client using WinSCP and it to the Hadoop Classpath on all Hadoop nodes.

On the first node where you have uploaded the ViPr client it to the Cloudera Classpath
cp hadoop-2.0.x-alpha-viprfs-1.0.1.jar /opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hadoop/lib

熱點內容
塗鴉論文 發布:2021-03-31 13:04:48 瀏覽:698
手機資料庫應用 發布:2021-03-31 13:04:28 瀏覽:353
版面217 發布:2021-03-31 13:04:18 瀏覽:587
知網不查的資源 發布:2021-03-31 13:03:43 瀏覽:713
基金贖回參考 發布:2021-03-31 13:02:08 瀏覽:489
懸疑故事範文 發布:2021-03-31 13:02:07 瀏覽:87
做簡單的自我介紹範文 發布:2021-03-31 13:01:48 瀏覽:537
戰略地圖參考 發布:2021-03-31 13:01:09 瀏覽:463
收支模板 發布:2021-03-31 13:00:43 瀏覽:17
電氣學術會議 發布:2021-03-31 13:00:32 瀏覽:731