cdh安装目录
『壹』 重装CDH遇到的几个问题
1.kafka-topics.sh --delete --zookeeper host:port --topic topicname
提示marked
for deletion
并没有真正删除,如果要真正删除
配置delete.topic.enable=true
配置文件在kafka\config目录server.properties
2、删除kafka存储目录(server.propertiewenjian log.dirs配置,默认为“/tmp/kafka-logs”)下对应的topic。(不同broker下存储的topic不一定相同,所有broker都要看一下)
3、进入zookeeper客户端删掉对应topic
zkCli.sh -server 127.0.0.1:42182
找到topic目录
ls /brokers/topics
删掉对应topic
rmr /brokers/topic/topic-name
找到目录
ls /config/topics
删掉对应topic
rmr /config/topics/topic-name
『贰』 如何解决CDH5中找不到JAVA
把JAVA的环境设置正确了
环境变量 JAVA_HOME 指向JDK的安装目录
把JDK下的bin的完整路径,添加到PATH环境变量
环境变量中不要配置CLASSPATH 。。。。。。。。。。。
可以添加一个 JRE_HOME 指向JRE在安装的目录
~
~
~
『叁』 cdh安装好后,安装目录在哪里
参数fs.defaultFS的值是什么,要改为hdfs的格式,默认是本地文件系统的
『肆』 为什么cdh安装没有单用户选择
目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s
Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data
Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:
(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop
1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;比Apache
hadoop在兼容性,安全性,稳定性上有增强。
(2)CDH3版本是基于Apache hadoop 0.20.2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop
2.X改进的,CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache
hadoop同功能版本提早发布,更新速度比Apache官方快。
(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证
(4)CDH文档清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。
(5)CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Manager四种方式安装,Apache
hadoop只支持Tar包安装。
注:CDH使用推荐的Yum/Apt包安装时,有以下几个好处: 1、联网安装、升级,非常方便 2、自动下载依赖软件包
3、Hadoop生态系统包自动匹配,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性。
4、自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs,
mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责maprece执行过程中相关目录的权限。
『伍』 cdh hadoop安装后的启动命令在哪个目录
1.关闭selinux
修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可
2.修改bin文件的运行权限,运行bin文件后,进入安装cdh-manager的安装界面
如果直接安装,cdh-manager会去archive.cloudera.com下载安装包,这样会很慢,所以最好在内网搭一个下载源,做个host
echo '192.168.8.XX archive.cloudera.com' >> /etc/hosts
每一步安装的日志会保存在 /var/log/cloudera-manager-installer/目录
『陆』 cdh安装时,需要哪些主要安装包和资源包
参数fs.defaultFS的值是什么,要改为hdfs的格式,默认是本地文件系统的。
『柒』 cdh5 hadoop的jar包的目录在哪里
$HADOOP_HOME/share/hadoop/ 该目录下保存了common hdfs httpfs kms maprece maprece1 maprece2 tools yarn,进入对应的目录可以看到相应的jar包。
『捌』 cloudera的sandbox中hbase安装在哪个目录下了
配置文件地址:
Hadoop: /etc/hadoop/conf
hbase: /etc/hadoop/conf
hive: /etc/hive/conf
使用cloudera manager web UI 修改hadoop .xml文件属性方法:
For Cloudera the best way to push this configuration to the nodes is to use the Cloudera manager GUI.From the Cloudera web page, click on the HDFS service under Status to open the HDFS service.
Click Configuration, and choose View and Edit
On the left panel expand Service-Wide and click advance
Click on Cluster-wide Configuration Safety Valve for core-site.xml
Enter the setting from Table aboveSettings entered into core-site safety valve
At the top right of the page, Click Save ChangeGo back to the Cloudera Manager Home screen. Using the drop down stop the HDFS service.
Using the drop down next to the Status, deploy the client configuration
g
Using the drop down, restart the Maprece service.
Check that the nodes have received the correct configuration. From the CLI on a node do a grep on the core-site.xml and search for HSK
cat /etc/hadoop/conf.cloudera.hdfs1/core-site.xml |grep HSK
Next Upload the Java ViPR client JAR file to a client using WinSCP and it to the Hadoop Classpath on all Hadoop nodes.
On the first node where you have uploaded the ViPr client it to the Cloudera Classpath
cp hadoop-2.0.x-alpha-viprfs-1.0.1.jar /opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hadoop/lib