hadoophdfs目錄
1. hadoop hdfs的默認目錄問題
frostfish425說的是對的!/user/hadoop是安裝目錄,就是說你hadoop相關的配置和代碼都是放在這個位置,這個你自己定就可以了,但是要注意你配置文件和環境變數中的相關配置都要相應的發生改變。而/tmp/hadoop-hadoop/dfs/name是你配置的hdfs目錄,也就是數據存放目錄,在hdfs-site.xml中配置的,當然你也可以改變這個目錄!這個目錄掛載的磁碟要足夠大,不然數據存放不下,你初始化的時候報的這個Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted其實就是在/tmp/hadoop-hadoop/dfs這個目錄下創建了name目錄,意思就是告訴你,數據存放目錄已經創建成功了!
2. hadoop怎麼訪問hdfs路徑
先用hdfsGetPathInfo 得到一個類型的結構體,
get_real_path(dsh, s, real_path);
hdfsFileInfo * pt_hdfs_file_info = hdfsGetPathInfo(hdfs,real_path);//
這個結構體中有個kind屬性,就是來區分是文件還是目錄
typedef struct {
tObjectKind mKind; /* file or directory */
char *mName; /* the name of the file */
tTime mLastMod; /* the last modification time for the file in seconds */
tOffset mSize; /* the size of the file in bytes */
short mReplication; /* the count of replicas */
tOffset mBlockSize; /* the block size for the file */
char *mOwner; /* the owner of the file */
char *mGroup; /* the group associated with the file */
short mPermissions; /* the permissions associated with the file */
tTime mLastAccess; /* the last access time for the file in seconds */
} hdfsFileInfo;
3. hadoop中怎麼創建文件夾
從fs -ls從列出來的文件看,這個文件夾/user/root/input是通過root用戶創建的。說明你在從本地文件系統拷貝input目錄到hdfs系統的時候,不是採用的hadoop用戶,而是用root用戶執行的拷貝命令,你可能忘記切換用戶了,可以刪除現在的input目錄(採用root用戶運行hadoop的刪除命令,或者不刪除也沒關系),重新使用hadoop用戶把input導入到hdfs系統中試試看。
4. 怎麼在HDFS文件系統的根目錄下創建遞歸目錄
從fs -ls從列出來的文件看,這個文件夾/user/root/input是通過root用戶創建的。說明你在從本地文件系統拷貝input目錄到hdfs系統的時候,不是採用的hadoop用戶,而是用root用戶執行的拷貝命令,你可能忘記切換用戶了,可以刪除現在的input目錄(採用root用戶運行hadoop的刪除命令,或者不刪除也沒關系),重新使用hadoop用戶把input導入到hdfs系統中試試看。
另外,實際上應用的時候是需要關注hdfs中文件的目錄結構的。你現在採用的是默認的方式,預設會放/user/${user.name}目錄下。
在把本地文件導入到hdfs的時候,是可以指定傳到什麼目錄的,比如:
#創建input目錄
sh bin/hadoop fs -mkdir /user/hadoop/input
#把myfile.txt導入到hdfs的input目錄下
sh bin/hadoop fs –put /usr/hadoop/mydata/myfile.txt /user/hadoop/input
5. hadoop程序怎麼訪問hdfs路徑
先用hdfsGetPathInfo 得到一個hdfsFileInfo類型的結構體, get_real_path(dsh, s, real_path); hdfsFileInfo * pt_hdfs_file_info = hdfsGetPathInfo(hdfs,real_path);// 這個結構體中有個kind屬性,就是來區分是文件還是目錄 typedef struct
~如果你認可我的回答,請及時點擊【採納為滿意回答】按鈕
~~手機提問的朋友在客戶端右上角評價點【滿意】即可。
~你的採納是我前進的動力
~~O(∩_∩)O,記得好評和採納,互相幫助,謝謝。
6. 如何判斷hdfs(hadoop)上的路徑是文件還是目錄。
用ls命令, 如果返回一行說明是文件,如果多行則表示目錄
hadoop fs -ls $path | grep $path | wc -l
7. HDFS用戶目錄對應Linux哪個目錄
可以fdisk -l 看到 但是它本身是自己的文件系統 就是hdfs 你從linux本地是看不到的 想看裡面的文件可以使用如下命令 hadoop fs -ls
8. hadoop中在HDFS中創建一個input目錄,然後hadoop fs -ls命令
從fs -ls從列出來的文復件看,這個文件夾制/user/root/input是通過root用戶創建的。說明你在從本地文件系統拷貝input目錄到hdfs系統的時候,不是採用的hadoop用戶,而是用root用戶執行的拷貝命令,你可能忘記切換用戶了,可以刪除現在的input目錄(採用root用戶運行hadoop的刪除命令,或者不刪除也沒關系),重新使用hadoop用戶把input導入到hdfs系統中試試看。
另外,實際上應用的時候是需要關注hdfs中文件的目錄結構的。你現在採用的是默認的方式,預設會放/user/${user.name}目錄下。
在把本地文件導入到hdfs的時候,是可以指定傳到什麼目錄的,比如:
#創建input目錄
sh bin/hadoop fs -mkdir /user/hadoop/input
#把myfile.txt導入到hdfs的input目錄下
sh bin/hadoop fs –put /usr/hadoop/mydata/myfile.txt /user/hadoop/input
9. 以下哪個命令可以刪除hdfs目錄hadoop fs
hdfs dfs -rmdir 呀
10. hadoop中如何把已知路徑的文件放在指定目錄下
1、hadoop fs -put 本地路徑文件 hdfs文件路徑文件
2、hadoop fs -get hdfs文件路徑文件 本地路徑文件