TOP

HDFS操作實驗(hdfs文件上傳、使用JavaAPI判斷文件存在,文件合并)
2019-02-16 00:06:48 】 瀏覽:1048
Tags:

此博客為博主學習總結优乐棋牌app下载,內容為博主完成本周大數據課程的實驗內容。實驗內容分為兩部分。

1. 在分布式文件系統中創建文件并用shell指令查看;

2. 利用Java API編程實現判斷文件是否存在和合并兩個文件的內容成一個文件。


感謝實驗室的實驗教程,對博主的學習有很大的幫助。


現在优乐棋牌app下载,就讓我們一起完成實驗內容吧!

創建文件

我們需要先啟動下Hadoop,【Ctrl】+【Alt】+【t】打開終端,輸入一下命令:

$ cd /usr/local/hadoop/
$ ./sbin/start-dfs.sh
創建一個新用戶,在這里我們起名為Hadoop,輸入一下指令:
./bin/hdfs dfs –mkdir –p /user/hadoop

軟后在瀏覽器輸入:http://localhost:50070,進入‘Utilities’中的‘Browse the system’:


查看剛才創建的user/haddop,點擊uesr,查看:


在本地Linux文件系統的’/home/hadoop/‘目錄下創建兩個文件AFile.txt、Bfile.txt:

touch /home/hadoop/AFile.txt
touch /home/hadoop/BFile.txt

里面可以隨意輸入一些單詞,比如优乐棋牌app下载,第一個輸入姓名,第二個輸入一串號碼:

gedit /home/hadoop/AFile.txt
gedit /home/hadoop/BFile.txt

然后,可以使用如下命令把本地文件系統的“/home/hadoop/AFile.txt”、“/home/hadoop/BFile.txt”上傳到HDFS中的當前用戶目錄的input目錄下,也就是上傳到HDFS的“/user/hadoop/”目錄下:

./bin/hdfs dfs -put /home/hadoop/AFile.txt 
./bin/hdfs dfs -put /home/hadoop/BFile.txt 

查看剛才的兩個文件上傳是否成功:

./bin/hdfs dfs -ls

同樣,我們也可以查看http://localhost:50070中的‘Utilities’中的‘Browse the system’:

上傳成功后我們接下來就是查看HDFS當前用戶中所擁有的文件內容:

./bin/hdfs dfs –cat AFile.txt
./bin/hdfs dfs –cat BFile.txt


利用Java API編程實現

創建一個java Project,名字自擬。


右鍵單擊項目名稱,進入設置,



點擊進入‘Add External JARs...’根據路徑加入以下的JAR包;

為了編寫一個能夠與HDFS交互的Java應用程序,一般需要向Java工程中添加以下JAR包:

(1)”/usr/local/hadoop/share/hadoop/common”目錄下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar;
(2)/usr/local/hadoop/share/hadoop/common/lib”目錄下的所有JAR包;
(3)“/usr/local/hadoop/share/hadoop/hdfs”目錄下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar;

(4)“/usr/local/hadoop/share/hadoop/hdfs/lib”目錄下的所有JAR包。

添加完后應用并退出。

創建兩個class:



我們現在做第一個實驗,判斷文件是否存在:

    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    public class cunzai{
        public static void main(String[] args){
            try{
                String fileNameA = "AFile.txt";
                String fileNameB = "BFile.txt";
                Configuration conf = new Configuration();
                conf.set("fs.defaultFS", "hdfs://localhost:9000");
                conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
                FileSystem fs = FileSystem.get(conf);
                if(fs.exists(new Path(fileNameA))){
                    System.out.println(fileNameA + " 文件存在");
                }else{
                    System.out.println(fileNameA + " 文件不存在");
                }
                if(fs.exists(new Path(fileNameB))){
                    System.out.println(fileNameB + " 文件存在");
                }else{
                    System.out.println(fileNameB + " 文件不存在");
                }
            }catch (Exception e){
                e.printStackTrace();
            }
        }
    }

輸入以上代碼后,然后右鍵代碼部分空白處,選擇Debug As->Java Application

查看結果:


執行成功后,我們下一步將將class文件按一個可執行jar包的格式導入到我們的hadoop路徑中,先創建一個路徑,在hadoop路徑下執行以下命令:

mkdir myapp

然后,我們回到eclipse中,右鍵單擊名為cunzai的class類:



點擊export...;選擇Runnable JAR file:


選擇class文件名和文件路徑:


點擊ok,ok



我們回到終端檢查一下剛才導出的jar包是否可以運行:

./bin/hadoop jar ./myapp/cunzai.jar


完成jar包讀取文件任務。

=========================================================================

接下來我們來完成合并文件的任務。

將以下代碼復制到hebing.class中:

import java.io.BufferedReader;
    import java.io.InputStreamReader;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
    public class hebing {
    	
    	private static final String utf8 = "UTF-8";
    	
        public static void main(String[] args) {
            try {
                Configuration conf = new Configuration();
                conf.set("fs.defaultFS","hdfs://localhost:9000");
                conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
                FileSystem fs = FileSystem.get(conf);
                Path fileA = new Path("AFile.txt");
                Path fileB = new Path("BFile.txt");
                FSDataInputStream getItA = fs.open(fileA);
                FSDataInputStream getItB = fs.open(fileB);
                BufferedReader dA = new BufferedReader(new InputStreamReader(getItA));
                BufferedReader dB = new BufferedReader(new InputStreamReader(getItB));
                String contentA = dA.readLine();