TOP

本地idea開發flink程序并本地運行讀取HDFS文件
2018-12-27 12:17:07 】 瀏覽:1150
Tags:

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.5</version>
        </dependency>

1、需要在MAVEN中添加以上依賴。因為只添加的flink依賴不包含HDFS的文件讀寫,再提交到Flink集群的時候能夠讀到HDFS的文件优乐棋牌app下载,使用為在Flink集群和HDFS整合之后會自動找到HDFS的依賴包。這個選項在flink-conf.yaml中的fs.hdfs.hadoopconf: $HADOOP_HOME/etc/hadoop

請關注公眾號獲取更多資料



】【打印繁體】【】【】 【】【】【】 【關閉】 【返回頂部
上一篇flume上傳文件到hdfs上 下一篇hive 自定定義函數 從hdfs中加載..