HDFS Java文件API示例

Java的HDFS Api使用簡例：

public class HDFSJavaAPIDemo {

    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        //不加的話可以讀取默認的HDFS環境的配置
        conf.addResource(new Path(
                "/u/hadoop-1.1.0/conf/core-site.xml"));
        conf.addResource(new Path(
                "/u/hadoop-1.1.0/conf/hdfs-site.xml"));

        FileSystem fileSystem = FileSystem.get(conf);
        System.out.println(fileSystem.getUri());

        Path file = new Path("demo.txt");
        if (fileSystem.exists(file)) {
            System.out.println("File exists.");
        } else {
            // Writing to file
            FSDataOutputStream outStream = fileSystem.create(file);
            outStream.writeUTF("Welcome to HDFS Java API!!!");
            outStream.close();
        }

        // Reading from file
        FSDataInputStream inStream = fileSystem.open(file);
        String data = inStream.readUTF();
        System.out.println(data);
        inStream.close();

        // deleting the file. Non-recursively.
        // fileSystem.delete(file, false);

        fileSystem.close();
    }
}

讀取了HDFS文件的數據流以后，可以完全按照IO類的方式對數據進行加工。

但是需要注意，這樣的加工是單線程地運行在本地上面，而不是集群上面的。