hadoop: 하둡 명령어 1

자주 사용되는 하둡 명령어를 간단하게  정리해보았다..

 

hadoop fs -cat [경로]
    - 경로의 파일을 내용 확인
    - 리눅스 cat 명령과 동일

hadoop fs -count [경로]
    - 경로상의 폴더, 파일, 파일사이즈를 확인

hadoop fs -cp [소스 경로] [복사 경로]
    - hdfs 상에서 파일 복사

hadoop fs -df /user/hadoop
    - 디스크 공간 확인

hadoop fs -du /user/hadoop
    - 파일별 사이즈 확인

hadoop fs -dus /user/hadoop
    - 폴더의 사이즈 확인

hadoop fs -get [소스 경로] [로컬 경로]
    - hdfs 의 파일 로컬로 다운로드

hadoop fs -ls [소스 경로]
    - 파일 목록 확인

hadoop fs -mkdir [생성 폴더 경로]
    - 폴더 생성

hadoop fs -mkdir -p [생성 폴더 경로]
    - 폴더 생성, 부모 경로까지 한번에 생성

hadoop fs -put [로컬 경로] [소스 경로]
    - 로컬의 파일 hdfs 상으로 복사

hadoop fs -rm [소스 경로]
    - 파일 삭제, 폴더는 삭제 안됨

hadoop fs -rmr [소스 경로]
    - 폴더 삭제

hadoop fs -setrep [값] [소스 경로]
    - hdfs 의 replication 값 수정

hadoop fs -text [소스 경로]
    - 파일의 정보를 확인하여 텍스트로 반환
    - gz, lzo 같은 형식을 확인후 반환

 

 

https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#count