반응형
1. 아파치 테즈란?
우선 Apache Tez는 MapReduce와 동일하게 YARN 기반으로 실행되는 데이터 처리를 위한 프레임워크
Tez도 YARN으로부터 컨테이너를 할당받아서 작업을 수행
기존의 Map Reduce 엔진을 대체하는 새로운 데이터 처리를 위한 엔진
Hive3 로 넘어가면서 공식 엔진으로 채택되어 map reduce 엔진을 대체했다.
2. 왜 대체되었을까?
MapReduce 엔진은 하이브 쿼리를 실행시킬 때,
쿼리 속도 문제에 대한 이슈가 많았기 때문에 이로 인하여 새로운 Tez 엔진으로 대체
Tez 엔진으로 쿼리를 돌렸을 때, map reduce 엔진으로 쿼리를 돌렸을 때보다 속도가 월등히 빨랐다
(유스 케이스에서는 30초 정도 빨랐다고 나옴)
3. tez 와 map reduce 는 어떤 차이를 가지고 있는 것일까?
tez step : Map -> 메모리(처리 결과 저장) -> Reduce -> reduce (최종 결과 저장)
map reduce step : Map -> reduce -> hdfs(결과 저장) -> map -> reduce(최종결과 저장)
" 데이터 처리 -> 결과 저장 " 이 과정을 따로 거치지 않고 메모리에서 이 과정을 한번에 처리 후에 reduce 로 전달
하기 때문에 속도가 빠르다
4. 참고 링크
https://joonyon.tistory.com/163
반응형
'Data Engineering > HDFS' 카테고리의 다른 글
[Ambari] Unable to lookup the cluster by ID; assuming that there is no cluster and therefore no configs for this execution command: Cluster not found error (0) | 2023.03.08 |
---|---|
[BigTop Ambari 설치] 1. 환경 세팅 (1) | 2023.01.31 |
[ Zookeeper ] 주키퍼(Zookeeper) 에 대한 간단한 스터디 (0) | 2021.06.11 |
[Kafka] 카프카(Kafka) 에 대한 간단 스터디 (0) | 2021.06.11 |
[Flume] 아파치 플럼( Flume ) 스터디 (0) | 2021.06.11 |