[용어사전] Catalyst optimizer 란?

 

 

1. 카탈리스트 엔진이란

---

• Spark SQL의 핵심은 Catalyst Optimizer 이다
• 이것은 지능형 프로그래밍 언어 기능(예: Scala의 패턴 매칭과 quasi quote 등)을 참신한 방식으로 활용해 확장할 수 있는 쿼리 최적화 프로그램을 구축

 

 

 

 

2. 용도

---

Catalyst는 Scala로 쓴 기능성 프로그래밍 구조를 기반으로 하며 다음과 같은 두 가지 용도를 염두에 두고 고안되었다.

• Spark SQL에 새로운 최적화 기법과 특징을 손쉽게 추가
• 최적화 프로그램 확장을 위해 외부 개발자 지원(예: 데이터 소스별 규칙 추가, 새로운 데이터 유형 지원 등)
• Catalyst에는 일반 라이브러리가 포함되어 있어 트리를 나타내고, 규칙을 적용하여 이를 조작한다.

 

 

 

 

3. 참고 링크

---

https://databricks.com/kr/glossary/catalyst-optimizer

Catalyst Optimizer란 무엇입니까? - Databricks