AWS Glue: ETL 워크플로와 데이터 카탈로그 관리의 핵심AWS Glue는 데이터를 추출(Extract), 변환(Transform), 로드(Load)하는 ETL 워크플로를 손쉽게 설정하고 관리할 수 있는 AWS의 강력한 서비스입니다. AWS Glue Data Catalog와 통합되어 다양한 데이터 소스, 변환, 그리고 저장소에 대한 메타데이터를 관리하며, Apache Hive Metastore를 대체하는 기능도 제공합니다. 이를 통해 사용자는 복잡한 데이터 워크플로를 자동화하고 최적화할 수 있습니다.AWS Glue의 주요 구성 요소AWS Glue Data Catalog역할: AWS 클라우드에서 지속 가능한 메타데이터 저장소로, 다양한 데이터 소스의 메타데이터를 저장합니다.구성: 데이터베이스와 테이블..

1. 전송 중 암호화데이터를 S3로 업로드하거나 S3에서 다운로드할 때 네트워크를 통해 데이터를 안전하게 전송하기 위해 사용안전한 데이터 보호 : HTTPS를 통해 데이터를 전송하여 데이터가 중간에서 가로채이더라도 읽을 수 없도록 보호자동 적용 : HTTPS를 기본 프로토콜로 사용하며, 데이터 전송 시 자동으로 암호화가 이루어짐사용자 설정 불필요 : 데이터를 전송할 때, HTTPS를 기본적으로 사용하여 별도의 설정 없이도 데이터가 안전하게 전송  2. 저장 중 암호화 (서버 측 암호화, SSE)    1. Amazon S3 관리형 키를 사용한 서버 측 암호화(SSE-S3)쉽고 자동화된 기본 암호화 방식: Amazon S3가 제공하는 기본 암호화(자동으로 적용)객체별 암호화 키 사용 :  업로드되는 데이터..

1. AWS Glue 요약AWS Glue는 완전 관리형 ETL(추출, 변환, 로드) 서비스로, 데이터 소스와 대상을 쉽게 연결하여 데이터를 이동하고 처리할 수 있도록 설계되었으며, ETL 프로세스를 단순화하여 데이터 준비 및 변환 작업을 효율적으로 수행할 수 있도록 지원합니다.2. 핵심 구성 요소데이터 카탈로그(Data Catalog)메타데이터 저장소로 테이블 정의, 작업 정의, ETL 워크플로우를 관리하는 제어 정보 포함.크롤러(Crawlers)데이터 소스에 연결하여 스키마를 분석하고, 데이터 카탈로그에 메타데이터 테이블 정의를 생성.ETL 작업(ETL Jobs)Apache Spark 스크립트를 사용하여 데이터를 변환하고 대상을 채우는 비즈니스 로직.트리거(Triggers)스케줄이나 이벤트에 따라 작업..

1. AWS Glue 요약AWS Glue는 서버리스 ETL(추출, 변환, 로드) 서비스로, 데이터를 효율적으로 준비하고 처리하며, 데이터 웨어하우스 및 데이터 레이크를 구축하는 데 도움을 주며, 사용자가 데이터 소스와 대상 간의 데이터 변환 및 로드를 자동화하여 데이터 분석 및 머신러닝 프로젝트를 효율적으로 수행할 수 있도록 설계되었습니다. 2. 주요 특징ETL 작업 관리데이터 추출, 변환, 적재를 자동화.작업 로직 저장 및 실행 모니터링.런타임 로그 및 알림 생성.서버리스 환경인프라 프로비저닝 필요 없음.따뜻한 인스턴스 풀을 활용하여 작업 시작 시간 단축.데이터 처리 및 통합다양한 데이터 소스 및 대상을 지원:Amazon S3, DynamoDB, Redshift, RDS, JDBC 호환 데이터베이스 등..

AWS Glue란?AWS Glue는 데이터를 쉽게 검색, 준비, 이동 및 통합할 수 있는 서버리스 데이터 통합 서비스입니다. 데이터를 분석, 머신 러닝, 애플리케이션 개발에 활용할 수 있도록 지원하며, 추가 생산성 도구와 데이터 운영 기능도 제공합니다.주요 특징서버리스 아키텍처관리할 인프라 없이 데이터 통합 가능.ETL(Extract, Transform, Load), ELT, 스트리밍 데이터 처리 모두 지원.중앙 데이터 카탈로그70개 이상의 데이터 소스를 연결, 중앙 집중화된 데이터 관리.데이터 스키마와 권한을 체계적으로 관리 가능.유연한 데이터 처리 및 확장성다양한 데이터 유형 및 크기를 지원.수요에 따라 자동 확장 가능.종량제 요금제로 비용 최적화.주요 기능AWS Glue의 기능은 세 가지 주요 범주..

1. 정의 IamPass role"은 다른 서비스가 특정 서비스를 이용할 수 있는 권한을 제공하는 역할을 말함 2. 예시 하나의 서비스가 다른 서비스의 API를 호출하거나 데이터에 접근할 때, 해당 서비스가 필요로 하는 인증 및 권한 부여를 위해 "IamPass role"을 사용할 수 있음 이를 통해 서비스 간의 상호 작용이 보안적으로 관리될 수 있음

이제 Amazon Relational Database Service(RDS) for PostgreSQL에서 PostgreSQL의 최신 마이너 버전인 16.2, 15.6, 14.11, 13.14 및 12.18을 지원합니다. 이번 RDS for PostgreSQL 릴리스에는 병렬 처리, 인메모리 빌드 등 Hierarchical Navigable Small Worlds(HNSW) 인덱스 빌드를 위한 성능을 향상하는 pgvector 0.6.0에 대한 지원도 포함되어 있습니다. 최신 마이너 버전으로 업그레이드하여 PostgreSQL 이전 버전의 알려진 보안 취약점을 해결하고 버그 수정, 성능 개선 및 PostgreSQL 커뮤니티에서 추가된 새로운 기능의 이점을 누리시기 바랍니다. 자동 마이너 버전 업그레이드를 활..

1. AWS CloudHSM 이란? AWS CloudHSM 서비스는 AWS 클라우드 내에서 전용 HSM(Hardware Security Module) 인스턴스를 사용함으로써 데이터 보안에 대한 기업, 계약 및 규제 준수 요구 사항을 충족하는 데 도움이 됩니다. AWS와 AWS Marketplace 파트너는 AWS 플랫폼의 중요한 데이터를 보호하기 위한 다양한 솔루션을 제공하지만, 암호화 키 관리에 대한 계약 또는 규제 요건이 적용되는 일부 애플리케이션과 데이터의 경우 추가 보호가 필요할 수 있습니다. CloudHSM은 기존의 데이터 보호 솔루션을 보완합니다. 이를 통해 사용자는 안전한 키 관리를 위한 정부 표준에 따라 설계되고 검증된 HSM 내에서 암호화 키를 보호할 수 있습니다. CloudHSM을 사용..

엑세스 키 생성방법이 잘 기록되어 있어 나중에 참고하기 위해 링크를 저장 https://coding-nurse.tistory.com/239 [AWS] IAM사용자의 엑세스키 ID와 비밀 엑세스키를 잊어버렸을 때 (access key ID, secret access key) 어서와 ~~ IAM사용자의 엑세스키 ID와 비밀 엑세스키를 잊어버렸다구?? 걱정마.. 방법이 있으니까 😉 AWS 엑세스키 ID , 비밀번호 잊어버렸을 때 * 먼저 IAM을 생성했을 때 엑세스키를 저장하는 단계 coding-nurse.tistory.com

1. Glue Connection 이란 - AWS Glue에서 데이터 스토어나 데이터베이스와의 연결을 설정하는 데 사용되는 서비스 - 예를 들어, AWS Glue는 데이터를 추출, 변환, 로드(ETL)하기 위해 다양한 소스에서 데이터를 가져올 수 있음 - 즉, Glue Connection은 이런 데이터 소스와 Glue의 ETL 작업 간의 다리 역할을 하는 서비스 2. Glue Connection 을 사용할 경우 Glue Job 은 어디서 도는 것인가 - Glue Job 은 VPC 외부에서 돌며, Glue connection 을 이용해 vpc-subnet 을 타고 들어가 외부와 통신을 함 - 왜냐하면, Glue 는 퍼블릭 서비스이기 때문에 VPC 외부에 생성이 됨 - 하지만, Glue Connection ..