1. 경험이 만든 돈에 대한 세계관우리는 서로 다른 시대, 환경, 계층에서 태어나기 때문에 돈과 경제에 대한 경험이 매우 다르다.예: 인플레이션, 실업률, 주식시장 성과 등은 세대마다 전혀 다르게 체험됨.1970년생: 주식 시장 호황 → 긍정적 관점1950년생: 수익률 정체 → 회의적 관점따라서 서로 다른 ‘현실’을 살아왔기 때문에, 같은 경제 원리를 두고도 전혀 다르게 판단할 수밖에 없다 2. 경제적 판단은 ‘논리’보다 ‘경험’에서 온다사람들은 자신의 경험과 환경을 기반으로 금융 의사결정을 내린다.“세상의 원리를 안다”는 생각은 대부분 자신이 살아본 극히 제한된 세계의 결과물.예: 투자에 안전지향적인지, 위험을 감수하는지는 **개인의 초기 경험(특히 청년기)**에 크게 좌우된다.3. 서로 다른 렌즈로 ..

1. 에러의 원인- 데이터가 저장된 S3 의 경로를 파일이 저장된 경로의 한단계 위의 빈 경로를 가리키고 있었음- 지정한 경로에는 파일은 없었고 순수하게 폴더만 있었음- 그러기 때문에 파케이 파일을 직접적으로 읽을 수 없었음..  2. 에러 해결- 파일이 저장된 경로를 직접적으로 가리켰음- spark 에서 파케이 파일을 직접 읽을 수 있도록 지정했음  3. 참고 링크https://stackoverflow.com/questions/44954892/unable-to-infer-schema-when-loading-parquet-file Unable to infer schema when loading Parquet fileresponse = "mi_or_chd_5" outcome = sqlc.sql("""sel..

AWS Glue: ETL 워크플로와 데이터 카탈로그 관리의 핵심AWS Glue는 데이터를 추출(Extract), 변환(Transform), 로드(Load)하는 ETL 워크플로를 손쉽게 설정하고 관리할 수 있는 AWS의 강력한 서비스입니다. AWS Glue Data Catalog와 통합되어 다양한 데이터 소스, 변환, 그리고 저장소에 대한 메타데이터를 관리하며, Apache Hive Metastore를 대체하는 기능도 제공합니다. 이를 통해 사용자는 복잡한 데이터 워크플로를 자동화하고 최적화할 수 있습니다.AWS Glue의 주요 구성 요소AWS Glue Data Catalog역할: AWS 클라우드에서 지속 가능한 메타데이터 저장소로, 다양한 데이터 소스의 메타데이터를 저장합니다.구성: 데이터베이스와 테이블..

1. 전송 중 암호화데이터를 S3로 업로드하거나 S3에서 다운로드할 때 네트워크를 통해 데이터를 안전하게 전송하기 위해 사용안전한 데이터 보호 : HTTPS를 통해 데이터를 전송하여 데이터가 중간에서 가로채이더라도 읽을 수 없도록 보호자동 적용 : HTTPS를 기본 프로토콜로 사용하며, 데이터 전송 시 자동으로 암호화가 이루어짐사용자 설정 불필요 : 데이터를 전송할 때, HTTPS를 기본적으로 사용하여 별도의 설정 없이도 데이터가 안전하게 전송  2. 저장 중 암호화 (서버 측 암호화, SSE)    1. Amazon S3 관리형 키를 사용한 서버 측 암호화(SSE-S3)쉽고 자동화된 기본 암호화 방식: Amazon S3가 제공하는 기본 암호화(자동으로 적용)객체별 암호화 키 사용 :  업로드되는 데이터..

1. AWS Glue 요약AWS Glue는 완전 관리형 ETL(추출, 변환, 로드) 서비스로, 데이터 소스와 대상을 쉽게 연결하여 데이터를 이동하고 처리할 수 있도록 설계되었으며, ETL 프로세스를 단순화하여 데이터 준비 및 변환 작업을 효율적으로 수행할 수 있도록 지원합니다.2. 핵심 구성 요소데이터 카탈로그(Data Catalog)메타데이터 저장소로 테이블 정의, 작업 정의, ETL 워크플로우를 관리하는 제어 정보 포함.크롤러(Crawlers)데이터 소스에 연결하여 스키마를 분석하고, 데이터 카탈로그에 메타데이터 테이블 정의를 생성.ETL 작업(ETL Jobs)Apache Spark 스크립트를 사용하여 데이터를 변환하고 대상을 채우는 비즈니스 로직.트리거(Triggers)스케줄이나 이벤트에 따라 작업..

1. AWS Glue 요약AWS Glue는 서버리스 ETL(추출, 변환, 로드) 서비스로, 데이터를 효율적으로 준비하고 처리하며, 데이터 웨어하우스 및 데이터 레이크를 구축하는 데 도움을 주며, 사용자가 데이터 소스와 대상 간의 데이터 변환 및 로드를 자동화하여 데이터 분석 및 머신러닝 프로젝트를 효율적으로 수행할 수 있도록 설계되었습니다. 2. 주요 특징ETL 작업 관리데이터 추출, 변환, 적재를 자동화.작업 로직 저장 및 실행 모니터링.런타임 로그 및 알림 생성.서버리스 환경인프라 프로비저닝 필요 없음.따뜻한 인스턴스 풀을 활용하여 작업 시작 시간 단축.데이터 처리 및 통합다양한 데이터 소스 및 대상을 지원:Amazon S3, DynamoDB, Redshift, RDS, JDBC 호환 데이터베이스 등..

AWS Glue란?AWS Glue는 데이터를 쉽게 검색, 준비, 이동 및 통합할 수 있는 서버리스 데이터 통합 서비스입니다. 데이터를 분석, 머신 러닝, 애플리케이션 개발에 활용할 수 있도록 지원하며, 추가 생산성 도구와 데이터 운영 기능도 제공합니다.주요 특징서버리스 아키텍처관리할 인프라 없이 데이터 통합 가능.ETL(Extract, Transform, Load), ELT, 스트리밍 데이터 처리 모두 지원.중앙 데이터 카탈로그70개 이상의 데이터 소스를 연결, 중앙 집중화된 데이터 관리.데이터 스키마와 권한을 체계적으로 관리 가능.유연한 데이터 처리 및 확장성다양한 데이터 유형 및 크기를 지원.수요에 따라 자동 확장 가능.종량제 요금제로 비용 최적화.주요 기능AWS Glue의 기능은 세 가지 주요 범주..

1. 정의 IamPass role"은 다른 서비스가 특정 서비스를 이용할 수 있는 권한을 제공하는 역할을 말함 2. 예시 하나의 서비스가 다른 서비스의 API를 호출하거나 데이터에 접근할 때, 해당 서비스가 필요로 하는 인증 및 권한 부여를 위해 "IamPass role"을 사용할 수 있음 이를 통해 서비스 간의 상호 작용이 보안적으로 관리될 수 있음

1. 원인 glue spark job 에서 redshift 작업을 할 때, iam role 이 필요함. 이를 위해 aws_iam_role로 glue 에서 s3와 redshift 에서 작업할 수 있는 권한을 주어야 함. 하지만, 기입한 role에 작업할 수 있는 권한이 없거나, 잘못 기입되었을 떄 발생 나의 경우에는 기입한 iam 이 잘못 기입되어 있어서 발생함(아래와 같이 입력해야 한다) 2. 해결방법 아래 예제에 있는대로 입력을 해야 한다. 3. 참고 링크 https://stackoverflow.com/questions/60923776/redshift-copy-from-parquet-manifest-in-s3-fails-and-says-manifest-parameter-requ Redshift copy..

1. 원인 RDS에서 public access 시 dns 관련 설정이 허용되지 않아 작업을 못하면서 벌어지는 에러 2. 참고 링크 https://iamreadytocommit.tistory.com/42 aws RDS 생성중 VPC 관련 에러가 발생하는 경우 RDS 생성중 아래와 같은 에러가 발생했다. Cannot create a publicly accessible DBInstance. The specified VPC does not support DNS resolution, DNS hostnames, or both. Update the VPC and then try again (Service: AmazonRDS; Status Code: 400; Error iamreadytocommit.tistory.com