쟈누의 기록공간

[돈의 심리학] Stort 1. 사람들은 왜 돈에 대해 서로 다른 관점을 가지는가?

쟈누 — Sat, 7 Jun 2025 11:51:26 +0900

1. 경험이 만든 돈에 대한 세계관

우리는 서로 다른 시대, 환경, 계층에서 태어나기 때문에 돈과 경제에 대한 경험이 매우 다르다.
예: 인플레이션, 실업률, 주식시장 성과 등은 세대마다 전혀 다르게 체험됨.
- 1970년생: 주식 시장 호황 → 긍정적 관점
- 1950년생: 수익률 정체 → 회의적 관점
따라서 서로 다른 ‘현실’을 살아왔기 때문에, 같은 경제 원리를 두고도 전혀 다르게 판단할 수밖에 없다

2. 경제적 판단은 ‘논리’보다 ‘경험’에서 온다

사람들은 자신의 경험과 환경을 기반으로 금융 의사결정을 내린다.
“세상의 원리를 안다”는 생각은 대부분 자신이 살아본 극히 제한된 세계의 결과물.
예: 투자에 안전지향적인지, 위험을 감수하는지는 **개인의 초기 경험(특히 청년기)**에 크게 좌우된다.

3. 서로 다른 렌즈로 세상을 본다

부유한 사람과 가난한 사람은 돈의 가치와 위험에 대한 판단이 다름.
예: 인플레이션이 극심했던 시기에 성장한 사람은 부동산이나 금을 더 신뢰할 수 있다.
이처럼 우리는 각자의 ‘심리적 렌즈’를 통해 세상을 해석하며, 합리적 판단조차 다르게 나타날 수 있다.

4. “미친 짓”처럼 보여도 실제론 나름의 합리

복권, 과도한 소비, 저축 부족 등은 때로는 ‘미친 짓’처럼 보인다.
그러나 이들 대부분은 꿈을 현실로 만들 기회가 없었던 사람들의 선택일 수 있다.
복권은 단순한 도박이 아닌 희망을 사는 소비가 되기도 한다.

5. 돈 문제는 감정적이다

사람들은 논리보다 감정, 두려움, 결핍에서 비롯된 의사결정을 한다.
예: 은퇴 준비, 보험, 투자 등도 시대적 맥락과 감정의 영향을 받는다.
논리적 스프레드시트보다 훨씬 복잡한 개인사가 결정의 기반이다.

6. 지능이나 교육보다 ‘우연’이 더 영향력 크다

당신이 어떤 투자성향을 갖게 됐는지는 **지능도, 교육도 아닌, ‘언제 어디서 태어났는가’**라는 운에 가까운 변수에 의해 결정된다.
빌 게이츠도 마찬가지. 뛰어난 능력 외에도 운과 시대적 타이밍이 작용했다.

핵심 교훈 (Big Lesson of Investing)

“투자 성향(안전지향 vs 위험선호)은 지능이 아닌 개인의 삶의 경험에서 비롯된다.”
경험은 시대와 장소에 따라 다르기 때문에, 모두가 다른 방식으로 합리적이다.
우리는 누구나 돈 문제에서 미친 짓을 하지만, 그건 그 사람에겐 합리적인 결정일 수 있다.

[Glue Error] Unable to infer schema when loading Parquet file

쟈누 — Thu, 20 Feb 2025 10:33:35 +0900

1. 에러의 원인

- 데이터가 저장된 S3 의 경로를 파일이 저장된 경로의 한단계 위의 빈 경로를 가리키고 있었음

- 지정한 경로에는 파일은 없었고 순수하게 폴더만 있었음

- 그러기 때문에 파케이 파일을 직접적으로 읽을 수 없었음..

2. 에러 해결

- 파일이 저장된 경로를 직접적으로 가리켰음

- spark 에서 파케이 파일을 직접 읽을 수 있도록 지정했음

3. 참고 링크

https://stackoverflow.com/questions/44954892/unable-to-infer-schema-when-loading-parquet-file

Unable to infer schema when loading Parquet file

response = "mi_or_chd_5" outcome = sqlc.sql("""select eid,{response} as response from outcomes where {response} IS NOT NULL""".format(response=response)) outcome.write.parquet(response, mode="over...

stackoverflow.com

4. Glue 는 주요 구성요소

쟈누 — Wed, 15 Jan 2025 23:30:08 +0900

AWS Glue: ETL 워크플로와 데이터 카탈로그 관리의 핵심

AWS Glue는 데이터를 추출(Extract), 변환(Transform), 로드(Load)하는 ETL 워크플로를 손쉽게 설정하고 관리할 수 있는 AWS의 강력한 서비스입니다. AWS Glue Data Catalog와 통합되어 다양한 데이터 소스, 변환, 그리고 저장소에 대한 메타데이터를 관리하며, Apache Hive Metastore를 대체하는 기능도 제공합니다. 이를 통해 사용자는 복잡한 데이터 워크플로를 자동화하고 최적화할 수 있습니다.

AWS Glue의 주요 구성 요소

AWS Glue Data Catalog
- 역할: AWS 클라우드에서 지속 가능한 메타데이터 저장소로, 다양한 데이터 소스의 메타데이터를 저장합니다.
- 구성: 데이터베이스와 테이블의 모음으로, Amazon S3, Amazon RDS, Apache Hadoop 등에서 데이터를 관리합니다.
- 주요 기능:
  - 데이터 보안: IAM 정책 및 AWS Lake Formation을 활용해 민감한 데이터 접근을 제어.
  - 스키마 변경 및 감사: AWS CloudTrail과 통합하여 데이터 변경 내역 추적.
- 활용 사례: Amazon Athena, Amazon Redshift Spectrum, Amazon EMR 등에서 메타데이터를 활용하여 데이터 분석 및 처리를 수행합니다.
AWS Glue 크롤러 및 분류기
- 역할: 데이터를 자동으로 스캔하고, 스키마를 추출하며 Data Catalog에 저장합니다.
- 장점: 자동화된 데이터 스키마 생성 및 관리로 데이터 처리 효율성 증대.
AWS Glue ETL 작업
- 기능: Data Catalog의 메타데이터를 사용하여 PySpark 및 Scala 기반의 스크립트를 자동 생성.
- 활용: 데이터를 정리하고 변환하여 Amazon Redshift, Amazon S3 등으로 로드.
- 스트리밍 ETL: 실시간 데이터(예: IoT, 클릭스트림) 처리 지원.
AWS Glue 작업 시스템
- 역할: ETL 워크플로의 스케줄링 및 이벤트 기반 트리거 제공.
- 시각적 인터페이스: 직관적인 캔버스를 통해 작업 생성 및 관리 가능.

AWS Glue의 시각적 ETL 환경

AWS Glue 콘솔은 사용자가 시각적 ETL 캔버스를 통해 직관적으로 작업을 정의하고 관리할 수 있도록 지원합니다.

특징:
- 노드 기반의 작업 설계로 데이터 소스, 변환, 대상을 시각적으로 연결.
- 작업 흐름을 실시간으로 미리보기하고 수정 가능.
- 스크립트를 직접 편집해 고급 사용자 정의 작업 가능.
주요 기능:
- 작업 캔버스: ETL 작업을 설계할 수 있는 작업 공간.
- 데이터 미리보기: 변환 결과를 사전 확인.
- 출력 스키마 편집: 작업 중 데이터 스키마를 동적으로 관리.

AWS Glue의 주요 장점

확장성: 크롤러와 Data Catalog를 통해 대규모 데이터 워크플로 처리.
자동화: 스크립트 생성과 작업 스케줄링으로 수작업 최소화.
호환성: Apache Hive, Amazon Athena 등 다양한 데이터 시스템과 통합 가능.
보안 및 감사: AWS Lake Formation 및 CloudTrail과 통합하여 데이터 보호 및 추적.

AWS Glue는 데이터 파이프라인 자동화 및 관리를 위한 필수 도구로, 다양한 AWS 서비스와의 통합을 통해 데이터 처리 효율성을 극대화할 수 있습니다. 이로써 조직은 데이터 기반 의사결정을 빠르고 정확하게 내릴 수 있습니다.

1. S3 의 암호화 기능

쟈누 — Fri, 10 Jan 2025 15:26:31 +0900

1. 전송 중 암호화

데이터를 S3로 업로드하거나 S3에서 다운로드할 때 네트워크를 통해 데이터를 안전하게 전송하기 위해 사용
안전한 데이터 보호 : HTTPS를 통해 데이터를 전송하여 데이터가 중간에서 가로채이더라도 읽을 수 없도록 보호
자동 적용 : HTTPS를 기본 프로토콜로 사용하며, 데이터 전송 시 자동으로 암호화가 이루어짐
사용자 설정 불필요 : 데이터를 전송할 때, HTTPS를 기본적으로 사용하여 별도의 설정 없이도 데이터가 안전하게 전송

2. 저장 중 암호화 (서버 측 암호화, SSE)

1. Amazon S3 관리형 키를 사용한 서버 측 암호화(SSE-S3)

쉽고 자동화된 기본 암호화 방식: Amazon S3가 제공하는 기본 암호화(자동으로 적용)
객체별 암호화 키 사용 : 업로드되는 데이터마다 주기적으로 교체되는 고유한 암호화 키를 생성하며, 이는 보안성이 매우 높음
강력한 암호화 기술 : 데이터를 암호화할 때, AES-256이라는 강력한 암호화 표준을 사용

2. AWS KMS 키(SSE-KMS)를 사용한 서버 측 암호화

많은 제어 가능: AWS KMS(Key Management Service)를 통해 암호화 키의 생성, 관리, 모니터링이 가능
(예를 들어, 특정 키에 대한 액세스 권한을 제어, AWS CloudTrail을 통한 키 사용 내역 추적 가능)
맞춤형 키 관리 옵션:
- AWS 관리형 키 : AWS가 키를 자동으로 생성하고 관리
- 고객 관리형 키 : 사용자가 직접 키를 생성하고, 정책과 권한 설정 가능

3. AWS KMS 키를 사용한 이중 계층 서버 측 암호화(DSSE-KMS)

더 높은 보안 수준 제공: 다른 2개의 KMS 키를 사용하여, 같은 데이터를 두 번에 걸쳐 암호화를 적용
( 첫번째 데이터 암호화 -> 암호화된 첫번재 데이터를 한번 더 암호화)
키 완전 제어 : 사용자는 암호화 키를 완벽하게 관리하며, 모든 암호화 프로세스를 직접 통제 가능

3. Glue 의 컨셉

쟈누 — Wed, 8 Jan 2025 23:33:34 +0900

1. AWS Glue 요약

AWS Glue는 완전 관리형 ETL(추출, 변환, 로드) 서비스로, 데이터 소스와 대상을 쉽게 연결하여 데이터를 이동하고 처리할 수 있도록 설계되었으며, ETL 프로세스를 단순화하여 데이터 준비 및 변환 작업을 효율적으로 수행할 수 있도록 지원합니다.

2. 핵심 구성 요소

데이터 카탈로그(Data Catalog)
- 메타데이터 저장소로 테이블 정의, 작업 정의, ETL 워크플로우를 관리하는 제어 정보 포함.
크롤러(Crawlers)
- 데이터 소스에 연결하여 스키마를 분석하고, 데이터 카탈로그에 메타데이터 테이블 정의를 생성.
ETL 작업(ETL Jobs)
- Apache Spark 스크립트를 사용하여 데이터를 변환하고 대상을 채우는 비즈니스 로직.
트리거(Triggers)
- 스케줄이나 이벤트에 따라 작업 실행을 시작.

3. 일반적인 워크플로우

데이터 소스 및 대상 정의: 데이터 카탈로그에서 데이터 스키마와 메타데이터 정의.
크롤러 사용: 데이터 소스에서 메타데이터를 자동으로 가져와 테이블 정의 생성.
ETL 작업 정의: 스크립트를 작성하여 데이터 추출, 변환, 로드 작업 설정.
작업 실행: 필요 시 수동 실행 또는 트리거를 기반으로 자동 실행.
작업 모니터링: 대시보드를 통해 작업 성능 확인.

4. AWS Glue 주요 용어

데이터 카탈로그: 메타데이터 저장소로 각 AWS 계정과 리전에 하나씩 존재.
크롤러: 데이터 소스에 연결해 스키마를 분석하고 테이블 정의 생성.
다이내믹 프레임(Dynamic Frame): 구조적 및 비구조적 데이터를 처리하기 위한 유연한 테이블.
스크립트: PySpark 또는 Scala로 작성된 ETL 작업을 위한 코드.
작업 대시보드: 작업 실행 시간, 성공률 등 작업 성능 모니터링.
노트북 인터페이스: Jupyter 기반으로 스크립트를 개발, 디버깅, 배포할 수 있는 환경.
트리거: 스케줄 또는 이벤트 기반으로 ETL 작업 실행.
작업자(Worker): ETL 작업 실행을 위한 데이터 처리 단위(DPU).

5. 특징 및 이점

자동화된 스키마 관리
크롤러와 데이터 카탈로그를 활용해 데이터 소스의 메타데이터를 자동으로 수집 및 관리.
서버리스 환경
- 별도의 인프라 관리 필요 없음.
- 실행한 만큼만 비용 지불(DPU 기준).
다양한 데이터 소스와 통합
- Amazon S3, RDS, DynamoDB, Redshift 등 AWS 데이터 서비스뿐 아니라 JDBC 연결 및 타사 데이터베이스 지원.
데이터 변환 지원
- 다이내믹 프레임과 Apache Spark 환경을 활용해 반구조적 데이터 처리 및 변환 가능.
사용 편의성
- 시각적 작업 편집기 및 노트북 인터페이스로 직관적인 데이터 파이프라인 작성.
- 트리거로 일정 및 이벤트 기반 작업 자동화.

2. Glue 작동원리

쟈누 — Wed, 8 Jan 2025 22:57:54 +0900

1. AWS Glue 요약

AWS Glue는 서버리스 ETL(추출, 변환, 로드) 서비스로, 데이터를 효율적으로 준비하고 처리하며, 데이터 웨어하우스 및 데이터 레이크를 구축하는 데 도움을 주며, 사용자가 데이터 소스와 대상 간의 데이터 변환 및 로드를 자동화하여 데이터 분석 및 머신러닝 프로젝트를 효율적으로 수행할 수 있도록 설계되었습니다.

2. 주요 특징

ETL 작업 관리
- 데이터 추출, 변환, 적재를 자동화.
- 작업 로직 저장 및 실행 모니터링.
- 런타임 로그 및 알림 생성.
서버리스 환경
- 인프라 프로비저닝 필요 없음.
- 따뜻한 인스턴스 풀을 활용하여 작업 시작 시간 단축.
데이터 처리 및 통합
- 다양한 데이터 소스 및 대상을 지원:
  - Amazon S3, DynamoDB, Redshift, RDS, JDBC 호환 데이터베이스 등.
- 데이터 스트리밍 지원:
  - Amazon Kinesis, Apache Kafka.
Data Catalog 활용
- 테이블 정의를 통해 데이터 스키마 관리.
- 작업은 스크립트로 구성되며 트리거를 통해 일정하거나 이벤트 기반으로 실행.
보안 및 격리
- 고객 데이터 보호 및 격리된 환경에서 실행.
- IAM 역할, VPC, 서브넷, 보안 그룹을 통해 데이터 소스 및 대상에 접근.
네트워크 관리
- 탄력적 네트워크 인터페이스(ENI)를 활용하여 데이터 소스 및 대상 접근.
- AWS CloudTrail과 연계하여 API 호출 감사 가능.
지원되는 엔진
- Apache Spark와 Ray를 사용한 데이터 처리.

1. Glue 란 무엇인가?

쟈누 — Tue, 7 Jan 2025 21:35:11 +0900

AWS Glue란?

AWS Glue는 데이터를 쉽게 검색, 준비, 이동 및 통합할 수 있는 서버리스 데이터 통합 서비스입니다. 데이터를 분석, 머신 러닝, 애플리케이션 개발에 활용할 수 있도록 지원하며, 추가 생산성 도구와 데이터 운영 기능도 제공합니다.

주요 특징

서버리스 아키텍처
- 관리할 인프라 없이 데이터 통합 가능.
- ETL(Extract, Transform, Load), ELT, 스트리밍 데이터 처리 모두 지원.
중앙 데이터 카탈로그
- 70개 이상의 데이터 소스를 연결, 중앙 집중화된 데이터 관리.
- 데이터 스키마와 권한을 체계적으로 관리 가능.
유연한 데이터 처리 및 확장성
- 다양한 데이터 유형 및 크기를 지원.
- 수요에 따라 자동 확장 가능.
- 종량제 요금제로 비용 최적화.

주요 기능

AWS Glue의 기능은 세 가지 주요 범주로 나뉩니다.

데이터 검색 및 구성
- 여러 데이터 소스를 통합하여 중앙 집중화된 데이터 카탈로그에 저장.
- AWS Glue 크롤러로 자동 데이터 스키마 추론 및 카탈로그화.
- 데이터베이스 및 테이블 권한 관리.
- AWS와 온프레미스 데이터 소스를 연결해 데이터 레이크 구축.
데이터 변환, 준비 및 정리
- 시각적 ETL 작업 캔버스를 통해 데이터를 시각적으로 변환.
- 스트리밍 데이터 정리 및 변환으로 실시간 데이터 처리.
- 머신 러닝 기반 데이터 중복 제거 및 정리(FindMatches).
- 민감한 데이터 감지 및 관리.
- 대화형 세션으로 ETL 코드 편집, 디버깅, 테스트 지원.
데이터 파이프라인 구축 및 모니터링
- 작업 부하에 따라 리소스 자동 확장 및 축소.
- 이벤트 기반 트리거로 작업 자동화.
- Spark, Ray 엔진 기반 작업 실행 및 실시간 모니터링.
- 복잡한 워크플로 설계 및 종속 작업 체계화.

AWS Glue Studio

AWS Glue Studio는 시각적 인터페이스를 제공해 데이터 통합 작업을 쉽게 설계, 실행, 모니터링할 수 있도록 지원합니다.

시각적 워크플로 설계.
작업 스크립트 편집 및 디버깅.
Apache Spark 기반 서버리스 ETL 엔진 통합.

AWS Glue의 장점

운영 효율성: 서버리스로 관리 부담 감소.
비용 절감: 필요할 때만 리소스 사용.
확장성: 데이터 크기와 유형에 관계없이 지원.
AWS 생태계 통합: Amazon S3, Athena, Redshift 등과 연동.

AWS Glue는 데이터 통합을 단순화하고, 데이터를 분석과 머신 러닝에 더 빠르게 활용할 수 있는 이상적인 서비스입니다.

[AWS] IAM IamPass Role 에 대한 간단한 정리

쟈누 — Fri, 8 Mar 2024 10:27:06 +0900

1. 정의

IamPass role"은 다른 서비스가 특정 서비스를 이용할 수 있는 권한을 제공하는 역할을 말함

2. 예시

하나의 서비스가 다른 서비스의 API를 호출하거나 데이터에 접근할 때, 해당 서비스가 필요로 하는 인증 및 권한 부여를 위해 "IamPass role"을 사용할 수 있음
이를 통해 서비스 간의 상호 작용이 보안적으로 관리될 수 있음

[Redshift Error] Caused by: com.amazon.redshift.util.RedshiftException: ERROR: COPY with MANIFEST parameter requires full path of an S3 object

쟈누 — Wed, 6 Mar 2024 15:33:24 +0900

1. 원인

glue spark job 에서 redshift 작업을 할 때, iam role 이 필요함.
이를 위해 aws_iam_role로 glue 에서 s3와 redshift 에서 작업할 수 있는 권한을 주어야 함.
하지만, 기입한 role에 작업할 수 있는 권한이 없거나, 잘못 기입되었을 떄 발생
나의 경우에는 기입한 iam 이 잘못 기입되어 있어서 발생함(아래와 같이 입력해야 한다)

2. 해결방법

아래 예제에 있는대로 입력을 해야 한다.

3. 참고 링크

https://stackoverflow.com/questions/60923776/redshift-copy-from-parquet-manifest-in-s3-fails-and-says-manifest-parameter-requ

Redshift copy from Parquet manifest in S3 fails and says MANIFEST parameter requires full path of an S3 object

I'm using Firehose to put records in Parquet format in an S3 bucket. I've manually defined a glue table. So I've got a manifest like { "entries": [ {"url":"s3://my-bucket/file1.parquet"}, ...

stackoverflow.com

[RDS Error] Cannot create a publicly accessible DBInstance. The specified VPC does not support DNS resolution, DNS hostnames, or both. Update the VPC and then try again (Service: AmazonRDS; Status Code: 400; Error Code: InvalidVPCNetworkStateFault

쟈누 — Wed, 6 Mar 2024 15:26:53 +0900

1. 원인

RDS에서 public access 시 dns 관련 설정이 허용되지 않아 작업을 못하면서 벌어지는 에러

2. 참고 링크

https://iamreadytocommit.tistory.com/42

aws RDS 생성중 VPC 관련 에러가 발생하는 경우

RDS 생성중 아래와 같은 에러가 발생했다. Cannot create a publicly accessible DBInstance. The specified VPC does not support DNS resolution, DNS hostnames, or both. Update the VPC and then try again (Service: AmazonRDS; Status Code: 400; Error

iamreadytocommit.tistory.com