전체 글

이제 Amazon Relational Database Service(RDS) for PostgreSQL에서 PostgreSQL의 최신 마이너 버전인 16.2, 15.6, 14.11, 13.14 및 12.18을 지원합니다. 이번 RDS for PostgreSQL 릴리스에는 병렬 처리, 인메모리 빌드 등 Hierarchical Navigable Small Worlds(HNSW) 인덱스 빌드를 위한 성능을 향상하는 pgvector 0.6.0에 대한 지원도 포함되어 있습니다. 최신 마이너 버전으로 업그레이드하여 PostgreSQL 이전 버전의 알려진 보안 취약점을 해결하고 버그 수정, 성능 개선 및 PostgreSQL 커뮤니티에서 추가된 새로운 기능의 이점을 누리시기 바랍니다. 자동 마이너 버전 업그레이드를 활..

1. AWS CloudHSM 이란? AWS CloudHSM 서비스는 AWS 클라우드 내에서 전용 HSM(Hardware Security Module) 인스턴스를 사용함으로써 데이터 보안에 대한 기업, 계약 및 규제 준수 요구 사항을 충족하는 데 도움이 됩니다. AWS와 AWS Marketplace 파트너는 AWS 플랫폼의 중요한 데이터를 보호하기 위한 다양한 솔루션을 제공하지만, 암호화 키 관리에 대한 계약 또는 규제 요건이 적용되는 일부 애플리케이션과 데이터의 경우 추가 보호가 필요할 수 있습니다. CloudHSM은 기존의 데이터 보호 솔루션을 보완합니다. 이를 통해 사용자는 안전한 키 관리를 위한 정부 표준에 따라 설계되고 검증된 HSM 내에서 암호화 키를 보호할 수 있습니다. CloudHSM을 사용..

1. 원인 A 계정에서 B 계정에 접속해서 작업을 하려고 할 때, 작업을 위해 B계정의 특정 Role 을 부여 받는데, 그 때 B계정에서 부여받은 role 을 A 계정이 이용할 권한이 없으면 발생하는 에러 2. 해결 방법 신뢰 관계에서 sts:assumerole 의 principal 에 A계정의 유저를 추가 { "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Principal":{ "AWS":[ "arn:aws:iam::123456789012:user/user1", "arn:aws:iam::123456789012:user/user2" ], "Service":"ec2.amazonaws.com" }, "Action":"sts:AssumeRole" } ..

1. 원인 lambda 실행시 PutJobSuccessResult 작업을 호출할 수 있는 권한이 없을 경우 발생 lambda 에서 PutJobSuccessResult를 호출하지 않았을 경우에도 발생 2. 해결 방안 우선 IAM 유저를 이용할 경우 Root 유저를 이용해서 IAM 유저에게 PutJobSuccessResult 정책을 사용할 수 있는 권한을 할당할 것 그 다음 IAM 유저로 돌아가서 Lambda 함수에 사용할 Role 에 아래의 정책 필드를 붙여넣기 할 것 { "Version": "2012-10-17", "Statement": [ { "Action": [ "logs:*" ], "Effect": "Allow", "Resource": "arn:aws:logs:*:*:*" }, { "Action":..

엑세스 키 생성방법이 잘 기록되어 있어 나중에 참고하기 위해 링크를 저장 https://coding-nurse.tistory.com/239 [AWS] IAM사용자의 엑세스키 ID와 비밀 엑세스키를 잊어버렸을 때 (access key ID, secret access key) 어서와 ~~ IAM사용자의 엑세스키 ID와 비밀 엑세스키를 잊어버렸다구?? 걱정마.. 방법이 있으니까 😉 AWS 엑세스키 ID , 비밀번호 잊어버렸을 때 * 먼저 IAM을 생성했을 때 엑세스키를 저장하는 단계 coding-nurse.tistory.com

오늘 회사에서 DBA 분들의 이야기를 듣다가 Postgres에 analyze 기능에 대해 듣게됨 1. Analyze 는 포스트그리가 데이터의 수량을 자동으로 업데이트 하는 기능 2. 즉, 포스트그리 자체에서 수량 및 기타 메타 데이터를 최신화하기 위해서 사용하는 기능 3. 이 Analyze 가 제대로 안될 경우에는 수동으로 재실행시킬 수 있음 4. 제대로 안되었을 경우에는 100만건이 있는데 1000만건이 있다고 할 수 있고 5. 10초가 걸리던 쿼리가 100초가 걸릴수도 있으며, 6. 용량에 원래는 20GB 인데 100GB 로 잘못 인지를 하고 작업을 할 수 있다.

1. 정의 => union(교집합)/ interction(합집합) - 테이블 2개가 서로 join을 할 때, 두 Table 사이에 유효 join 조건을 적지 않았따면, 해당 테이블에 대한 모든 데이터를 전부 결합하여 Table에 존재하는 행 갯수를 곱한 만큼의 결과값이 반환되는 것이다. => Table A 의 row : 3 개 / Table B 의 row : 3 개 => 카테시안 곱 발생시 : 9개의 Row 출력 2. 원인 카테시안 곱은 join 쿼리 중에 WHERE 절에 기술하는 join 조건이 잘못 기술되었거나 아예 없을 경우 발생하는 현상 3. 예시 TABLE Student Student_ID Student_NM Student_Total_Score 1 AAA-001 학생1 97 2 AAA-002 학..

1. 원인 Join 시에 조인한 테이블간 같은 컬럼을 select 하려고 할 때 발생하며 이로 인해 count 문이라던지 서브쿼리로 감싸서 활용하고자 할 때 컬럼이 여러번 지정되었다며 에러가 발생할 수 있음 2. 해결 방법 해결방법은 의외로 간단함 1. 컬럼들을 기입한 경우, 기입한 컬럼 간에 중복되는 컬럼이 없나 살펴보며 2. 만약 Asterisk(*) 로 한경우, table_name.* 같이 구별할 수 있게 만들어주어 중복을 피한다.

1. 에러 원인 에러의 원인은 의외로 쉽다. datetime 에서 설정한 값의 범위를 벗어났다는 것이다. 예를 들면, 2023-12-31 인데, 2023-12-32 등과 같이 날짜의 범위를 벗어나는 데이터가 존재할 경우 위와 같은 에러가 발생한다. 2. 해결 방법 try_cast 문을 사용하면 해결할 수 있다. try_cast 문은 MSSQL 에서 캐스팅을 진행할 때, 해당 데이터 타입의 범위를 벗어나는 값이 존재하면 해당 값을 null 로 넣고 변환하는 함수이다. 3. 우려사항 아직 감은 잘 안잡히지만, 정합성 검증과 같은 작업을 진행할 시 null 된 값들이 안잡힐 수 있으므로.. 정합성이 잘 맞지 않을 수 있겟다라는 생각이 든다 4. 사용 방법 SELECT count(1) FROM dbo.table..

1. Glue Connection 이란 - AWS Glue에서 데이터 스토어나 데이터베이스와의 연결을 설정하는 데 사용되는 서비스 - 예를 들어, AWS Glue는 데이터를 추출, 변환, 로드(ETL)하기 위해 다양한 소스에서 데이터를 가져올 수 있음 - 즉, Glue Connection은 이런 데이터 소스와 Glue의 ETL 작업 간의 다리 역할을 하는 서비스 2. Glue Connection 을 사용할 경우 Glue Job 은 어디서 도는 것인가 - Glue Job 은 VPC 외부에서 돌며, Glue connection 을 이용해 vpc-subnet 을 타고 들어가 외부와 통신을 함 - 왜냐하면, Glue 는 퍼블릭 서비스이기 때문에 VPC 외부에 생성이 됨 - 하지만, Glue Connection ..