쟈누이의 기록습관

1. 원인 glue spark job 에서 redshift 작업을 할 때, iam role 이 필요함. 이를 위해 aws_iam_role로 glue 에서 s3와 redshift 에서 작업할 수 있는 권한을 주어야 함. 하지만, 기입한 role에 작업할 수 있는 권한이 없거나, 잘못 기입되었을 떄 발생 나의 경우에는 기입한 iam 이 잘못 기입되어 있어서 발생함(아래와 같이 입력해야 한다) 2. 해결방법 아래 예제에 있는대로 입력을 해야 한다. 3. 참고 링크 https://stackoverflow.com/questions/60923776/redshift-copy-from-parquet-manifest-in-s3-fails-and-says-manifest-parameter-requ Redshift copy..

1. 원인 RDS에서 public access 시 dns 관련 설정이 허용되지 않아 작업을 못하면서 벌어지는 에러 2. 참고 링크 https://iamreadytocommit.tistory.com/42 aws RDS 생성중 VPC 관련 에러가 발생하는 경우 RDS 생성중 아래와 같은 에러가 발생했다. Cannot create a publicly accessible DBInstance. The specified VPC does not support DNS resolution, DNS hostnames, or both. Update the VPC and then try again (Service: AmazonRDS; Status Code: 400; Error iamreadytocommit.tistory.com

1. 원인 A 계정에서 B 계정에 접속해서 작업을 하려고 할 때, 작업을 위해 B계정의 특정 Role 을 부여 받는데, 그 때 B계정에서 부여받은 role 을 A 계정이 이용할 권한이 없으면 발생하는 에러 2. 해결 방법 신뢰 관계에서 sts:assumerole 의 principal 에 A계정의 유저를 추가 { "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Principal":{ "AWS":[ "arn:aws:iam::123456789012:user/user1", "arn:aws:iam::123456789012:user/user2" ], "Service":"ec2.amazonaws.com" }, "Action":"sts:AssumeRole" } ..

1. 원인 lambda 실행시 PutJobSuccessResult 작업을 호출할 수 있는 권한이 없을 경우 발생 lambda 에서 PutJobSuccessResult를 호출하지 않았을 경우에도 발생 2. 해결 방안 우선 IAM 유저를 이용할 경우 Root 유저를 이용해서 IAM 유저에게 PutJobSuccessResult 정책을 사용할 수 있는 권한을 할당할 것 그 다음 IAM 유저로 돌아가서 Lambda 함수에 사용할 Role 에 아래의 정책 필드를 붙여넣기 할 것 { "Version": "2012-10-17", "Statement": [ { "Action": [ "logs:*" ], "Effect": "Allow", "Resource": "arn:aws:logs:*:*:*" }, { "Action":..

1. 원인 Join 시에 조인한 테이블간 같은 컬럼을 select 하려고 할 때 발생하며 이로 인해 count 문이라던지 서브쿼리로 감싸서 활용하고자 할 때 컬럼이 여러번 지정되었다며 에러가 발생할 수 있음 2. 해결 방법 해결방법은 의외로 간단함 1. 컬럼들을 기입한 경우, 기입한 컬럼 간에 중복되는 컬럼이 없나 살펴보며 2. 만약 Asterisk(*) 로 한경우, table_name.* 같이 구별할 수 있게 만들어주어 중복을 피한다.

1. 에러 원인 에러의 원인은 의외로 쉽다. datetime 에서 설정한 값의 범위를 벗어났다는 것이다. 예를 들면, 2023-12-31 인데, 2023-12-32 등과 같이 날짜의 범위를 벗어나는 데이터가 존재할 경우 위와 같은 에러가 발생한다. 2. 해결 방법 try_cast 문을 사용하면 해결할 수 있다. try_cast 문은 MSSQL 에서 캐스팅을 진행할 때, 해당 데이터 타입의 범위를 벗어나는 값이 존재하면 해당 값을 null 로 넣고 변환하는 함수이다. 3. 우려사항 아직 감은 잘 안잡히지만, 정합성 검증과 같은 작업을 진행할 시 null 된 값들이 안잡힐 수 있으므로.. 정합성이 잘 맞지 않을 수 있겟다라는 생각이 든다 4. 사용 방법 SELECT count(1) FROM dbo.table..

1. 원인 프로시져 문에서 문법 오류가 발생했을 때 에러가 뜸 2. 해결 방법 흔한 방법이지만, 에러문에 힌트가 있음... -> 이게 어렵지..인내심을 가지고 찾는다는 것이.. 나의 에러문은 아래와 같았음 begin case declare end exception exit for goto if loop mod null pragma raise return select update while with 즉 문법에 문제가 있다는 것이다... oracle 프로시져 문의 문법을 찾아 해맸음... 그 결과 다른 쿼리를 실행시키려면... execute immediate 를 계속 붙여야 한다는 것을 알게됨 적용 후 성공(쿼리는 아래와 같음..) .option("sessionInitStatement","""BEGIN ex..

- cpu 를 1개로 설정할 것은 processors 에서 cpu 를 2개로 설정하니 해결함 - 아래 링크 참고 해서 해결할 것 https://sosopro.tistory.com/190 [버추얼박스] 우분투 설치실패 kernel panic not syncing 버추얼박스에 우분투를 설치하는데 아래와 같은 에러메세지가 발생해서 설치가 안되는 경우 해결방법입니다. kernel panic not syncing : Attempted to kill the idle task. I got this error while plugging Ubuntu virtual ma sosopro.tistory.com

아래 링크를 참고해서 해결할 것 https://phoenixnap.com/kb/ssh-permission-denied-publickey How to Fix SSH Failed Permission Denied (publickey,gssapi-keyex,gssapi-with-mic) The SSH Permission Denied (publickey,gssapi-keyex,gssapi-with-mic) appears on SSH login. This tutorial features the steps to fix the error. phoenixnap.com

1. 원인 현재 yum 에서 특정 프로세스를 사용하고 있어서 나타나는 에러 2. 해결 방법 아래 참고 링크의 2번을 참고하여 yum.pid 파일을 제거함 3. 참고 링크 https://bono915.tistory.com/entry/Linux-%EB%A6%AC%EB%88%85%EC%8A%A4-yum-%EC%98%A4%EB%A5%98-Another-app-is-currently-holding-the-yum-lock-waiting-for-it-to-exit. [Linux] 리눅스 yum 오류 Another app is currently holding the yum lock; waiting for it to exit... 리눅스(Linux)에서 yum을 실행하다 보면 아래 그림과 같은 오류가 날때가 있습니다. ..