쟈누이의 기록습관

1. 개요 이번에 HDC 프로젝트를 진행하면서 glue 서비스를 사용했음 glue 를 돌릴 때, glue 외부에서 어떻게 파라미터를 넣는지 몰랐는데 이번에 알게 되었음 2. 방법 - 간단함. sys 변수에 환경변수를 통해 파라미터를 넣어주는 코드를 짜고 - Glue 의 getResolvedOptions 함수를 이용하여 sys 변수에 있는 변수를 꺼내주면 됨 3. 샘플 1) MWAA 코드 glue_task_AAAA = GlueJobOperator( task_id = 'glue_task_samp;le', job_name = 'sample-mssql-job', script_args = { '--query' : "select * from dbo.sample_table a", '--table_name' : "sa..

1. 에러 원인 해당 에러의 원인은 aws 람다 실행시 람다에 패키지가 올라가 있지 않은 상태인 것이다. --> 패키지를 올려주면 에러가 해결이 될 수 있다. 2. 해결 방법 --> 람다에서 사용할 패키지를 모아 zip 파일 형태로 올리면 된다. 람다는 제약사항이 존재하는데 아래와 같다 1) 에러가 뜬 패키지들을 따로 모아서 압축한다. ( 로컬 프로젝트 에 들어가면 패키지를 모아논 Scripts 를 볼 수 있다 거기서 가져온다) 2) lambda 계층에 들어가서 zip 파일을 업로드한다. 전부 완성했으면 아래와 같이 생성된다 3) 해당 계층을 사용할 람다와 연결한다 4) 끝 3. 참고 링크 https://blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=..

1. sbt 란 SBT는 최신 빌드 도구 중 하나 스칼라로 작성되었고, 스칼라에 사용하기 편한 기능을 많이 제공함 2. sbt 사용 이유 의존성 관리 의존성 관리에 Ivy를 사용 요청이 올때만 업데이트(Only-update-on-request) 모델 태스크를 작성할 수 있도록 스칼라 언어 전체를 지원 연속으로 명령 실행 프로젝트 문맥(환경)하에서 REPL 실행 가능 3. 설치 방법 # remove old Bintray repo file # 1. 기존 old repo 지우기 sudo rm -f /etc/yum.repos.d/bintray-rpm.repo # 2.sbt repo 받기 curl -L https://www.scala-sbt.org/sbt-rpm.repo > sbt-rpm.repo # 3. 옮기기..

aws 는 CentOS, Ubuntu 에서 yum, apt 를 이용하면 쉽게 다운로드 받을 수 있는 scala 에 대한 다운로드가 좀 어려운거 같다.... 혹시 모르니 우선 기록 1. 설치 방법 // 1번째 $ wget http://downloads.typesafe.com/scala/2.11.6/scala-2.11.6.tgz // 2번째 $ tar -xzvf scala-2.11.6.tgz // 3번째 - 받은 tgz 파일 삭제 $ rm -rf scala-2.11.6.tgz // 4번째 bashrc 에 설정하기 vi ~/.bashrc // 5. bashrc 소스 적용 $ source ~/.bashrc 적용 완료 2. 참고 링크 https://gist.github.com/diegopacheco/ee621e8..

가끔 인스턴스 상태 체크시 상태 유효성 검사가 중 실패했다는 에러가 뜬다 그럴 때는 아래왜 같이 체크하면 된다. 1. 상태 검사 체크 - 이 부분에서 시스템 상태검사 실패냐 인스턴스 상태 검사 실패냐에 따라 대응 방법이 달라진다 1) 시스템 상태 확인 2) 인스턴스 상태 확인 2. 모니터링 그래프 체크 모니터링 그래프를 체크하며 어느 부분에서 문제 있었는지 우선 체크 그 외 명령줄 체크도 있지만 우선 해당 부분은 나중에 체크하기로.. 3. 참고 링크 https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/monitoring-system-instance-status-check.html#viewing_status 인스턴스 상태 확인 - Amazon Elasti..

1. Cloud Front ? .html, .css, .js 및 이미지 파일과 같은 정적 및 동적 웹 콘텐츠를 사용자에게 더 빨리 배포하도록 지원하는 웹 서비스 CloudFront는 엣지 로케이션이라고 하는 데이터 센터의 전 세계 네트워크를 통해 콘텐츠를 제공한다 CloudFront를 통해 서비스하는 콘텐츠를 사용자가 요청하면 지연 시간이 가장 낮은 엣지 로케이션으로 요청이 라우팅되므로 가능한 최고의 성능으로 콘텐츠가 제공 캐싱을 통해 사용자에게 좀 더 빠른 전송 속도를 제공함이 목적 CloudFront는 전 세계 이곳저곳에 Edge Server(Location)을 두고 Client에 가장 가까운 Edge Server를 찾아 Latency를 최소화시켜 빠른 데이터를 제공 2. 예시 예를 들어, Cloud..

1. 에러 원인 해당 에러는 git에서 jenkins 서버로 webhook 이 제대로 발생하지 않을 때 일어남 대개 host 가 제대로 연결이 되지 않았을 경우 발생했다. aws 의 경우에는 보안그룹에서 git ip 를 막고 있었던 상황 2. 해결방법 Github의 Webhook은 아래 같이 지정된 IP주소를 사용하고 있다 그래서 젠킨스 서버가 있는 EC2의 보안그룹에 인바운드 규칙을 설정했다. 예전 답변들에는 3개밖에 없었는데 시간이 지나면서 또 업데이트가 되었나보다.. "hooks": [ "192.30.252.0/22", "185.199.108.0/22", "140.82.112.0/20", "143.55.64.0/20", "2a0a:a440::/29", "2606:50c0::/32" ], 아래 링크에..

1. IAM개요 AWS 의 리소스에 대한 개별적으로 접근할 수 있도록 접근 제어와 권한을 가지고, 계정 또는 그룹을 생성하여 계정의 보안을 관리하는 서비스이다. 한 루트 계정에 여러개의 IAM 계정을 만들어 각 계정마다 접근가능한 서비스에 제한을 둘 수 있다. IAM 계정이 없다면 AWS 루트 계정 자체가 모든 서비스에 대한 권한을 가지고 있기 때문에 보안상으로는 취약하다. 이를 극복하기 위해 IAM 계정을 생성해서 각 IAM 계정에 필요한 권한만 갖도록 설정이 가능하다. 2. 주요 기능 1) 계정에 대한 공유 엑세스 암호나 액세스 키를 공유하지 않고도 AWS 계정의 리소스를 관리하고 사용할 수 있는 권한을 다른 사람에게 부여 가능 2) 세분화된 권한 리소스에 따라 여러 사람 또는 EC2 인스턴스에서 실..

1. 개요 기본적으로 파이썬이 설치가 되어 있지만 파이썬 라이브러리 설치 라이브러리인 pip 가 설치가 안되어 있는 경우도 종종 있다. 그럴때 아래 링크를 참고하여 pip 를 설치하도록 하자 (추후 제대로 정리) 2. 참고 링크 https://docs.aws.amazon.com/ko_kr/elasticbeanstalk/latest/dg/eb-cli3-install-linux.html Linux에 Python, pip 및 EB CLI 설치 - AWS Elastic Beanstalk Linux에 Python, pip 및 EB CLI 설치 EB CLI에는 Python 2.7, 3.4 또는 그 이상이 필요합니다. 배포가 Python과 함께 제공되지 않았거나 이전 버전과 함께 제공된 경우 pip 및 EB CLI를..

1. 개요 해당 리눅스 모드는 기본적으로 사용하는 aws-linux 이며, 여기서 사용한 방법은 ubuntu 나 centos 에서도 공통적으로 적용할 수 있는 방법이다 2. 방법 1) EC2 SSH 에 접속한다. 2) 계정 및 비밀번호를 설정 한다. # 계정 생성 sudo adduser [new_user] # 비밀번호 설정 sudo passwd [new_user] 3) new_user 홈 디렉토리에 .ssh 경로 생성 # home 디렉토리에 생성 sudo mkdir /home/new_user/.ssh 4) authorized_key 파일 복사 sudo cp /home/ec2-user/.ssh/authorized_keys /home/new_user/.ssh 5) 그다음에 접속할 수 있는 권한을 변경해 준다..