1. 개요 기본적으로 파이썬이 설치가 되어 있지만 파이썬 라이브러리 설치 라이브러리인 pip 가 설치가 안되어 있는 경우도 종종 있다. 그럴때 아래 링크를 참고하여 pip 를 설치하도록 하자 (추후 제대로 정리) 2. 참고 링크 https://docs.aws.amazon.com/ko_kr/elasticbeanstalk/latest/dg/eb-cli3-install-linux.html Linux에 Python, pip 및 EB CLI 설치 - AWS Elastic Beanstalk Linux에 Python, pip 및 EB CLI 설치 EB CLI에는 Python 2.7, 3.4 또는 그 이상이 필요합니다. 배포가 Python과 함께 제공되지 않았거나 이전 버전과 함께 제공된 경우 pip 및 EB CLI를..

1. 개요 해당 리눅스 모드는 기본적으로 사용하는 aws-linux 이며, 여기서 사용한 방법은 ubuntu 나 centos 에서도 공통적으로 적용할 수 있는 방법이다 2. 방법 1) EC2 SSH 에 접속한다. 2) 계정 및 비밀번호를 설정 한다. # 계정 생성 sudo adduser [new_user] # 비밀번호 설정 sudo passwd [new_user] 3) new_user 홈 디렉토리에 .ssh 경로 생성 # home 디렉토리에 생성 sudo mkdir /home/new_user/.ssh 4) authorized_key 파일 복사 sudo cp /home/ec2-user/.ssh/authorized_keys /home/new_user/.ssh 5) 그다음에 접속할 수 있는 권한을 변경해 준다..

2.2.1 EC2(Elastic Compute Cloud)란? EC2는 AWS에서 제공하는 클라우드 컴퓨팅 서비스다. AWS에서 사용할 수 있는 원하는 시간만큼 사용할 수 있는 리눅스 서버라고 생각하면 된다. 이 서비스를 통해서 아마존이 각 세계에 구축한 데이터 센터의 서버용 컴퓨터들의 자원을 원격으로 사용할 수 있다. 쉽게 말해, 아마존으로 부터 한 대의 컴퓨터를 임대하는 것이다. EC2 는 필요할 때마다 켜고 끌 수 있으며 사용한 시간에 대해서만 비용을 지불하면 된다. AWS가 제공하는 URL(Public DNS)를 통해 이 컴퓨터에 접근할 수 있다. 2.2.2 EC 2 생성시 중요한 개념 3가지 1) AMI EC2 인스턴스의 기반이 되는 이미지 윈도우 CD, ISO 파일을 만드는것과 같은 원리 AM..

RDS Mysql 을 MySQL의 워크벤치와 연결하기 위해서는 아래의 이미지와 같이 endpoint, port 아이디, 비번이 필요하지만, 위의 사항들을 통해 단순하게 워크벤치에 연결하고자 하면 항상 실패를 하기 때문에 보안 설정에서 MySQL 에 대해서 연결 설정을 해주어야 한다. 그 다음에, 보안그룹의 인바운드 규칙 편집을 눌러서 MySQL 의 인바운드 규칙을 추가해주어야 한다. 연결하는 사진은 아래와 같다. 추가된 사진은 아래와 같다. 이로써, 어떠한 IP 주소로라도 사용해서 MySQL 에 접속할 수 있게 되었다. 외부에서 워크벤치를 통해 연결하기 위해서는 반드시 1 인바운드 설정을 해주어야하는 점 다시는 까먹지 말자 참고 링크 https://docs.aws.amazon.com/ko_kr/Amazo..

간단하게 생각하면 서버 없이 애플리케이션을 구축하고 실행하는 것이다. " 서버를 고려하지 않고, 애플리케이션을 구축하고 실행할 수 있다 " 고 적혀 있다. 이는 평상시 어느 특정 서비스를 운영을 할때 우리는 로컬 환경에서 서버를 운영한다. 하지만, 로컬에서 운용하는 서버 환경은 로컬 컴퓨터의 환경이나, 상태에 따라서 서버를 운용하는데 있어서 큰 제약이 따르고, 서버를 운용하지 않는 시간 때에도 운용, 유지보수 등 여러 비용이 들어간다. 만약 서버의 운용이 중단되는 때에는, 서버를 통해서 진행하고 있던 작업들이 모두 중단이 되는 단점이 존재한다. 하지만, AWS 를 통해서 서버를 운용할 경우에는 로컬보다 서버를 설치 운용하는데 비용이 적게 들어가고 무엇보다도, 장소에 제약을 극복하고 서버를 운용할 수 있다..

AWS에 대해서 공부하면서 presto 에 대해서 접하게 되었다. AWS 에 쓰여져 있는 설명을 간단하게 적자면, 여러 소스의 대규모 데이터 세트에 대한 대화형 분석 쿼리를 위해 설계된 빠른 SQL 쿼리 엔진이다. 프레스토는 어떠한 사이즈의 데이터에서도 바르게 쿼리를 통해 원하는 분석을 할 수 있게 디자인 된 SQL 쿼리 엔진이라고 한다. RDS 와 NON RDS 까지 모두 지원을 하는 시스템으로 이뤄져 있다. 프레스토는 흩어져있는 분석 시스템으로부터 데이터를 이동시킬 필요 없이 저장된 장소에서 쿼리를 통해 분석을 할 수 있다고 한다. 자세한 내용은 아래 링크를 참고하면 될 것 같다 참고 링크 https://knight76.tistory.com/entry/%ED%94%84%EB%A0%88%EC%8A%A4..

처음 AWS 를 이용할 경우에는 과금에 주의를 해야한다. AWS 를 사용하고 있지만, 클라우드이기 때문에 생각한것 보다 많은 양의 과금이 나올수 있는점 주의해야한다.. 우선, 프리티어의 경우에는 1년동안 많은 서비스들을 일정기준으로 무료로 사용할 수 있다. (하지만, 일부 서비스들은 아닌 점 참고하자. 대표적으로 Athena 가 있을수 있다. Athena 는 1TB 당 5USD 정도 비용이 들어서, 개인적인 사이드 프로젝트를 한다면 적당한 비용이라고 생각한다...) 아래 링크에 들어가면 프리티어에 대한 자세한 사항을 볼 수 있다. https://aws.amazon.com/ko/free/?all-free-tier.sort-by=item.additionalFields.SortRank&all-free-tier..

개인적으로 인강과 사이드 프로젝트를 들으면서 AWS 에서 사용하게되는 서비스들에 대해서 간단하게 기록하고자 한다. 나중에 내가 반드시 다시 사용할 것들이기 때문에 추후에 어떤 것인지 다시 인지하고 어떤 서비스가 효율적일지 선택하기 위해서이다. 가장 좋은 글이 있어 링크 참고한다 꼭 읽어야 겠다 틈틈히.. https://bunjang.github.io/back-end/2019/03/11/bunjang-athena.html 번개장터 기술블로그 A Blog for Bunjang Technology. bunjang.github.io 1. Athena 란? AWS 에 따르면, Athena 는 Amazons S3(simple storage service) 에서 표준 SQL 을 사용하여 데이터를 쉬게 바로 분석할 수..

어쩌다..AWS 홍보가 되버린듯하지만.. AWS 가 이렇게 많은 기능이 있었나? 다시금 생각해보는 시간이 되었다 아직도 파이썬으로만 머신러닝하니? 난 SQL 바로 쓴다 세이즈 메이커, 컴프리핸드 머신러닝에서 학습모델을 sql 모델 서비스인 아테나로 호출해서 부르는 서비스가 있다. 분석환경의 변화 그리고 변하지 않은 비즈니스 1. 진화하는 데이터 분석 환경 o 비즈니스 인텔리전스 대신 ai o 비즈니스 분석가보단 데이터 분석가 o 값비산 분석 소프트웨어 대신 개발자 커뮤니티에서 유행하는오픈 소스 협업 툴 o 데이터 분석 역량이 기업 보편 역량 2. 변함없는 비즈니스 목표 o 기업은 여전히 revenue 창출이 목표 o 기술은 비즈니스에 활용될때 유효하다. Create an analytics flywhell..

최근 데이터 엔지니어링 강의를 들으면서 aws 에 대해서 조금씩 접하고 있다. 우선 aws glue 라는 서비스이다 aws 홈페이지의 설명은 아래와 같다 AWS Glue는 고객이 분석을 위해 손쉽게 데이터를 준비하고 로드할 수 있게 지원하는 완전관리형 ETL (추출, 변환 및 로드) 서비스입니다 AWS 관리 콘솔에서 클릭 몇 번으로 ETL 작업을 생성하고 실행할 수 있습니다. 빅데이터 분석 시 다양한 데이터 소스에 대한 전처리 작업을 할 때, 별도의 데이터 처리용 서버나 인프라를 관리할 필요가 없습니다 라고 되어 있다. 라는 것을 보면 ETL 작업에 대한 전반적인 프로세스를 한번에 처리할 수 있는 그런 서비스인 것 같다는 생각이 든다. 소개하고 있는 장점은 아래 이미지와 같다 AWS 에서 구축한 여러 데..