쟈누이의 기록습관

AWS에 대해서 공부하면서 presto 에 대해서 접하게 되었다. AWS 에 쓰여져 있는 설명을 간단하게 적자면, 여러 소스의 대규모 데이터 세트에 대한 대화형 분석 쿼리를 위해 설계된 빠른 SQL 쿼리 엔진이다. 프레스토는 어떠한 사이즈의 데이터에서도 바르게 쿼리를 통해 원하는 분석을 할 수 있게 디자인 된 SQL 쿼리 엔진이라고 한다. RDS 와 NON RDS 까지 모두 지원을 하는 시스템으로 이뤄져 있다. 프레스토는 흩어져있는 분석 시스템으로부터 데이터를 이동시킬 필요 없이 저장된 장소에서 쿼리를 통해 분석을 할 수 있다고 한다. 자세한 내용은 아래 링크를 참고하면 될 것 같다 참고 링크 https://knight76.tistory.com/entry/%ED%94%84%EB%A0%88%EC%8A%A4..

처음 AWS 를 이용할 경우에는 과금에 주의를 해야한다. AWS 를 사용하고 있지만, 클라우드이기 때문에 생각한것 보다 많은 양의 과금이 나올수 있는점 주의해야한다.. 우선, 프리티어의 경우에는 1년동안 많은 서비스들을 일정기준으로 무료로 사용할 수 있다. (하지만, 일부 서비스들은 아닌 점 참고하자. 대표적으로 Athena 가 있을수 있다. Athena 는 1TB 당 5USD 정도 비용이 들어서, 개인적인 사이드 프로젝트를 한다면 적당한 비용이라고 생각한다...) 아래 링크에 들어가면 프리티어에 대한 자세한 사항을 볼 수 있다. https://aws.amazon.com/ko/free/?all-free-tier.sort-by=item.additionalFields.SortRank&all-free-tier..

개인적으로 인강과 사이드 프로젝트를 들으면서 AWS 에서 사용하게되는 서비스들에 대해서 간단하게 기록하고자 한다. 나중에 내가 반드시 다시 사용할 것들이기 때문에 추후에 어떤 것인지 다시 인지하고 어떤 서비스가 효율적일지 선택하기 위해서이다. 가장 좋은 글이 있어 링크 참고한다 꼭 읽어야 겠다 틈틈히.. https://bunjang.github.io/back-end/2019/03/11/bunjang-athena.html 번개장터 기술블로그 A Blog for Bunjang Technology. bunjang.github.io 1. Athena 란? AWS 에 따르면, Athena 는 Amazons S3(simple storage service) 에서 표준 SQL 을 사용하여 데이터를 쉬게 바로 분석할 수..

어쩌다..AWS 홍보가 되버린듯하지만.. AWS 가 이렇게 많은 기능이 있었나? 다시금 생각해보는 시간이 되었다 아직도 파이썬으로만 머신러닝하니? 난 SQL 바로 쓴다 세이즈 메이커, 컴프리핸드 머신러닝에서 학습모델을 sql 모델 서비스인 아테나로 호출해서 부르는 서비스가 있다. 분석환경의 변화 그리고 변하지 않은 비즈니스 1. 진화하는 데이터 분석 환경 o 비즈니스 인텔리전스 대신 ai o 비즈니스 분석가보단 데이터 분석가 o 값비산 분석 소프트웨어 대신 개발자 커뮤니티에서 유행하는오픈 소스 협업 툴 o 데이터 분석 역량이 기업 보편 역량 2. 변함없는 비즈니스 목표 o 기업은 여전히 revenue 창출이 목표 o 기술은 비즈니스에 활용될때 유효하다. Create an analytics flywhell..

최근 데이터 엔지니어링 강의를 들으면서 aws 에 대해서 조금씩 접하고 있다. 우선 aws glue 라는 서비스이다 aws 홈페이지의 설명은 아래와 같다 AWS Glue는 고객이 분석을 위해 손쉽게 데이터를 준비하고 로드할 수 있게 지원하는 완전관리형 ETL (추출, 변환 및 로드) 서비스입니다 AWS 관리 콘솔에서 클릭 몇 번으로 ETL 작업을 생성하고 실행할 수 있습니다. 빅데이터 분석 시 다양한 데이터 소스에 대한 전처리 작업을 할 때, 별도의 데이터 처리용 서버나 인프라를 관리할 필요가 없습니다 라고 되어 있다. 라는 것을 보면 ETL 작업에 대한 전반적인 프로세스를 한번에 처리할 수 있는 그런 서비스인 것 같다는 생각이 든다. 소개하고 있는 장점은 아래 이미지와 같다 AWS 에서 구축한 여러 데..

이거는 흔히 aws rds 로 연결하는 계정, 호스트, 패스워드 등 입력한 것들 중 하나가 일치하지 않아 aws 에서 접속을 불허하는 것이다. 이 에러를 만나면, 틀린 곳이 없나 잘 살펴보도록 하자 참고 링크 : https://aws.amazon.com/ko/premiumsupport/knowledge-center/rds-cannot-connect/ Amazon RDS DB 인스턴스에 연결할 때 발생하는 문제 해결 telnet 또는 nc 명령이 성공하면 네트워크 연결이 설정되었으며 사용자 이름 및 암호와 같은 데이터베이스에 대한 사용자 인증으로 인해 문제가 발생한 것일 수 있습니다. aws.amazon.com