어쩌다..AWS 홍보가 되버린듯하지만.. AWS 가 이렇게 많은 기능이 있었나? 다시금 생각해보는 시간이 되었다 아직도 파이썬으로만 머신러닝하니? 난 SQL 바로 쓴다 세이즈 메이커, 컴프리핸드 머신러닝에서 학습모델을 sql 모델 서비스인 아테나로 호출해서 부르는 서비스가 있다. 분석환경의 변화 그리고 변하지 않은 비즈니스 1. 진화하는 데이터 분석 환경 o 비즈니스 인텔리전스 대신 ai o 비즈니스 분석가보단 데이터 분석가 o 값비산 분석 소프트웨어 대신 개발자 커뮤니티에서 유행하는오픈 소스 협업 툴 o 데이터 분석 역량이 기업 보편 역량 2. 변함없는 비즈니스 목표 o 기업은 여전히 revenue 창출이 목표 o 기술은 비즈니스에 활용될때 유효하다. Create an analytics flywhell..

for( A : B ) 간단하게 설명을 하자면 B에서 차례대로 객체를 꺼내서 A에다가 넣겠다는 것이다. 파이썬으로 바꾸어 생각을 해보면 for i in [ List ]: 로 생각을 하면 편할 것 같다. 파이썬에서도 위 for문의 의미도 java의 for(A:B)의 의미와 같으니깐 말이다. 자세한 사항은 아래 링크 참고 참고 링크 : https://m.blog.naver.com/kokolisy/110121503035 자바의 for구문에서 콜론(:)의 기능 - for( Object : List) 가끔 JAVA 소스코드를 보고 있다보면 다음과 같은 구문을 살펴 볼 수가 있다. for (Object obj : file... blog.naver.com

최근 데이터 엔지니어링 강의를 들으면서 aws 에 대해서 조금씩 접하고 있다. 우선 aws glue 라는 서비스이다 aws 홈페이지의 설명은 아래와 같다 AWS Glue는 고객이 분석을 위해 손쉽게 데이터를 준비하고 로드할 수 있게 지원하는 완전관리형 ETL (추출, 변환 및 로드) 서비스입니다 AWS 관리 콘솔에서 클릭 몇 번으로 ETL 작업을 생성하고 실행할 수 있습니다. 빅데이터 분석 시 다양한 데이터 소스에 대한 전처리 작업을 할 때, 별도의 데이터 처리용 서버나 인프라를 관리할 필요가 없습니다 라고 되어 있다. 라는 것을 보면 ETL 작업에 대한 전반적인 프로세스를 한번에 처리할 수 있는 그런 서비스인 것 같다는 생각이 든다. 소개하고 있는 장점은 아래 이미지와 같다 AWS 에서 구축한 여러 데..

이거는 흔히 aws rds 로 연결하는 계정, 호스트, 패스워드 등 입력한 것들 중 하나가 일치하지 않아 aws 에서 접속을 불허하는 것이다. 이 에러를 만나면, 틀린 곳이 없나 잘 살펴보도록 하자 참고 링크 : https://aws.amazon.com/ko/premiumsupport/knowledge-center/rds-cannot-connect/ Amazon RDS DB 인스턴스에 연결할 때 발생하는 문제 해결 telnet 또는 nc 명령이 성공하면 네트워크 연결이 설정되었으며 사용자 이름 및 암호와 같은 데이터베이스에 대한 사용자 인증으로 인해 문제가 발생한 것일 수 있습니다. aws.amazon.com

sql 을 공부하다보면 항상 헷갈리는 키들이 위 키들이다. 아무리 공부를 하더라도..아직도 머리속에 제대로 정리를 안하다니...실책이다.. primary key : key에 해당하는 컬럼 해당 테이블의 식별자 역할을 하는 제약조건으로 테이블에 하나만 설정할 수 있는 키 즉, 테이블의 각 레코드를 구별할 수 있는 역할 프라이머리 키로 설정한 컬럼에서는 중복이 들어가선 안된다. 즉 데이터의 유일성이 보장되어야 한다. NULL 값은 절대로 허용이 안된다. unique key: 테이블 내 항상 유일해야 하는 값. 중복을 허용하지 않는다. 해당 칼럼에 입력되는 데이터가 각각 유일하다는 것을 보장하기 위한 제약조건 NULL 값도 허용된다. primary key 와는 많이 헷갈리지만.. 크게보면 primary key..

이 둘의 차이는 새로 생성한 빈 리스트 안에 넣으려는 리스트들을 리스트 형태를 유지하면서 한꺼번에 넣어줄 것이냐, 아니면 기존의 빈 리스트에 변수로 하나하나씩 넣어주면서 빈 리스트를 확장시켜주는 것이냐로 차이를 지을 수 있을 것 같다. 영어 의미를 해석해보자면 extend 는 기존의 공간을 확장하는 느낌에 가깝고 append 는 공간에 새로운 것을 추가하는 느낌에 가깝기에 위의 차이점으로 쉽게 구분할 수 있을 것 같다. 참고 링크 : https://hashcode.co.kr/questions/23/%ED%8C%8C%EC%9D%B4%EC%8D%AC%EC%97%90-append%EC%99%80-extend%EC%9D%98-%EC%B0%A8%EC%9D%B4%EC%A0%90 파이썬에 append와 extend의..

import base64 Base64란 Binary Data를 Text로 바꾸는 Encoding(binary-to-text encoding schemes)의 하나로써 Binary Data를 Character set에 영향을 받지 않는 공통 ASCII 영역의 문자로만 이루어진 문자열로 바꾸는 Encoding이다. 라고 한다. 쉽게 말해서 Base64 Encoding은 Binary Data를 Text로 변경하는 Encoding이다. 참고 링크: https://effectivesquid.tistory.com/entry/Base64-%EC%9D%B8%EC%BD%94%EB%94%A9%EC%9D%B4%EB%9E%80 Base64 인코딩이란? 인코딩이란? Base64 인코딩에 대해 알아보기전에 먼저 인코딩이란게 무엇..

클라우데라를 공부하면서 이것 저것 에러를 많이 만난다..휴... 이번 에러의 경우에는 jdk 를 클라우데라 에서 설치하다가 일어났었는데.. 찾아보니깐..yum 에 문제가 있는 경우란다.. 근데 생각해 보니깐...yum이 문제가 일어나는 경우에는.. 1. 노드에서 설정한 ip 가 문제가 있거나 2. cache 때문에..이전 기록과 자꾸 충돌하는 경우인데.. 나의 경우에는 2번인줄알고 주구 장창..cache 를 삭제하고 진행을 했었지만..위의 에러가 뜨길래 보니.. 복제한 노드들 ip 설정을 제대로 안햇.....후..이런 기초적인 실수를..ㅠㅠ 우선 위 에러가 뜬 경우에는 첫번째로 내가 노드에 설정한 ip 들이 문제가 있나?? 살펴보고.. 그 다음 이상이 없다면 yum cache 들을 한번 청소해보자 아래 ..

introducing python redis 실습하고 있는데.. 소켓 서버가 접속이 안되서 봤더니.. ConnectionRefusedError: [WinError 10061] 대상 컴퓨터에서 연결을 거부했으므로 연결하지 못했습니다 라고 뜬다.. 구글링을 해보았더니..같은 idle 에서 실행해서라고.. 일단 시간 날때, 아래 링크 참고해서 진행해야 겠다. 참고 링크: http://blog.naver.com/PostView.nhn?blogId=jonghong0316&logNo=221690254323&categoryNo=17&parentCategoryNo=0&viewDate=¤tPage=1&postListTopCurrentPage=1&from=search [Python] ConnectionRefusedErro..

클라우데라 설치시, 노드 갯수에 대해 궁금했다. 책에서는 3개로 하고 있었지만.. 3개로 설치를 해보니..뭔가 충돌을 일으키는 것같아서.. 찾아봤더니.. 권장 최소 노드의 갯수는 4개.. main node 1개 data node 3개 총 4개이다.. 대충 보니깐..main 노드에 data 노드 일까지 병행시킬 경우..main 노드에 부담을 줄 수가 있어서 data 노드는 따로 분리하는 것이 좋단다.. 아래 링크 참고!! (틀린 점이 발견될 경우 댓글 부탁드립니다) 참고 링크: https://community.cloudera.com/t5/Support-Questions/node-limits-on-cloudera-manager-5-or-6/td-p/81731 node limits on cloudera man..