AWS에 대해서 공부하면서 presto 에 대해서 접하게 되었다. AWS 에 쓰여져 있는 설명을 간단하게 적자면, 여러 소스의 대규모 데이터 세트에 대한 대화형 분석 쿼리를 위해 설계된 빠른 SQL 쿼리 엔진이다. 프레스토는 어떠한 사이즈의 데이터에서도 바르게 쿼리를 통해 원하는 분석을 할 수 있게 디자인 된 SQL 쿼리 엔진이라고 한다. RDS 와 NON RDS 까지 모두 지원을 하는 시스템으로 이뤄져 있다. 프레스토는 흩어져있는 분석 시스템으로부터 데이터를 이동시킬 필요 없이 저장된 장소에서 쿼리를 통해 분석을 할 수 있다고 한다. 자세한 내용은 아래 링크를 참고하면 될 것 같다 참고 링크 https://knight76.tistory.com/entry/%ED%94%84%EB%A0%88%EC%8A%A4..

이 에러는 무슨 권한같은것이 없을 때 나타나는 현상이라고 한다.(틀렸을 수도.) 리눅스를 실습할 때에는 그동안 root 권한으로 했기 때문에 잘 되엇지만 이번에는 root 가 아닌 개인 계정으로 했기 때문에 이런 현상이 발생한 것 같다. 이런일을 해결하기 위해서는 다 작성하고 마지막에 :w [file name] 을 써주면 해결이 가능하다고 한다 참고 링크 https://askubuntu.com/questions/1100243/q-and-wq-failed-to-quit-vim "!q" and "wq!" failed to quit vim I tried to quit vim "/etc/sysconfig/network-scripts" "/etc/sysconfig/network-scripts" E212: Can'..

SQL 의 특정 컬럼의 값을 추가하는 법 아래 링크 참고하여 연습할 것 employee 테이브를 만들면서 아래의 manager_id 컬럼에 값을 넣는 것을 깜빡했다.. 위의 코드를 사용해서 update 를 해주었더니 아래와 같이 나왔다. 예전에 한번의 쿼리로 한 컬럼의 여러값들을 한꺼번에 바꾸어주었던 기억이 있는데.. 그게 무엇인지는.. 잘 기억이 안난다.. 그리고 update 의 경우 값을 변경할 경우 그 값이 새로 넣는 것으로 인식을 하기 때문에 update 대신에 replace 를 쓰라고 했던 것 같은데... 다시 한번 찾아봐야겠다.. 참고 링크 https://webisfree.com/2016-07-06/[sql]-%ED%85%8C%EC%9D%B4%EB%B8%94-%EC%95%88%EC%9D%98-..

프로젝트 목표 인강에서 배운 프로세스를 바탕으로 직접 데이터 파이프라인을 설계 구축해본다. AWS 클라우드 서비스를 활용하여 Severless 프레임 워크에 대해서 이해한다. 사용할 API Spotify developer api https://developer.spotify.com/dashboard/applications My Dashboard | Spotify for Developers Create and manage Spotify Applications to use the Spotify Web API. Obtain credentials to authenticate with Spotify and fetch metadata. developer.spotify.com api 에 대한 이해 spotify 는 ..

다른 말로는 JRE SYSTEM LIBRARY UNBOUND 오류라고도 불린다. 아래 링크 참고해서 비슷한게 뜨면 해결해야겠다 참고 링크 https://jamesdreaming.tistory.com/164 [ eclipse ] JRE System Library unbound 오류 해결 방법 ■ eclipse JRE System Library unbound 오류 해결 방법 이클립스에서 JRE System Library unbound 오류 발생 한 경우 아래와 같은 순서로 해결 가능합니다. ▶ Java Build Path 수정 하러 가기 첫번째 방법: Pr.. jamesdreaming.tistory.com

스프링을 배우고 있는 시점에서 톰캣이 같은 포트 넘버를 사용하지 못할때 나오는 에러이다. 이 에러가 나오는 이유도 여러가지라서..해결방법이 있지만.. 좀 귀찮긴하다. 우선, cmd 창을 켜서 netstat -ano 로 중복된 local address 를 확인해준 다음에. 해당 서비스가 어떤 서비스인지를 확인 할 필요가 있다. 작업관리자를 열서 해당 피드를 사용하고 있는 것을 확인한 후, 이를 지워주거나 사용을 중지시켜줘야된다. 나의 경우에는 TNSLSNR.exe 였기 때문에, [제어판] - [관리도구] - [서비스]에서 관련항목을 찾아 속성에서 서비스를 중지하고, 시작 유형을 사용안으로 변경했다. 그러고 난 이후 이클립스를 다시 키고 서버를 다시 했더니 문제없이 실행이 되었다. 자세한 내용은 아래 링크를..

처음 이 프로젝트를 시작할 때의 목표는 데이터 엔지니어가 하는 업무에 대해서 간단하게 이해해보자는 것이었다. 데이터 엔지니어는 데이터를 추출하고 (Extract) 가공하고 (Transform) 로드하는(Load) 전 프로세스를 설계하고 관리하는 직무이기 때문에 이 분야에 발을 담그게 된 이상, 이 업무 프로세스를 이해하는 것이 가장 중요하다고 판단했다. 위의 이유로 인해 거창한 것을 생각하기도 했으나.. 그것은 차츰 발전시켜 나가기로 하고. 우선 간단하게나마 내가 ETL 파이프라인 설계 구현에 초점을 맞추고 프로젝트를 진행하기로 했다. 1. 파이프라인의 전체적인 흐름 이번에 설계한 파이프라인의 전체적인 흐름은 위의 이미지와 같다. 데이터 쪽에 대규모로 투자할 여건이 되지 않는 스타트업에서 파이프라인을 설..

statement를 상속받는 인터페이스로 SQL구문을 실행시키는 기능을 갖는 객체 PreCompiled된 SQL문을 표현 즉, statement객체는 실행시 sql명령어를 지정하여 여러 sql구문을 하나의 statement객체로 수행이 가능 보다 더 자세한 내용은 아래 링크를 참고하여 추후 공부할 것 참고 링크 http://blog.naver.com/PostView.nhn?blogId=javaking75&logNo=140162466611 [JDBC] JDBC 기초 - PreparedStatement란. [JDBC] JDBC 기초 - PreparedStatement란. PreparedStatement 객체 statement를 상속받는 인터... blog.naver.com

STS 를 설치하고 프로젝트를 찾으려고 보면 안보이는 경우가 많다 그럴 때는 아래 링크 들어간 후에 중간부분을 참고하여 에러를 해결하자 http://blog.naver.com/PostView.nhn?blogId=pyj721aa&logNo=221613874213&categoryNo=49&parentCategoryNo=0&viewDate=¤tPage=1&postListTopCurrentPage=1&from=postView [Spring] STS 4 설치 및 MVC 프로젝트 사용 하기(Spring Legacy Project) ▼ 스프링 최신버전 다운로드 ▼위 링크에서 스프링 최신버전을 다운 받으면 압축파일이 하나 받아진다.원... blog.naver.com

이제 마지막으로 colab 을 통해서 aws RDS 에 있는 데이터를 추출하여 데이터 분석에 쓰일 수 있게 가공하려고 한다. Colab 을 사용한 이유는 구글 드라이브를 통해 쉽게 공유를 할 수 있을 뿐만 아니라 다른 직원들이 사용하는 컴퓨터에 파이썬, 아나콘다 등을 깔지 않아도 되기 때문이다. 즉, 클라우드 시스템인 Colab 을 통해서 인터넷만 되고 노트북만 있으면 어느 장소에서든 접속을 하여 데이터 분석을 진행할 수 있기 때문이다. mysql 에 축적해놓은 데이터들을 colab을 통해 가져와 데이터 분석에 주로 사용되는 라이브러리인 판다스 데이터프레임으로 변환하는 함수를 만들었다. import pandas as pd import numpy as np import pymysql import loggi..