현재 진행하고 있는 프로젝트는 페스트 캠퍼스에서 듣고 있는 인강인 한승수 강사님의 데이터 엔지니어링 강의를 다시한번 복습하고 내재화하고자 진행하는 프로젝트인 점 참고바란다. 이 프로젝트에서의 수집해야되는 정보를 가져오기 위한 코드를 만들었다. 이번 프로젝트에서의 가상의 목표는 spotify의 api 를 활용하여 간단한 챗봇 서비스를 만들어 보는 것이므로, artists 정보, album 등 우리가 spotify 라는 음원 서비스를 이용하면서 많이 찾는 정보를 우선 수집하고자 한다. 특히 이중에서 artist 와 ablum 정보는 전 세계 모든 아티스트들이 공통적으로 생성하는 정보이며, spotify 서비스를 이용하는 유저들이 가장 많이 참고하는 데이터이기에 위 데이터를 먼저 수집하는 것이 좋겠다는 판단 ..

데이터 엔지니어링 공부의 일환으로 빅데이터를 지탱하는 기술을 시작으로 여러가지 데이터 엔지니어, 분석과 관련된 책을 공부하고자 한다. 0. Note 빅데이터의 주요 역사 - 2011년 까지 : Hadoop 이나 NoSQL 데이터베이스 등 기반 기술의 발전 - 2012년 까지 : 클라우드 방식의 데이터 웨어하우스나 BI 도구의 보급 - 2013년 부터 : 스트림 처리나 애드혹(AdHoc) 분석 환경의 확충 1. 빅데이터 취급의 어려움 - 대량의 데이터 처리에 많은 수고와 시간 소요 - 데이터의 처리에 기술적 제약이 존재했음 2. 분산 처리 시스템에 의한 데이터 처리 고속화 - 빅데이터 취급의 어려운 점 극복(대량의 데이터를 한꺼번에 처리하는 것) - 대량의 데이터 활용, 가치 창출 및 의사결정 보편화 - ..

오랜만에 mysql 을 설치를 해야되서, 기존에 있던 mysql 을 제거하고 다시 설치 했다. DB 의 경우에는 설치는 쉬울지는 몰라도 재설치를 위한 삭제가 좀 까다로운 편인데, 이럴때는 아래의 링크를 참고하여 설치, 재설치를 진행해도 될것 같다. 앞으로 아래 참고해서 해야겠다. 아래 링크들은 그동안 참고했던 것들 중에서 가장 쉽고 잘 설명이 되어 있어 두고두고 참고해야겠다. 참고 링크 mysql 완전 삭제 링크 https://jokerkwu.tistory.com/99 mysql 제거 mysql 기존에 설치했던 버전을 지우고 새롭게 깔려고하는데 제대로 설치가 안되는분들 많이 계실거라고 생각합니다..(저도 그중에 하나였습니다.ㅜ.ㅜ) 확인해보니 단순히 제어판에서 제거한다�� jokerkwu.tistory...

간만에 파이썬으로 데이터 분석을 하니 많은 것들을 까먹었다... 몇 가지 남겨두어야 겠다. 1. 특정 컬럼의 value 들을 파악할때 (value 의 갯수들) df['규모구분'].value_counts() 2. loc 를 통해 columns 의 특정 값을 바꿀 때 df.loc[df['규모구분'] == '전용면적 60㎡이하', '규모구분'] = 1 3. type을 바꿀 때 df['분양가격'] = df['분양가격'].astype('int') --> astype 의 경우에는 특정 컬럼에 이상한 값들이 잇으면 안 바뀌는 경우가 많이 있기 때문에 replace 로 바꾸어서 없애주거나 fillna 로 값을 채워주고 type 를 바꾸는 것이 좋다. 참고 링크 https://www.it-swarm.dev/ko/pyth..

원래 해당 에러는 전자 정부 프레임 워크를 받을때 주로 나타나는 에러였지만, 나의 경우에는 스프링 설정파일에 등록을 하고 pom.xml 에 등록하고 commom-dbcp 를 받아서 경로에까지 집어 넣었는데도 위 문제가 나타나고 있었다. 이를 해결하기 위해 사용했던 방법은 아래와 같다 1. 우선, pom.xml 에 가서 database 설정을 해준다. --> 난 h2 를 사용했기 때문에 h2 설정으로 해주었지만, 각자 사용하는 데이터 베이스 설정에 맞게 pom.xml 을 설정하면 될 것 같다. https://cheetahcorp.tistory.com/130 Class 'org.apache.commons.dbcp.BasicDataSource' not found 오류 해결방법 Class 'org.apache...

현재 진행하고 있는 프로젝트는 페스트 캠퍼스에서 듣고 있는 인강인 한승수 강사님의 데이터 엔지니어링 강의를 다시한번 복습하고 내재화하고자 진행하는 프로젝트인 점 참고바란다. Spotify 프로젝트는 rest API 를 통해서 웹사이트에서 내가 Spotify 에서 필요한 정보를 가져오는 방식이다. Spotify 에서 api 를 가져오는 방식으로는 GET 방식이 많이 사용되는데, GET 방식 말고도 API 와 통신을 하는 Method 가 몇가지 더 있어 사전 숙지 및 추후에도 공부하기 위해 여기에 기록한다. Method 내용 GET 해당 리소스를 조회하고 정보를 가져온다 HEAD GET 방식과 동일하나 응답코드와 HEAD 만 가져온다 POST 요청된 리소스를 생성한다 PUT 요청된 리소스를 업데이트 한다 D..

JPS 페이지에 대한 정보를 page 디렉티브(Directive)의 속성들을 사용해서 정의한다. 즉, 생성되는 문서의 타입, 스크립팅 언어, import할 클래스, 세션 및 버퍼의 사용 여부, 버퍼의 크기 등 JSP 페이지에서 필요한 설정 정보를 지정한다. 표현 식 : 보다 자세한 내용은 추후 아래 링크를 참고하여 다시한번 공부할 것 참고 링크 https://hyeonstorage.tistory.com/73 [JSP] page 디렉티브 page 디렉티브 JPS 페이지에 대한 정보를 page 디렉티브(Directive)의 속성들을 사용해서 정의한다. 즉, 생성되는 문서의 타입, 스크립팅 언어, import할 클래스, 세션 및 버퍼의 사용 여부, 버퍼 hyeonstorage.tistory.com

aws 를 사용하기에 앞서 나의 컴퓨터에서 바로 aws 와 통신하여 나의 컴퓨터에서 바로 aws 에 연결될 수 있게 설정해주는 작업을 해야하는데, 그 작업을 위해 aws cli 가 필요하다. ** 아래 과정을 진행하기 위해서는 python이 설치되어 있어야만 한다 ** anaconda 파이썬을 설치할 경우에는 아래 과정이 진행되지 않으므로 오리지널 파이썬을 설치한 상태해서 아래 과정을 진행하는 것이 좋다. (나는 python 3.7 을 설치했다) 1. aws cli 를 인스톨 한다. 윈도우 10에서 진행을 했기 때문에 powershell 을 사용하여 프로젝트를 위해 사용하는 경로에서 바로 접속할 수 있게 인스톨 했다. > pip install awscli --upgrade --user https://do..

AWS에 대해서 공부하면서 presto 에 대해서 접하게 되었다. AWS 에 쓰여져 있는 설명을 간단하게 적자면, 여러 소스의 대규모 데이터 세트에 대한 대화형 분석 쿼리를 위해 설계된 빠른 SQL 쿼리 엔진이다. 프레스토는 어떠한 사이즈의 데이터에서도 바르게 쿼리를 통해 원하는 분석을 할 수 있게 디자인 된 SQL 쿼리 엔진이라고 한다. RDS 와 NON RDS 까지 모두 지원을 하는 시스템으로 이뤄져 있다. 프레스토는 흩어져있는 분석 시스템으로부터 데이터를 이동시킬 필요 없이 저장된 장소에서 쿼리를 통해 분석을 할 수 있다고 한다. 자세한 내용은 아래 링크를 참고하면 될 것 같다 참고 링크 https://knight76.tistory.com/entry/%ED%94%84%EB%A0%88%EC%8A%A4..

이 에러는 무슨 권한같은것이 없을 때 나타나는 현상이라고 한다.(틀렸을 수도.) 리눅스를 실습할 때에는 그동안 root 권한으로 했기 때문에 잘 되엇지만 이번에는 root 가 아닌 개인 계정으로 했기 때문에 이런 현상이 발생한 것 같다. 이런일을 해결하기 위해서는 다 작성하고 마지막에 :w [file name] 을 써주면 해결이 가능하다고 한다 참고 링크 https://askubuntu.com/questions/1100243/q-and-wq-failed-to-quit-vim "!q" and "wq!" failed to quit vim I tried to quit vim "/etc/sysconfig/network-scripts" "/etc/sysconfig/network-scripts" E212: Can'..