이제 마지막으로 colab 을 통해서 aws RDS 에 있는 데이터를 추출하여 데이터 분석에 쓰일 수 있게 가공하려고 한다. Colab 을 사용한 이유는 구글 드라이브를 통해 쉽게 공유를 할 수 있을 뿐만 아니라 다른 직원들이 사용하는 컴퓨터에 파이썬, 아나콘다 등을 깔지 않아도 되기 때문이다. 즉, 클라우드 시스템인 Colab 을 통해서 인터넷만 되고 노트북만 있으면 어느 장소에서든 접속을 하여 데이터 분석을 진행할 수 있기 때문이다. mysql 에 축적해놓은 데이터들을 colab을 통해 가져와 데이터 분석에 주로 사용되는 라이브러리인 판다스 데이터프레임으로 변환하는 함수를 만들었다. import pandas as pd import numpy as np import pymysql import loggi..

처음 AWS 를 이용할 경우에는 과금에 주의를 해야한다. AWS 를 사용하고 있지만, 클라우드이기 때문에 생각한것 보다 많은 양의 과금이 나올수 있는점 주의해야한다.. 우선, 프리티어의 경우에는 1년동안 많은 서비스들을 일정기준으로 무료로 사용할 수 있다. (하지만, 일부 서비스들은 아닌 점 참고하자. 대표적으로 Athena 가 있을수 있다. Athena 는 1TB 당 5USD 정도 비용이 들어서, 개인적인 사이드 프로젝트를 한다면 적당한 비용이라고 생각한다...) 아래 링크에 들어가면 프리티어에 대한 자세한 사항을 볼 수 있다. https://aws.amazon.com/ko/free/?all-free-tier.sort-by=item.additionalFields.SortRank&all-free-tier..

개인적으로 인강과 사이드 프로젝트를 들으면서 AWS 에서 사용하게되는 서비스들에 대해서 간단하게 기록하고자 한다. 나중에 내가 반드시 다시 사용할 것들이기 때문에 추후에 어떤 것인지 다시 인지하고 어떤 서비스가 효율적일지 선택하기 위해서이다. 가장 좋은 글이 있어 링크 참고한다 꼭 읽어야 겠다 틈틈히.. https://bunjang.github.io/back-end/2019/03/11/bunjang-athena.html 번개장터 기술블로그 A Blog for Bunjang Technology. bunjang.github.io 1. Athena 란? AWS 에 따르면, Athena 는 Amazons S3(simple storage service) 에서 표준 SQL 을 사용하여 데이터를 쉬게 바로 분석할 수..

이틀에 걸쳐서 이진 탐색을 했었다. 처음에 왜 이렇게 하는지 이해를 하지못해서.. 또 사소한 데 코드를 잘못쳐서.. 디버깅하고 에러를 찾느냐 시간을 많이 사용했던 프로젝트였다. 우선, 이진 탐색이란, 탐색할 자료를 둘로 나누어 해당 데이터가 있을 만한 곳을 탐색하는 방법이다. 탐색 방법은 두가지가 있는데 위에서 설명한 이진 탐색과 순차 탐색 두가지이다. 아래의 이미지를 참고하면 훨씬 이해하기가 쉬울 것 같다. 이진 탐색의 이해 (순차 탐색과 비교하며 이해하기) 두번째, 순차탐색의 경우에는 타겟을 찾는데 많은 시간이 걸린다는 단점이 있다. 하지만 이진 탐색의 경우에는 분할 정복 알고리즘을 사용하여 문제를 해결 가능할때까지 쪼개서 순차 탐색보다 빠르게 문제를 분할하여 답을 찾아내는 방식이다. 이를 활용하여 ..

mysql JDBC 를 이용해 데이터를 INSERT 하는 경우 데이터베이스 설정이 달라서 데이터가 깨져 들어갈 경우 위와같은 에러가 발생한다. 아래 내용 을 참고하되 true&charater~ 부분은 true&char~ 해서 고치자 참고링크 https://snepbnt.tistory.com/93

JDBC 에 접속할 때, 문자열이 제대로 인코딩되지 않아 인코딩 설정을 해주다가 발생을 했다. jdbc:mysql://localhost:3306/spring??useUnicode=true&characterEncoding=euckr 진하게 표시한 곳에 문제가 발생한 것인데, 문법상 & 뒤에를 연결해줄 때에는 amp; 를 스고 바로 뒤에 인코딩 설정을 입력해주는 것이 좋다. 그냥 & 보다는 & 로 바꾸어야 에러가 발생하지 않는다. 참고 링크 https://deeplearning20min2.tistory.com/21?category=744704 Could not load the Tomcat server configurationt... Tomcat version 8.0 Details를 클릭하면 다음과 같은 추가..

mysql을 jdbc 와 연동하려면...참 힘든 것들이 많다...... 너무 힘들다....까다로운데.. 겨우겨우 성공을 하니 다른 에러가 떳다.. The server time zone value '????α? ????' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the 'serverTimezone' configuration property) to use a more specifc time zone value if you want to utilize time zone support. 스프링 서버(혹은 JDBC) 와 MYSQL 간의 시간이 안맞을 경우에..

명령어를 잘 쳐야한다... 난 명령어를 제대로 잘 안쳐줘서 나타났다.. > mysql -u 사용자명 -p 다시 발생하면 아래 링크 참고해서 해결해야 겠다. 참고링크 override1592.tistory.com/15 [Mysql] ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost' (using password: NO) 오류 발생 mysql-error ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost' (using password: NO) 오류 발생 Mysql 설치 후 명령 프롬프트 창에서 mysql을 실행하려고 하니 ERROR 1045 (28000): Access denied.. overr..

저번까지 해서 원하는 데이터들을 긁어오는 데에는 성공했다. 이제 이를 AWS 에 넣어보고자 한다.. 우선, AWS 의 RDS 에 들어가서 새로운 데이터베이스를 생성해준다. 이때 데이터 베이스의 선정 기준은 아래와 같다 1. 나에게 익숙한가 2. 현업에서 많이 사용하고 있는가 3. 저장하고자 하는 데이터의 형태는 무엇인가 총 3가지 이다. 이에 대한 답변은 우선 MYSQL 은 현재 회사에서도 사용하고 있기에 익숙한 DB이며, 현업에서도 가장 많이 사용하기 시작한 DB 이다. 그리고 무엇보다도 저장하고자 하는 데이터는 RDS 형태이므로 RDS 에서 빠른 처리속도를 보여주는 MYSQL 을 선택했다. 그리고 난 후에는 mysql 의 워크벤치에 aws 와 연결을 해주어 mysql 을 활성화 시켰다. 그리고 mys..

생성한 client id 와 client secret 를 바탕으로 본격적으로 네이버 쇼핑 데이터를 수집한다.. 기본적으로 api 정보를 넣고 이를 바탕으로 자료를 다운받아오는 것은 네이버 developer 에 있는 api 적용 가이드를 참고했다. 아래 참고 링크 공유한다. https://developers.naver.com/docs/datalab/shopping/#%EC%87%BC%ED%95%91%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B6%84%EC%95%BC%EB%B3%84-%ED%8A%B8%EB%A0%8C%EB%93%9C-%EC%A1%B0%ED%9A%8C 쇼핑인사이트 API 적용 가이드 쇼핑인사이트 API는 '네이버 데이터랩'의 '쇼핑인사이트'를 API로 실행할 수 ..