약 1달 반정도의 사이드 프로젝트를 마치고자 한다. 우선, 프로젝트를 시작하기에 앞서 구상했던 파이프라인이다. 우선 spotify 의 데이터를 가져오는 데이터 파이프라인을 구현하기에 앞서 위의 파이프라인을 구상했다. 구상할 때 고려했던 조건은 1가지이다. 1. 데이터의 특성을 고려한 DB 선정 처음에 가져오려했던 artists, genres 데이터의 경우에는 필요한 데이터만 저장을 하고 사용할 데이터이다. 즉, 확장을 하더라도 컬럼이 늘어나는 것이 아닌 artists 와 genres 이 두개의 그룹에 속하는 rows 만 증가하는 것이기 때문에 데이터 량의 증가에 있어서 충분히 대응할 수 있는 RDBS 의 MySQL 을 선택했다. 그 다음은 DynamoDB 선택한 이유인데, 해당 DB 의 경우 NoSQL ..

java 에서 json 을 다루기 위해 사용하는 여러 json 라이브러리들이 있지만 그중에서 json-simple 사용하는 법 기록해두어야 겠다. 아래 링크를 참고하여 앞으로는 다운받도록 하자 참고로 내가 Maven 을 이용할 경우에는 pom.xml 에 기록하면 자동으로 다운받아지지만, 만약 Maven 을 이용하지 않고 독립형 JAVA 어플리케이션 환경을 이용할 경우에는 직접 라이브러리를 내려받고 classpath 경로에 넣어야 하는점 참고할 것 https://dololak.tistory.com/625 [JAVA] java에서 JSON 데이터 다루기. google의 json-simple 사용 방법 참고글 JSON이란? JSON 규칙 JSON JSON은 JavaScript Object Notation 의 ..

기본 생성자가 없는 클래스를 상속받을때, super( ) 클래스를 생성하지 않으면 나타나는 에러이다 package learn_java; class CarTests { public CarTests(String name) { // 생성자가 없다. this 로 시작하는것 을 말함 System.out.println(name + "을 받아들이는 생성자"); } public void run() { System.out.println("달리다"); } } class BusClass extends CarTests{ public BusClass() { //CarTest 클래스는 생성자가 따로 없다. //그래서 아래와 같이 super 클래스를 사용한다. super("가나다"); System.out.println("버스의 기..

switch - case 문을 실행하는 도중에 위 에러가 발생했었다. 구글링을 하여 아래 링크를 찾아서 참고했다. 추후 참고해야겠다. https://stackoverflow.com/questions/28820579/why-do-i-get-a-variable-might-not-have-been-initialized-compiler-error-in-my-s Why do I get a "variable might not have been initialized" compiler error in my switch block? I'm encountering "a variable might not have been initialized" error when using switch block. Here is my co..

https://mine-it-record.tistory.com/118 [Eclipse]이클립스_JAVA 프로젝트 Import/Export 하기 작업을 하다보면 언젠가는 Export 와 Import를 하게된다. 한번쯤은 접해보는게 나중을 위해서도 좋을것 같다. 프로젝트 Export 우선 java 프로젝트 마우스 우클릭을 하여 Export 를 클릭해준다. 그럼 아�� mine-it-record.tistory.com 다른 이클립스 프로젝트를 나의 워크스페이스로 옮길때 사용하면 좋은방법이다. 위의 링크와 똑같이 진행하면 임포트 할 수 있다 앞으로 많이 참고해야겠다

현재 진행하고 있는 프로젝트는 페스트 캠퍼스에서 듣고 있는 인강인 한승수 강사님의 데이터 엔지니어링 강의를 다시한번 복습하고 내재화하고자 진행하는 프로젝트인 점 참고바란다. 이번에는 저번에 이어서 S3 에 데이터를 저장함으로써 ' 데이터 레이크 ' 를 만들었다. S3 는 Simple Storage Service 의 약자로써 개발자가 원하는 양의 데이터를 쉽게 저장하고 검색할 수 있도록 도와주는 서비스이며, 심플한 웹 인터페이스를 통하여 어디서든 스토리지에 엑세스 할 수 있다는 장점이 있다. https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/Welcome.html Amazon S3이란 무엇입니까? - Amazon Simple Storage Service Ama..

간단하게 생각하면 서버 없이 애플리케이션을 구축하고 실행하는 것이다. " 서버를 고려하지 않고, 애플리케이션을 구축하고 실행할 수 있다 " 고 적혀 있다. 이는 평상시 어느 특정 서비스를 운영을 할때 우리는 로컬 환경에서 서버를 운영한다. 하지만, 로컬에서 운용하는 서버 환경은 로컬 컴퓨터의 환경이나, 상태에 따라서 서버를 운용하는데 있어서 큰 제약이 따르고, 서버를 운용하지 않는 시간 때에도 운용, 유지보수 등 여러 비용이 들어간다. 만약 서버의 운용이 중단되는 때에는, 서버를 통해서 진행하고 있던 작업들이 모두 중단이 되는 단점이 존재한다. 하지만, AWS 를 통해서 서버를 운용할 경우에는 로컬보다 서버를 설치 운용하는데 비용이 적게 들어가고 무엇보다도, 장소에 제약을 극복하고 서버를 운용할 수 있다..

Postgre 와 my 의 차이점과 관련하여 잘 정리한 블로그가 있어서 향후 참고를 위해 저장해 놓는다 참고 링크 https://yahwang.github.io/posts/mysql-vs-postgres MySQL과 PostgreSQL Query 차이점 정리 - YA-Hwang 기술 블로그 MySQL과 PostgreSQL Query의 차이점을 정리해본다. yahwang.github.io

현재 진행하고 있는 프로젝트는 페스트 캠퍼스에서 듣고 있는 인강인 한승수 강사님의 데이터 엔지니어링 강의를 다시한번 복습하고 내재화하고자 진행하는 프로젝트인 점 참고바란다. 서비스를 만들기에 앞어 가장 중요한 것은 - 어떤 데이터가 필요한 것인지? - 데이터들을 어떻게 수집할 것인지? ( API 형태? 로그 데이터? 등) - 데이터들을 어떻게 저장할 것인지? 이 3가지인 것 같다. 이번에는 데이터를 어떻게 저장할 것인지에 대하여 고민을 하고 이를 구현한 과정에 대해서 기록한다.. 우선, 데이터를 수집하고 저장하고자하는 프로세스는 아래와 같다. (한승수 강사님의 강의를 복습하여 엔지니어링 프로세스를 내재화 시키는 사이드 프로젝트이기 때문에 전반적인 프로세스는 강의 내용과 비슷한 점은 참고 바란다) 이번 사..

스프링을 공부한지 1달이 다되가는 시점에서 이제서야 웹 아키텍처가 조금씩 이해가 되기 시작하는 것 같다. MVC 란? Model , View , Controller 의 합성어로 소프트웨어 디자인 패턴이다. 각 M,V,C 에 대해 설명해보자면 - Model : 백그라운드에서 동작하는 로직을 처리하며, 어플리케이션이 '무엇'을 할지 정의한다. 내부 비즈니스 로직 처리 역할 - View : 사용자가 보게 될 결과 화면을 출력하고, 화면에 무엇을 보여주는 역할을 한다. 컨트롤러 하위에 종속되어,모델이 모델/컨트롤러가 보여주고자 하는것을 보여줄 것임 - Controller : 사용자의 입력처리와 흐름 제어를 담당하며, 모델이 어떻게 처리할지 알려주는 역할, 화면의 로직 처리 부분이다. MVC패턴에는 모델1방식과 ..