프로젝트 목표
인강에서 배운 프로세스를 바탕으로 직접 데이터 파이프라인을 설계 구축해본다.
AWS 클라우드 서비스를 활용하여 Severless 프레임 워크에 대해서 이해한다.
사용할 API
Spotify developer api
https://developer.spotify.com/dashboard/applications
My Dashboard | Spotify for Developers
Create and manage Spotify Applications to use the Spotify Web API. Obtain credentials to authenticate with Spotify and fetch metadata.
developer.spotify.com
api 에 대한 이해
spotify 는 자신들의 api 를 활용하여 여러 파생 서비스들을 만들 수 있도록 지원을 해주고 있다.
여러 Features 들 중에서 선택해서 api 를 활용하여 자신이 원하는 서비스를 만들 수 있다.
인터넷 강의에서의 내용을 복습하고 제대로 된 데이터 파이프라인 구현에 들어간다는 것에 의의를 두고
강의에서 사용했던 Features 와는 다른 Features 를 사용하여 파이프라인을 구현해볼 예정이다.
사용할 프레임 워크
AWS Cloud
aws 는 요새 기본적으로 가장 많이 사용하고 있는 클라우드 플랫폼이다.
보통 파이프라인을 구축하려면 기기를 큰 서버들을 설치하고 이를 유지보수해줘야하는 불편함이 있었는데
클라우드 서비스 덕분에 서버들을 따로 설치하지 않아도 비용을 지불만하면 서비스를 구축하고 원하는대로
파이프라인을 구축할 수 있다. 인터넷만 되면 내가 원하는 사양의 서버를 사용할 수 있다.
AWS 에 대한 자세한 내용은 아래 링크 참고
https://goddaehee.tistory.com/174
[AWS] 1.AWS란?
[AWS] 1.AWS란? 안녕하세요. 갓대희 입니다. 이번 포스팅은 [ AWS(Amazon Web Service) ] 입니다. : ) 얼마전 회사에서 AWS 교육지원을 해주기에 다녀왔다. 그중 가장 기초 부분만 먼저 정리해서 올려 보��
goddaehee.tistory.com
'데이터 엔지니어링 프로젝트 및 인강 > 3. Spotify Project' 카테고리의 다른 글
| Spotify Project 06. Spotify - AWS Data 수집 프로세스 구축 2 (0) | 2020.07.05 |
|---|---|
| Spotify Project 05. Spotify - AWS Data 수집 프로세스 구축 (0) | 2020.06.28 |
| Spotify Project 04. Spotify 에서 artists , album 정보 가져오기 (0) | 2020.06.14 |
| Spotify Project 03. 프로젝트 진행위한 API 관련 사항 (0) | 2020.06.09 |
| Spotify Project 02. aws 사용하기에 앞서 설정해두어야 할 것(aws cli) (0) | 2020.06.07 |