쟈누이의 기록습관

1. 개요 이번에는 외부 API 를 추출하고 난 다음에 MySQL 에 넣어보는 사례를 기록하고자 한다. REST API를 불러와서 -> json형식으로 변환 -> 데이터베이스에 삽입 의 프로세스이다 전체적인 경로는 아래 이미지와 같다. 2. 외부 API -> MySQL 순서 이번 API 는 항공기 관련 정보들이 있는 aviationstack 에서 가져왔으며, url 은 아래와 같다 aviationstack.com/ aviationstack - Real-Time Flight Tracker & Status API Free, Real-time Flight Status & Global Aviation Data API Flight tracker & airport timetable data web service t..

1. 에러 원인 해당 에러는 google Speech to Text api 를 사용할 때 나타났었다. STT 라이브러리 사용시 지원하지 않는 인코딩 포멧을 사용할 경우 나타나는 에러였던 것 같다 2. 해결 방법 나의 경우에는 파이썬 스크립트의 인코딩 설정을 LINEAR16 --> ENCODING_UNSPECIFIED 으로 바꾸어주었더니 해결이 되었다. 아래와 같이 말이다 # 리스트 오디오 인식 config audio_config = speech.RecognitionConfig( encoding = speech.RecognitionConfig.AudioEncoding.ENCODING_UNSPECIFIED, sample_rate_hertz=16000, language_code='en-US', ) 하지만 ST..

현재 진행하고 있는 프로젝트는 페스트 캠퍼스에서 듣고 있는 인강인 한승수 강사님의 데이터 엔지니어링 강의를 다시한번 복습하고 내재화하고자 진행하는 프로젝트인 점 참고바란다. 서비스를 만들기에 앞어 가장 중요한 것은 - 어떤 데이터가 필요한 것인지? - 데이터들을 어떻게 수집할 것인지? ( API 형태? 로그 데이터? 등) - 데이터들을 어떻게 저장할 것인지? 이 3가지인 것 같다. 이번에는 데이터를 어떻게 저장할 것인지에 대하여 고민을 하고 이를 구현한 과정에 대해서 기록한다.. 우선, 데이터를 수집하고 저장하고자하는 프로세스는 아래와 같다. (한승수 강사님의 강의를 복습하여 엔지니어링 프로세스를 내재화 시키는 사이드 프로젝트이기 때문에 전반적인 프로세스는 강의 내용과 비슷한 점은 참고 바란다) 이번 사..

현재 진행하고 있는 프로젝트는 페스트 캠퍼스에서 듣고 있는 인강인 한승수 강사님의 데이터 엔지니어링 강의를 다시한번 복습하고 내재화하고자 진행하는 프로젝트인 점 참고바란다. 이 프로젝트에서의 수집해야되는 정보를 가져오기 위한 코드를 만들었다. 이번 프로젝트에서의 가상의 목표는 spotify의 api 를 활용하여 간단한 챗봇 서비스를 만들어 보는 것이므로, artists 정보, album 등 우리가 spotify 라는 음원 서비스를 이용하면서 많이 찾는 정보를 우선 수집하고자 한다. 특히 이중에서 artist 와 ablum 정보는 전 세계 모든 아티스트들이 공통적으로 생성하는 정보이며, spotify 서비스를 이용하는 유저들이 가장 많이 참고하는 데이터이기에 위 데이터를 먼저 수집하는 것이 좋겠다는 판단 ..

API 란 Application Programming Interface 의 약자 두개의 시스템이 서로 상호작용하기 위한 인터페이스이다, 데이터를 주고받는 인터페이스라고 보면되는데, 최근에 API 라고 하면 주로, REST API 를 지칭하는 것이다. 서버, 서비스에게 데이터를 요청하고 이 데이터를 받는 것이다. REST API 란 Representational State Transfer 의 약자 특정 기준을 가지고 정보를 구분하여 해당 기준에 맞추어 정보 를 주고 받는 모든 것이다. 자세한 내용은 아래 링크가 가장 잘 설명해 놓아서, 추후 참고 및 공부를 위해 링크를 걸어놓는다. 참고 링크 https://gmlwjd9405.github.io/2018/09/21/rest-and-restful.html [N..

프로젝트 목표 인강에서 배운 프로세스를 바탕으로 직접 데이터 파이프라인을 설계 구축해본다. AWS 클라우드 서비스를 활용하여 Severless 프레임 워크에 대해서 이해한다. 사용할 API Spotify developer api https://developer.spotify.com/dashboard/applications My Dashboard | Spotify for Developers Create and manage Spotify Applications to use the Spotify Web API. Obtain credentials to authenticate with Spotify and fetch metadata. developer.spotify.com api 에 대한 이해 spotify 는 ..

생성한 client id 와 client secret 를 바탕으로 본격적으로 네이버 쇼핑 데이터를 수집한다.. 기본적으로 api 정보를 넣고 이를 바탕으로 자료를 다운받아오는 것은 네이버 developer 에 있는 api 적용 가이드를 참고했다. 아래 참고 링크 공유한다. https://developers.naver.com/docs/datalab/shopping/#%EC%87%BC%ED%95%91%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B6%84%EC%95%BC%EB%B3%84-%ED%8A%B8%EB%A0%8C%EB%93%9C-%EC%A1%B0%ED%9A%8C 쇼핑인사이트 API 적용 가이드 쇼핑인사이트 API는 '네이버 데이터랩'의 '쇼핑인사이트'를 API로 실행할 수 ..

네이터 쇼핑 트렌드를 분석해보고자 한다.. 하지만, 데이터 엔지니어를 목표로 하고 있기 때문에 이번에는 그동안 배운 것들을 바탕으로 네이버 쇼핑 API 를 통해 쇼핑 데이터를 수집하고자 한다. 우선 네이버 developer에 들어가서 네이버 쇼핑 api 를 수집했다. 먼저, 네이버 developer에 들어가서 네이버 api 를 이용하는데 필요한 client id 와 client secret 를 발급받는다. 나의 경우는 쇼핑 api 를 사용할 것이기 때문에 사용 api 는 네이버 쇼핑으로 설정해주었다. 생성한 이후에는 아래 이미지와 같이 client it 와 client secret 를 볼 수 있다. 그러면, 네이버 api 수집을 위한 기본적인 준비는 끝났다. 참조자료: https://m.blog.nave..

이번 사이드 프로젝트의 목표는 다음과 같다. 처음 시작하는 것이니 만큼. 데이터 파이프라인의 구축에 이르는 일련의 과정 만드는 데 감을 잡고 더 나아가 간단하게 분석까지 해보고자 한다. 프로젝트 목표 - 성별 / 연령별 트렌드 데이터 수집 및 분석 프로세스 구축 최종 소비자 - (가상의 스타트업) 데이터 분석가들 데이터 수집의 목적 - 네이버 쇼핑 데이터에서 발생하는 트래픽 분석 - 트렌드 변화추이를 분석함으로써 향후 카테고리 진출에 대한 인사이트를 얻고자 함 파이프라인 구현 목표 - 매일 정해진 시간에 전날의 트랜드 데이터를 가져와서 축적하는 시스템 구축 - AWS 를 이용하여 비용과 시간을 절약하고 장소에 구애받지 않는 효율적인 수집-분석 시스템 구축 - 데이터 초기화에 대비한 백업 데이터 베이스를 ..