쟈누이의 기록습관

1. 원인 google.cloud 라이브러리에서는 이제 더이상 enum, type 을 사용하지 않는다. 즉 아래의 라이브러리들을 사용하지 않는다는 것이다. from google.cloud.speech import enum from google.cloud.speech import types 2.수정방법 일전에 해당부분에서 에러가 많이 나서 위 enum, tyoes 라이브버리들을 없애고, 모두 speech 라이브러리로 통일했다. from google.cloud import speech 아래와 같이 사용하면 된다 ## before audio = speech.types.RecognitionAudio(uri=gcs_uri) encoding = speech.enum.RecognitionConfig.AudioEnco..

1. 원인 나는 지금 소스트리를 사용해 깃에 업로드를 하고 있다. pull 을 해서 당겨받고 있는데 인증 창이 떴었다. 비밀번호를 잘못 입력을 하더니 authentication failed 에러가 나왔다. 원인은 토큰이 만료가 되어서 인증창이 뜬것인데 잘못 인증을 한탓에 에러가 난것 같다. 나의 경우에는 다시 git 에 가서 새로운 토큰을 발급받았다. 2. 해결 방법 아래 링크를 통해 해결했다. 우선 길어서 캡쳐해서 저장하고자 한다. 1. Depending on the requirement, you can set an expiration for your token, or you can set "No expiration" from the dropdown. 2. For scopes, agin, upon yo..

셀레늄을 사용하면서도 많이 몰랐었던 것 같다. 이번 크롤러를 만들면서 자주 사용했던 기능들을 간단하게 정리하고자 한다 1. Keys.PAGE_DOWN 1) 효과 Keys 를 이용한 페이지 내리기 키보드의 PAGE_DOWN 키와 비슷한 기능 2) 사용법 from selenium.webdriver.common.keys import Keys driver.find_element_by_tag_name('body').send_keys(Keys.PAGE_DOWN) 보통 몇번의 page down 을 할 것인지 정하고 사용하기 때문에 for 문하고 같이 사용한다 for c in range(0,5): driver.find_element_by_tag_name('body').send_keys(Keys.PAGE_DOWN) ti..

1. 특정 테스크 실행 후 어떻게 CLI 로 명령을 내릴까 고민했다 도커를 통해 airflow 에 접속을 했는데 해당 페이지는 로그만 띄우는 페이지고 컨테이너는 하나의 프로세스 였기 때문에 따로 CLI 를 통해 airflow 에 명령을 내릴 수 없었다.. 2. 어떻게 접속해야할까... docker exec 명령을 이용하면 된다. docker exec 는 container에 특정 명령을 실행할 수 있는 것인데 이때 명령을 /bin/bash 라고 하면 된다. 1) 우선 접속하고자하는 컨테이너의 아이디를 확인 $ docker ps -a 2) docker exec 명령어를 실행하여 접속 $ docker exec -it e4e1c5588af8 /bin/bash 아래와 같이 접속되어 명령어 실행 가능

1. 발생 원인 회원가입 로직을 만들던 중 mysql 에 데이터를 등록하고 난 후 결과 값을 넘겨주는 과정에서 제대로 된 json 형식을 사용하지 않아서 에러가 발생했다. 2. 해결 과정 에러의 원인을 알아내고 난 뒤에는 많이 당황했었다. mysql 에서 데이터를 insert 한 뒤에 success 값을 json 으로 넘겼어야 했으나, res.send( ) 만으로 메시지만 넘기고 있어서 제대로된 json 값을 받지 못하고 있어서 난 에러였던 것이다. 원래는 res.success 라는 값이 res 안에 있을 경우 로그인 페이지로 넘어가도록 로직을 짰었는데.. 그것을 까먹고...res.send( ), res.status( ) 등 쓸데 없는 값을 전달했었고, 처음에는 아예 return 을 하지도 않았었다. 에..

1. 에러 발생 원인 크롤링 후 날짜 데이터를 엑셀의 형태로 저장하려했으나 엑셀에서 지원하는 형식이 아니어서 위 에러가 발생함 2. 해결 방법 df['date'] = old_dates df['date'] = df['date'].apply(lambda a: pd.to_datetime(a).date()) # .date() removes timezone 스텍오버 플로우에 있는 방법을 사용하여 apply 에 lambda 함수를 사용하여 date 컬럼의 타입을 변경함 3. 참고링크 https://stackoverflow.com/questions/61802080/excelwriter-valueerror-excel-does-not-support-datetime-with-timezone-when-savin ExcelW..

1. 질문 문답 1) 커리어를 계속해서 발전시키고 싶다면?(1) 건강한 몸과 마음이 중요 어떤 기술을 아느냐가 아닌 결과를 내는데 초점 내가 하는 일에 결과를 내는데 필요한 기술의 배움에 초점 1) 커리어를 계속해서 발전시키고 싶다면?(2) 요즘 세상의 전문성이란? 변화를 두려워하지 않는 마인드셋이다. 자신감을 갖고 나에게 무슨일이 주어거나, 하고싶은 일이 있으면 나는 그것을 할 수 있다 라는 자신감을 가진다.. 이는 작은일이라도 결과물을 내면서 키워지게 되어 있다. 전문성이란 변화를 두려워하지 않고 도전하는 마인드셋 한방에 끝내려고 하지 않기. 한방에 끝내지 말고 어디서 시작하던 언제든지 배우고 멈춘거 같으면 그것을 타계할 방법 찾아보기, 더 배울 수 있는 곳으로 갈것인가, 아니면 새로운 것을 시작할것..

1. redshift 소개 1) dw 는 무엇인가 기본적으로 sql 이 기반이 된다. 맵리듀스가 나왓어도 sql 기반의 데이터 처리의 중요성은 없어지지 않았다. 데이터 베이스 시스템은 50년 이상되엇고 굉장히 성숙해잇음, 하지만 맵리듀스는 짧은데다 굉장히 복잡하고 문제 해결 능력이 떨어지니 그 위에 데이터 베이스 시스템을 구현한 것이 하이브 맵 리듀스가 진화한 것이 스파크 이며 동시에 여러가지 기능을 실행가능한다. 구조화된 데이터 처리에 있어서 sql 만한 것이 없다. OLAP : 내부에서 데이터 처리를 위한 DB OLTP : 외부에서 데이터 처리를 위한 프로적션 DB 2) scalable sql engine in aws 모든 db 은 pk 를 지정할수 있는데 반해, dw 는 이를 보정안해줌 왜냐하면 이..

데이터 엔지니어의 일주일에 대해서 배웠다. 이렇게 흘러간다! 는 아니지만, 대략 데이터 엔지니어가 어떻게 일을 하는지 알 수 있었으며, 내가 앞으로 일을 함에 있어서 어떻게 적용하면 좋은지 고민해 볼 수 있었던 유용한 시간이었다. 1. 데이터엔지니어의 일주일 보기 1) Sprint 데모 미팅 2주동안 무슨일을 할것인지 계획을 세움 ( 2주라는 기간이 절대적인 것은 아니다 ) 지난 2주 동안 무슨 일을 했는지 점검하는 시간을 갖음 과업을 진행하거나 달성함에 있어서 어떤 점이 부족했는지 점검 2) Sprint 회고 데모 미팅과 비슷하게 어떤 일을 했는지 서로 공유 이 과정에서 어떤 점이 부족했고 어떻게 보완해야되는지 체크 3) Sprint 플래닝 시 주의사항 40% 의 시간은 인프라 코드의 리펙토링에 사용 ..

1. 의미 교차 출처 리소스 공유(Cross-Origin Resource Sharing, CORS)는 추가 HTTP 헤더를 사용하여, 한 출처에서 실행 중인 웹 애플리케이션이 다른 출처의 선택한 자원에 접근할 수 있는 권한을 부여하도록 브라우저에 알려주는 체제이다. 웹 애플리케이션은 리소스가 자신의 출처(도메인, 프로토콜, 포트)와 다를 때 교차 출처 HTTP 요청을 실행한다. 보안 상의 이유로, 브라우저는 스크립트에서 시작한 교차 출처 HTTP 요청을 제한하는데 예를 들어, XMLHttpRequest와 Fetch API는 동일 출처 정책을 따른다. 즉, 이 API를 사용하는 웹 애플리케이션은 자신의 출처와 동일한 리소스만 불러올 수 있으며, 다른 출처의 리소스를 불러오려면 그 출처에서 올바른 CORS ..