쟈누이의 기록습관

1. 에러 원인 해당 에러의 원인은 aws 람다 실행시 람다에 패키지가 올라가 있지 않은 상태인 것이다. --> 패키지를 올려주면 에러가 해결이 될 수 있다. 2. 해결 방법 --> 람다에서 사용할 패키지를 모아 zip 파일 형태로 올리면 된다. 람다는 제약사항이 존재하는데 아래와 같다 1) 에러가 뜬 패키지들을 따로 모아서 압축한다. ( 로컬 프로젝트 에 들어가면 패키지를 모아논 Scripts 를 볼 수 있다 거기서 가져온다) 2) lambda 계층에 들어가서 zip 파일을 업로드한다. 전부 완성했으면 아래와 같이 생성된다 3) 해당 계층을 사용할 람다와 연결한다 4) 끝 3. 참고 링크 https://blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=..

1. 에러의 원인 wsl 에서 간단한 spark 테스트를 위해 hadoop 을 설치했으나 datanode 와 namenode 의 clusterID 가 달라 벌어진 현상 평상시에는 가상환경 3개를 나누어 데이터 노드, 네임노드를 따로설정하기에 별 문제가 없지만 이번 경우에는 하나의 가상환경에서 테스트를 진행하는 것이기에 데이터 노드와 네임노드가 한곳에 위치했었다. 하지만 hadoop 을 설정하는 과정에서 하둡이 자연스럽게 데이터 노드와 네임노드의 clusterID 를 다르게 설정했고, 이로인해 한곳의 장소에서 두개의 다른 아이디가 뜨니 hadoop 입장에서는 에러를 때려서 데이터 노드를 꺼버린 것 2. 해결 방법 1) hadoop log 확인 나의 경우에는 hadoop 에 있는 데이터노드의 로그를 체크했다..

1. 에러의 원인 해당 에러의 경우, 로컬에서 작업을 하였을 경우 파일을 저장할 때 주로 발생하는 에러 나의 경우에는 intellij 에서 sftp 파일을 편집하려고 했을 때 발생함 권한 부분만 해결하면 되는 에러 2. 해결 방법 해결방법은 의외로 간단했다. $ sudo chmod -R 777 ./folder 777 권한을 다 주기는 뭐해서.. 시간이 될 때 권한 테스트를 하면서 최소한으로 열수 있는 권한을 파악해야겠다. 파이참에서도 위 방법으로 해결이 가능한 것 같다 3. 참고 링크 https://data-newbie.tistory.com/502 Pycharm remote SFTP file transfer fails: Permission Denied 및 Failed to change timestamp ..

1. 에러 원인 airflow 처음 설치하면서 초기화를 할때 발생하는 에러 2. 해결 방법 에러 해결 방법은 간단하다. SQLAlchemy 를 설치하면 된다 pip install "SQLAlchemy==1.3.15" # or pip3 install "SQLAlchemy==1.3.15" 3. 참고 링크 https://mentha2.tistory.com/208 [Airflow] ModuleNotFoundError: No module named 'sqlalchemy.ext.declarative.clsregistry' Airflow 설정 파일을 초기화할 때 발생하는 오류 해결 방법(airflow initdb 오류) 입니다. Airflow를 사용하기 위해 'airflow initdb' 명령어로 airflow da..

1. 에러 원인 에러는 wtform 을 3.0으로 업데이트 하면서 문제가 발생한것으로 인식이 됨 2. 해결 방법 pip install wtforms==2.2 위 명령어를 써줘 wtforms 를 다운그레이드 시킨다 만약 python < 3.6 이면 pip install wtforms==2.3.3 을 한다 3. 참고 링크 https://exerror.com/modulenotfounderror-no-module-named-wtforms-compat/ [Solved] ModuleNotFoundError: No module named 'wtforms.compat' - Exception Error To Solve ModuleNotFoundError: No module named 'wtforms.compat' Err..

1. 에러 원인 해당 에러는 git에서 jenkins 서버로 webhook 이 제대로 발생하지 않을 때 일어남 대개 host 가 제대로 연결이 되지 않았을 경우 발생했다. aws 의 경우에는 보안그룹에서 git ip 를 막고 있었던 상황 2. 해결방법 Github의 Webhook은 아래 같이 지정된 IP주소를 사용하고 있다 그래서 젠킨스 서버가 있는 EC2의 보안그룹에 인바운드 규칙을 설정했다. 예전 답변들에는 3개밖에 없었는데 시간이 지나면서 또 업데이트가 되었나보다.. "hooks": [ "192.30.252.0/22", "185.199.108.0/22", "140.82.112.0/20", "143.55.64.0/20", "2a0a:a440::/29", "2606:50c0::/32" ], 아래 링크에..

1. 에러 원인 해당 에러는 젠킨스와 git 이 제대로 webhook 이 안되었을때 발생한다. 2. 해결 방법 젠킨스는 로그인이 필요한 서비스이기 때문에 링크 앞에 아이디 비번을 기입해주어야만 한다. https://foo:password@jenkins.example.com/github-webhook/ 자세한 내용은 아래 링크를 참고 3. 참고 링크 https://stackoverflow.com/questions/7427557/jenkins-and-github-webhook-http-403 Jenkins and GitHub webhook: HTTP 403 I have a GitHub repository which I would like to have notify Jenkins of new commits v..

1. 원인 나는 지금 소스트리를 사용해 깃에 업로드를 하고 있다. pull 을 해서 당겨받고 있는데 인증 창이 떴었다. 비밀번호를 잘못 입력을 하더니 authentication failed 에러가 나왔다. 원인은 토큰이 만료가 되어서 인증창이 뜬것인데 잘못 인증을 한탓에 에러가 난것 같다. 나의 경우에는 다시 git 에 가서 새로운 토큰을 발급받았다. 2. 해결 방법 아래 링크를 통해 해결했다. 우선 길어서 캡쳐해서 저장하고자 한다. 1. Depending on the requirement, you can set an expiration for your token, or you can set "No expiration" from the dropdown. 2. For scopes, agin, upon yo..

1. 에러 발생 원인 크롤링 후 날짜 데이터를 엑셀의 형태로 저장하려했으나 엑셀에서 지원하는 형식이 아니어서 위 에러가 발생함 2. 해결 방법 df['date'] = old_dates df['date'] = df['date'].apply(lambda a: pd.to_datetime(a).date()) # .date() removes timezone 스텍오버 플로우에 있는 방법을 사용하여 apply 에 lambda 함수를 사용하여 date 컬럼의 타입을 변경함 3. 참고링크 https://stackoverflow.com/questions/61802080/excelwriter-valueerror-excel-does-not-support-datetime-with-timezone-when-savin ExcelW..

1. 에러의 원인 datetime 내에 다로 존재하는 datetime 을 import 를 해주었어야 하는데 일반 상위 datetime 을 import 시켜서 발생한 에러 2. 해결 방법 단순하게 아래와 같이 datetime 을 import 하면 됨 from datetime import datetime 3. 참고 링크 https://stranger-jey.tistory.com/16 [Python] Pycharm 에러 'datetime' has no 'fromtimestamp' 환경 : Windows 10 PyCharm 2021.1.2 (Community Edition) Python 3.6.2 1. 타임스탬프를 월일시로 바꾸기 위해 datetime 모듈 사용. 인터넷에서 하라는대로 했는데 아래와 같이 에러 ..