쟈누이의 기록습관

1. 라이브러리 정의 임의의 파이썬 데이터 구조를 인터프리터의 입력으로 사용할 수 있는 형태로 《예쁘게 인쇄》할 수 있는 기능을 제공하다. 그리고 포맷된 구조에 기본 파이썬 형이 아닌 객체가 포함되면, 표현은 로드되지 않을 수 있으며, 파일, 소켓 또는 클래스와 같은 객체뿐만 아니라 파이썬 리터럴로 표현할 수 없는 다른 많은 객체가 포함된 경우 가능하다 자세한 사항은 아래 링크 참고할 것 2. 참고 링크 https://docs.python.org/ko/3/library/pprint.html pprint — 예쁜 데이터 인쇄기 — Python 3.10.1 문서 pprint — 예쁜 데이터 인쇄기 소스 코드: Lib/pprint.py pprint 모듈은 임의의 파이썬 데이터 구조를 인터프리터의 입력으로 사용..

1. 라이브러리 정의 This module offers a generic date/time string parser which is able to parse most known formats to represent a date and/or time. 해당 모듈은 일반적인 날짜/시간 포멧으로 파싱이 가능한 날짜/시간 스트링 파서를 제공합니다. 2. 라이브러리 Functinos parser.parse(parserinfo=None, **kwargs)[source] Parse a string in one of the supported formats, using the parserinfo parameters. Parameters: timestr – A string containing a date/time stam..

셀레늄을 사용하면서도 많이 몰랐었던 것 같다. 이번 크롤러를 만들면서 자주 사용했던 기능들을 간단하게 정리하고자 한다 1. Keys.PAGE_DOWN 1) 효과 Keys 를 이용한 페이지 내리기 키보드의 PAGE_DOWN 키와 비슷한 기능 2) 사용법 from selenium.webdriver.common.keys import Keys driver.find_element_by_tag_name('body').send_keys(Keys.PAGE_DOWN) 보통 몇번의 page down 을 할 것인지 정하고 사용하기 때문에 for 문하고 같이 사용한다 for c in range(0,5): driver.find_element_by_tag_name('body').send_keys(Keys.PAGE_DOWN) ti..

데이터 엔지니어의 일주일에 대해서 배웠다. 이렇게 흘러간다! 는 아니지만, 대략 데이터 엔지니어가 어떻게 일을 하는지 알 수 있었으며, 내가 앞으로 일을 함에 있어서 어떻게 적용하면 좋은지 고민해 볼 수 있었던 유용한 시간이었다. 1. 데이터엔지니어의 일주일 보기 1) Sprint 데모 미팅 2주동안 무슨일을 할것인지 계획을 세움 ( 2주라는 기간이 절대적인 것은 아니다 ) 지난 2주 동안 무슨 일을 했는지 점검하는 시간을 갖음 과업을 진행하거나 달성함에 있어서 어떤 점이 부족했는지 점검 2) Sprint 회고 데모 미팅과 비슷하게 어떤 일을 했는지 서로 공유 이 과정에서 어떤 점이 부족했고 어떻게 보완해야되는지 체크 3) Sprint 플래닝 시 주의사항 40% 의 시간은 인프라 코드의 리펙토링에 사용 ..

1. 에러의 원인 datetime 내에 다로 존재하는 datetime 을 import 를 해주었어야 하는데 일반 상위 datetime 을 import 시켜서 발생한 에러 2. 해결 방법 단순하게 아래와 같이 datetime 을 import 하면 됨 from datetime import datetime 3. 참고 링크 https://stranger-jey.tistory.com/16 [Python] Pycharm 에러 'datetime' has no 'fromtimestamp' 환경 : Windows 10 PyCharm 2021.1.2 (Community Edition) Python 3.6.2 1. 타임스탬프를 월일시로 바꾸기 위해 datetime 모듈 사용. 인터넷에서 하라는대로 했는데 아래와 같이 에러 ..

1. 개요 기본적으로 파이썬이 설치가 되어 있지만 파이썬 라이브러리 설치 라이브러리인 pip 가 설치가 안되어 있는 경우도 종종 있다. 그럴때 아래 링크를 참고하여 pip 를 설치하도록 하자 (추후 제대로 정리) 2. 참고 링크 https://docs.aws.amazon.com/ko_kr/elasticbeanstalk/latest/dg/eb-cli3-install-linux.html Linux에 Python, pip 및 EB CLI 설치 - AWS Elastic Beanstalk Linux에 Python, pip 및 EB CLI 설치 EB CLI에는 Python 2.7, 3.4 또는 그 이상이 필요합니다. 배포가 Python과 함께 제공되지 않았거나 이전 버전과 함께 제공된 경우 pip 및 EB CLI를..

1. 에러 원인 주로 파이썬 2에서 발생하는 에러이다. 파이썬 2의 경우에는 기본 인코딩이 ASCII 인데, 이 인코딩은 영문자는 상관없지만, 영어 이외의 다른 언어의 문자는 문제가 생길 수 있다. 그러므로 파이썬 2에서 UTF-8 한글을 사용할 경우 UTF-8 설정을 해주어야 한다. 파이썬3 에서는 기본 인코딩이 UTF-8 이기 때문에 위 에러는 발생하지 않는다. 2. 해결 방법 스크립트 가장 위에 아래와 같이 써준다 # -*- coding: utf-8 -*- print "하히후헤호"

1. 에러 원인 Spark 2.4.x 버전은 아직 파이썬 3.8 버전을 지원하지 않는다고 한다. 그것때문에 위 에러가 발생하는 것이다 2. 해결 방법 해결방법에는 몇가지가 있으나 가장 많이 나오는 방법은 파이썬을 3.7 버전으로 다운그레이드 시키는 방법이다. conda 의 경우에는 conda 의 명령어를 사용하여 파이썬 을 다운그레이드 시킬 수 있지만 일반 파이썬의 경우에는 그런것을 찾기가 어려워서 나의 경우에는 그냥 파이썬 3.8을 3.7 버전을 다시 설치해주었더니 정상으로 실행이 되었다. 3. 참고 링크 https://stackoverflow.com/questions/58700384/how-to-fix-typeerror-an-integer-is-required-got-type-bytes-error-w..

1. 에러 원인 파이썬 설치시 환경변수 설정을 체크하지 않았거나, 설치 자체 시 환경 변수를 자동으로 설정해주지 않아서 생긴 에러같음 2. 에러 해결 방법 에러 해결 방법은 생각보다 간단함 1) 시스템 환경변수 설정에 들어간다 2) 시스템 변수 Path 의 편집을 눌러 아래의 경로를 새로 추가해준다 C:\Python C:\Python\Scripts 그러면 cmd 창을 열고 나서 pip 를 실행할 수 있다. 3. 참고링크 난 첫번째 방법을 통해 해결을 했지만 해결이 안될 경우에는 추후, 아래 링크를 통해 다시 해결할 것 https://oz-il.tistory.com/21 [Python] cmd 내 pip 실행 오류와 해결 방법 / VisualStudio 패키지 설치 방법 최근 컴퓨터를 포맷한 후 비주얼 스..

1. 에러 개요 아래의 이미지와 같이 에러가 발생했었다. 해당 에러는 socket 라이브러리를 사용할 때, 내가 연결하고자 하는 ip 주소 및 링크하고 파이썬 스크립트에 작성한 링크 및 ip 주소하고 매칭이 안될 때 나타나는 에러이다. 2. 해결 방법 난 로컬에 존재하는 elasticsearch 에 데이터 셋을 만드는 것이 목표였기 때문에 url 을 localhost 로 수정을 해주고 나니 정상 동작 했었다. 아마 해당 에러가 발생한다면 처음에는 내가 링크 주소를 잘 입력했나 확인을 해보아야 될 것 같다. 대부분의 에러가 오타에서 발생하기 때문이다. 3. 참고 링크 https://stackoverflow.com/questions/7334199/getaddrinfo-failed-what-does-that-..