쟈누이의 기록습관

1. 에러 원인 해당 에러는 pyspark 를 주피터에서 사용할 때, 주피터에서 PYTHONPATH 를 찾지 못해서 발생하는 에러로 추정이 된다. 자세한 사항은 알아내진 못했다. 2. 해결 방법 1) PYTHONPATH 를 환경변수 설정에서 만들어 준다(윈도우 버전) # 이미 스파크는 설치한 상태라고 가정한다 SPARK_HOME => /opt/spark-3.0.0-bin-hadoop2.7 PATH => %SPARK_HOME%/bin;%SPARK_HOME%/python;%PATH% # 아래 PYTHONPATH 만 만들어주면 된다 PYTHONPATH => %SPARK_HOME%/python;%SPARK_HOME%/python/lib/py4j-0.10.9-src.zip;%PYTHONPATH% 2) findsp..

1. 스파크 운영용 애플리케이션 Spark-submit 명령을 사용해 대화형 셀에서 개발한 프로그램을 운영용 애플리케이션으로 쉽게 전환 가능 해당 명령은 애플리케이션 코드를 클러스터에 전송해 실행시키는 역할 2. Dataset 타입 안정성을 제공하는 구조적 api 정적 타입 코드를 지원하기 위해 고안된 스파크의 구조적 api 타입안정성을 지원하며 동적 타입 언어인 파이썬과 R 에선 사용 불가 3. 구조적 스트리밍 스트림 처리용 고수준 api 배치모드의 연산을 스트리밍 방식으로 실행할 수 있으며, 지연 시간을 줄이고 증분 처리할 수 있음 배치 처리용 코드를 일부 수정하여 스트리밍 처리를 수행하고 값을 빠르게 얻을 수 있는 장점 존재 스트리밍은 트리거가 실행된 다음 데이터를 갱신하게될 인메모리 테이블에 데이..

1. 에러 원인 Spark 2.4.x 버전은 아직 파이썬 3.8 버전을 지원하지 않는다고 한다. 그것때문에 위 에러가 발생하는 것이다 2. 해결 방법 해결방법에는 몇가지가 있으나 가장 많이 나오는 방법은 파이썬을 3.7 버전으로 다운그레이드 시키는 방법이다. conda 의 경우에는 conda 의 명령어를 사용하여 파이썬 을 다운그레이드 시킬 수 있지만 일반 파이썬의 경우에는 그런것을 찾기가 어려워서 나의 경우에는 그냥 파이썬 3.8을 3.7 버전을 다시 설치해주었더니 정상으로 실행이 되었다. 3. 참고 링크 https://stackoverflow.com/questions/58700384/how-to-fix-typeerror-an-integer-is-required-got-type-bytes-error-w..