분류 전체보기

1. 에러의 원인 파이썬 환경설정을 할때 위 에러가 발생했었음 C compiler 를 찾지 못해서 생기는 오류 -> 에러의 원인은 생각보다 간단했다 2. 해결 방법 컴파일러를 설치하면 된다. sudo yum install gcc -y

1. 개념 MVCC는 동시 접근을 허용하는 데이터베이스에서 동시성을 제어하기 위해 사용하는 방법 중 하나이며, MVCC 모델에서 데이터에 접근하는 사용자는 접근한 시점에서 데이터베이스의 Snapshot을 읽는데, 이 snapshot 데이터에 대한 변경이 완료될 때 (트랜잭션된 내용이 commit 될 때) 까지 만들어진 변경사항은 다른 데이터베이스 사용자가 볼 수 없다. MVCC 방법에서는 사용자가 데이터를 업데이트하면 이전의 데이터를 덮어 씌우는게 아니라 새로운 버전의 데이터를 UNDO 영역에 생성한다. 대신 이전 버전의 데이터와 비교해서 변경된 내용을 기록한다. 이렇게 해서 하나의 데이터에 대해 여러 버전의 데이터가 존재하게 되고, 사용자는 마지막 버전의 데이터를 읽게 된다. 이러한 구조를 지닌 MVC..

우선 아래 링크를 참고해서 한다 https://medium.com/@seonhwa228/emr-log%EB%A5%BC-cloudwatch-log%EB%A1%9C-%EB%B3%B4%EB%82%B4%EB%8A%94-%EB%B0%A9%EB%B2%95-864bf3a230a EMR Log를 Cloudwatch Log로 보내는 방법 EMR의 로그는 기본적으로 노드의 /mnt/var/log/ 디렉토리에 저장된다. medium.com 따라하다보면 아래의 스크립트가 나오는데 #!/bin/bash sudo yum install -y awslogs sudo systemctl stop awslogsd sudo mv /etc/awslogs/awslogs.conf /etc/awslogs/awslogs.conf.org sudo a..

1. 에러 원인 aws emr spark 의 hudi 로 데이터를 쓰는 도중 아래와 같이 에러가 일어났다 $ 22/03/17 00:54:25 ERROR ServerRuntime$Responder: An I/O error has occurred while writing a response message entity to the container output stream. org.glassfish.jersey.server.internal.process.MappableException: org.sparkproject.jetty.io.EofException 에러의 원인은 client side 로 부터 서버가 닫힌 상황에서 발생하는 것이라고 한다. 에러의 원인에 대한 설명(stackoverflow) This ki..

1. 원인 yarn에서 해당 job에 리소스를 할당해주지 못해 발생하는 문제 계속 위의 문구가 반복된다. 2. 해결방법 여러가지 원인이 있지만, 나의 경우에는 한 job 이 메모리의 99.8%를 먹고 있어서 발생했다. 체크하기 위해서 yarn dashboard 에 접속해서 상태를 체크해봤다. 3. 참고 링크 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=alice_k106&logNo=220451472888 32. [Spark] Application report for application_ (state: ACCEPTED) 가 끝나지 않을 떄 최근, spark로 클러스터를 구축해야 할 일이 생겨서 사내 서버 내에서 리눅스 컨테이너를..

1. 에러 원인 해당 에러는 특정 jar 파일을 찾을 수 없을 때 나타난다. 2. 해결 방법 해결 방법은 의외로 간단한 것 같다. 사용하고자 하는 jar 파일의 위치를 spark-defaunt.conf 에 등록해주면 된다. 자세한 사항은 아래 링크를 참고하면 될것 같다. emr 위주이지만 이해하기 쉽게 영상도 있어서 해결하기는 수월할 것 같다. 3. 참고 링크 https://aws.amazon.com/ko/premiumsupport/knowledge-center/emr-spark-classnotfoundexception/ Amazon EMR에서 Spark의 "java.lang.ClassNotFoundException" 해결 스택 추적을 확인하여 누락된 클래스의 이름을 찾습니다. 그런 다음 사용자 지정 J..

스파크의 설정 변경 등을 하면 종종 다시 시작할 일이 있어 해당 사항을 기록한다. emr 의 스파크를 많이 사용하므로 emr 을 기준으로 우선 기록 $ sudo systemctl stop hadoop-yarn-resourcemanager $ sudo systemctl status hadoop-yarn-resourcemanager $ sudo systemctl start hadoop-yarn-resourcemanager

1. 원인 2021년 8월 부로 git 의 로그인 정책이 변경되었으므로 해당 사항을 기록해서 추후 써먹고자 한다. 2. 방법 https://docs.github.com/en/authentication/keeping-your-account-and-data-secure/creating-a-personal-access-token Creating a personal access token - GitHub Docs Note: If you use GitHub CLI to authenticate to GitHub on the command line, you can skip generating a personal access token and authenticate via the web browser instead. ..

1. 에러 원인 json serde 로 저장된 hive 테이블을 불러올 때 json 형식으로 저장된 글을 인식하지 못해 일어나는 에러 2. 해결 방법 hive lib 의 jar 파일들이 있는 곳에 때려 박았음 참고로 jar 파일은 아래 링크에서 다운로드 받았다. https://jar-download.com/ Download JAR files with all dependencies Many resources are needed to download a project. Please understand that we have to compensate our server costs. Thank you in advance. Project price only 1 $ You can buy this project an..

1. 에러 원인 해당 에러의 원인은 aws 람다 실행시 람다에 패키지가 올라가 있지 않은 상태인 것이다. --> 패키지를 올려주면 에러가 해결이 될 수 있다. 2. 해결 방법 --> 람다에서 사용할 패키지를 모아 zip 파일 형태로 올리면 된다. 람다는 제약사항이 존재하는데 아래와 같다 1) 에러가 뜬 패키지들을 따로 모아서 압축한다. ( 로컬 프로젝트 에 들어가면 패키지를 모아논 Scripts 를 볼 수 있다 거기서 가져온다) 2) lambda 계층에 들어가서 zip 파일을 업로드한다. 전부 완성했으면 아래와 같이 생성된다 3) 해당 계층을 사용할 람다와 연결한다 4) 끝 3. 참고 링크 https://blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=..