쟈누이의 기록습관

이런 것도 몰랐나 싶다.. 다시 한번 아래 링크를 통해 WSL 에 대해 공부해야겠다 https://hirlawldo.tistory.com/137 WSL(Windows Subsystem for Linux)이란? WSL(Windows Subsystem for Linux)이란? WSL 개요 예전에는 윈도우에서 리눅스를 사용하려면 Virtual Machine과 같은 도구(Virtual Box, VMware 등)을 이용하여 환경을 구성하거나 듀얼 부팅 설정을 해야 했다. (.. hirlawldo.tistory.com https://eyeballs.tistory.com/422 [Spark] Standalone + Hadoop 설치 방법 간단한 기능 테스트를 위한 Spark Standalone 설치 방법을 설명한다...

File - Settings - Editor - Code Style - HTML 에서 설정 가능

스칼라 수행시간 측정 import java.util.concurrent.TimeUnit.NANOSECONDS object Scala_Test { var tik0 = System.nanoTime() def main(args:Array[String]): Unit = { println("hello world!") } var tik1 = System.nanoTime() // 지연율 출력력 println(s"Time taken: ${NANOSECONDS.toMillis(tik1 - tik0)} ms") println(s"Time taken: ${NANOSECONDS.toSeconds(tik1 - tik0)} s") }

1. mean - 객체의 평균값 계산 intIds.mean 2. sum - 객체의 합 계산 intIds.sum 3. stats - 단 한번의 호출로 RDD 요소의 전체 개수, 합계, 평균, 최댓값, 최솟값, 부산, 표준편차를 한꺼번에 계산 intIds.stat 4. histogram - 데이터를 시각화하는데 주로 사용, - x 축에는 데이터 값의 구간(interval) 을 그리고 - y 축에는 각 구간에 해당하는 데이터 밀도나 요소 개수를 그림 - 히스토그램이 제공하는 데이터 분포로 표준편차나 평균값에서 볼수 없는 인사이트 얻을 수 잇음 // 첫번째 버전 // - 구간 경계를 표혀하는 double 값의 배열을 받고, 각 구간에 속한 요소 개수를 담은 Array 객체를 반환 intIds.histogram(..

RDD 는 크게 변환 과 행동 이라는 두 유형으로 나뉨 변환 연산자 : RDD 의 데이터를 조작해 새로운 RDD 를 생성 ( filter, map 함수) 행동 연산자 : 연산자를 호출한 프로그램으로 계산결과를 반환하거나 RDD 요소에 특정 작업을 수행하려고 실제 계산을 시작하는 역할을 함 ( count, foreach 함수) 지연 실행 - 매우 중요한 개념 - 행동 연산자를 호풀하기 전까지는 변환 연산자의 계산을 실행하지 않는 것을 의미 - 행동 연산자를 호출했을 때 무슨 연산이 어떤 순서로 실행되어야 할지 알려주는 일종의 설계도 1. map 변환 연산자 원본 RDD 의 각 요소를 변환한 후 변환된 요소로 새로운 RDD 를 생성하는 연산자 RDD 의 모든 요소에 임의의 함수를 적용할 수 있는 변환 연산자..

1. sbt 란 SBT는 최신 빌드 도구 중 하나 스칼라로 작성되었고, 스칼라에 사용하기 편한 기능을 많이 제공함 2. sbt 사용 이유 의존성 관리 의존성 관리에 Ivy를 사용 요청이 올때만 업데이트(Only-update-on-request) 모델 태스크를 작성할 수 있도록 스칼라 언어 전체를 지원 연속으로 명령 실행 프로젝트 문맥(환경)하에서 REPL 실행 가능 3. 설치 방법 # remove old Bintray repo file # 1. 기존 old repo 지우기 sudo rm -f /etc/yum.repos.d/bintray-rpm.repo # 2.sbt repo 받기 curl -L https://www.scala-sbt.org/sbt-rpm.repo > sbt-rpm.repo # 3. 옮기기..

aws 는 CentOS, Ubuntu 에서 yum, apt 를 이용하면 쉽게 다운로드 받을 수 있는 scala 에 대한 다운로드가 좀 어려운거 같다.... 혹시 모르니 우선 기록 1. 설치 방법 // 1번째 $ wget http://downloads.typesafe.com/scala/2.11.6/scala-2.11.6.tgz // 2번째 $ tar -xzvf scala-2.11.6.tgz // 3번째 - 받은 tgz 파일 삭제 $ rm -rf scala-2.11.6.tgz // 4번째 bashrc 에 설정하기 vi ~/.bashrc // 5. bashrc 소스 적용 $ source ~/.bashrc 적용 완료 2. 참고 링크 https://gist.github.com/diegopacheco/ee621e8..

1. 에러의 원인 해당 에러의 경우, 로컬에서 작업을 하였을 경우 파일을 저장할 때 주로 발생하는 에러 나의 경우에는 intellij 에서 sftp 파일을 편집하려고 했을 때 발생함 권한 부분만 해결하면 되는 에러 2. 해결 방법 해결방법은 의외로 간단했다. $ sudo chmod -R 777 ./folder 777 권한을 다 주기는 뭐해서.. 시간이 될 때 권한 테스트를 하면서 최소한으로 열수 있는 권한을 파악해야겠다. 파이참에서도 위 방법으로 해결이 가능한 것 같다 3. 참고 링크 https://data-newbie.tistory.com/502 Pycharm remote SFTP file transfer fails: Permission Denied 및 Failed to change timestamp ..

가끔 인스턴스 상태 체크시 상태 유효성 검사가 중 실패했다는 에러가 뜬다 그럴 때는 아래왜 같이 체크하면 된다. 1. 상태 검사 체크 - 이 부분에서 시스템 상태검사 실패냐 인스턴스 상태 검사 실패냐에 따라 대응 방법이 달라진다 1) 시스템 상태 확인 2) 인스턴스 상태 확인 2. 모니터링 그래프 체크 모니터링 그래프를 체크하며 어느 부분에서 문제 있었는지 우선 체크 그 외 명령줄 체크도 있지만 우선 해당 부분은 나중에 체크하기로.. 3. 참고 링크 https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/monitoring-system-instance-status-check.html#viewing_status 인스턴스 상태 확인 - Amazon Elasti..

RedShift 에 대해서 다시 정리 필요 1. RedShift 란? Amazon Redshift는 클라우드에서 완벽하게 관리되는 페타바이트급 데이터 웨어하우스 서비스 작게는 수백 기가바이트부터 시작하여 페타바이트 이상까지 데이터를 확장할 수 있으며, 이를 통해 데이터를 사용하여 비즈니스 및 고객에 대한 새로운 인사이트를 발굴하는 것도 가능 2. 특징 특징은 아래에 aws 에서 발표한 자료 캡쳐 3. 참고 링크 https://docs.aws.amazon.com/ko_kr/redshift/latest/mgmt/welcome.html Amazon Redshift란 무엇입니까? - Amazon Redshift 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 ..