쟈누이의 기록습관

1. WSL 실행 (Windows 안에서 리눅스 실행) 2. 파일 있는 곳으로 경로를 찾아 이동 $ cd /mnt/c/Users/Desktop/[유저]/team/Project/ 3. 파일 복사 (linux의 홈 디렉토리로) $ cp test.txt /home 4. 결과 확인 $ cd ~ $ ls

1. 에러의 원인 wsl 에서 간단한 spark 테스트를 위해 hadoop 을 설치했으나 datanode 와 namenode 의 clusterID 가 달라 벌어진 현상 평상시에는 가상환경 3개를 나누어 데이터 노드, 네임노드를 따로설정하기에 별 문제가 없지만 이번 경우에는 하나의 가상환경에서 테스트를 진행하는 것이기에 데이터 노드와 네임노드가 한곳에 위치했었다. 하지만 hadoop 을 설정하는 과정에서 하둡이 자연스럽게 데이터 노드와 네임노드의 clusterID 를 다르게 설정했고, 이로인해 한곳의 장소에서 두개의 다른 아이디가 뜨니 hadoop 입장에서는 에러를 때려서 데이터 노드를 꺼버린 것 2. 해결 방법 1) hadoop log 확인 나의 경우에는 hadoop 에 있는 데이터노드의 로그를 체크했다..

이런 것도 몰랐나 싶다.. 다시 한번 아래 링크를 통해 WSL 에 대해 공부해야겠다 https://hirlawldo.tistory.com/137 WSL(Windows Subsystem for Linux)이란? WSL(Windows Subsystem for Linux)이란? WSL 개요 예전에는 윈도우에서 리눅스를 사용하려면 Virtual Machine과 같은 도구(Virtual Box, VMware 등)을 이용하여 환경을 구성하거나 듀얼 부팅 설정을 해야 했다. (.. hirlawldo.tistory.com https://eyeballs.tistory.com/422 [Spark] Standalone + Hadoop 설치 방법 간단한 기능 테스트를 위한 Spark Standalone 설치 방법을 설명한다...