반응형
cluster
-
Spark Cluster 구축 (Standalone Mode)Open Source/Spark 2021. 9. 14. 22:54
spark 을 사용하다가 클러스터를 구축 할 때 반복작업들이 존재하기 때문에 해당 내용을 기록합니다. 아래 설치 명령어는 centos7 서버 기준(root 계정 사용)이기 때문에, ubuntu, macOS, windows 에서는 다를 수 있습니다. 1. 모든 노드 공통 먼저 OS 에 디펜던시를 설치한다. python3 java 각 버전은 사용자 환경에 맞게 설치한다. 여기에서는 python 3.6, java 1.8, spark 2.4.4 를 설치한다. 1.1. hostname 설정 echo "x.x.x.1 spark-master" >> /etc/hosts echo "x.x.x.2 spark-slave01" >> /etc/hosts echo "x.x.x.3 spark-slave02" >> /etc/host..