스파크
-
Spark Cluster 구축 (Standalone Mode)Open Source/Spark 2021. 9. 14. 22:54
spark 을 사용하다가 클러스터를 구축 할 때 반복작업들이 존재하기 때문에 해당 내용을 기록합니다. 아래 설치 명령어는 centos7 서버 기준(root 계정 사용)이기 때문에, ubuntu, macOS, windows 에서는 다를 수 있습니다. 1. 모든 노드 공통 먼저 OS 에 디펜던시를 설치한다. python3 java 각 버전은 사용자 환경에 맞게 설치한다. 여기에서는 python 3.6, java 1.8, spark 2.4.4 를 설치한다. 1.1. hostname 설정 echo "x.x.x.1 spark-master" >> /etc/hosts echo "x.x.x.2 spark-slave01" >> /etc/hosts echo "x.x.x.3 spark-slave02" >> /etc/host..
-
[Spark] Altibase 데이터베이스 연동Open Source/Spark 2020. 10. 16. 19:12
Altibase? Main Memory DBMS 데이터와 인덱스를 모두 메모리에 저장하여 빠른 처리 가능 물리 메모리 크기만큼 데이터 저장가능 기존 파일시스템 혼용 가능 2018년 오픈소스 전환 라이센스 서버: GNU AGPLv3 클라이언트: GNU LGPLv3 상업적 이용시 : General Polygon Clipper (GPC) License 구매 필요 설치 - 설치 설명서 링크: github.com/ALTIBASE/Documents/blob/master/Manuals/Altibase_7.1/kor/Installation.md Spark 를 이용한 데이터 로드 Altibase.jar 의 위치를 파악 한다. (Altibase JDBC Driver) Altibase.jar 는 Altibase 설치시 $A..