[Spark] Altibase 데이터베이스 연동

Altibase?

• Main Memory DBMS
• 데이터와 인덱스를 모두 메모리에 저장하여 빠른 처리 가능
• 물리 메모리 크기만큼 데이터 저장가능
• 기존 파일시스템 혼용 가능
• 2018년 오픈소스 전환
• 라이센스
• 서버: GNU AGPLv3
• 클라이언트: GNU LGPLv3
• 상업적 이용시 : General Polygon Clipper (GPC) License 구매 필요

설치

- 설치 설명서 링크: github.com/ALTIBASE/Documents/blob/master/Manuals/Altibase_7.1/kor/Installation.md

Spark 를 이용한 데이터 로드

1. Altibase.jar 의 위치를 파악 한다. (Altibase JDBC Driver)
   1. Altibase.jar 는 Altibase 설치시 $ALTIBASE_HOME/lib 디렉토리에 포함이 되어있다.
2. pyspark interpreter 실행
   1. pyspark --jars $ALTIBASE_HOME/lib/Altibase.jar
3. 데이터 로드

df = spark.read.format('jdbc') \
           .option('url', 'jdbc:Altibase://localhost:port/mydb') \
           .option("dbtable", "test_table") \
           .option('user', "root") \
           .option('password', "password") \
           .option('driver', 'Altibase.jdbc.driver.AltibaseDriver') \
           .load()

 

참조링크

github.com/ALTIBASE/Documents/tree/master/Manuals/Altibase_7.1/kor

ALTIBASE/Documents