1~3 글은 Lecture_Linux로 이동했습니다.
4. CentOS 스파크 설치 Spark Install "Hello Spark" #스파크 설치 #spark-shell
Spark Download & Install
[스파크 설치 Spark Install _ Standalone]
1) 리눅스 OS의 웹브라우저를 통해 다운로드
http://spark.apache.org/downloads.html
버전 1.6.0 Pre-built for Hadoop 2.6 기준
ver. 1.6.0, Pre-built for Hadoop 2.6 and later, Direct Download
2-1) 다운 받은 Spark를 home에 압축해제
~$> tar -zxf Downloads/spark-1.6.0-bin-hadoop2.6.tgz
2-2) SPARK_HOME이 될 폴더를 만들고,
~$>sudo mkdir -p /usr/local/lib/spark
2-3) 압축해제된 자바파일들을 SPARK_HOME 폴더에 복사
~$>sudo mv spark-1.6.0-bin-hadoop2.6/* /usr/local/lib/spark
2-4) home에서 편하게 사용하기 위해 심볼릭 링크를 잡아준다.
~$> ln -s /usr/local/lib/spark/ spark
[스파크 설정 Spark Setting]
1) profile 파일을 열어서 JAVA_HOME과 SPARK_HOME을 추가
~$> gedit /etc/profile
export JAVA_HOME=/usr/local/lib/java
export SPARK_HOME=/usr/local/lib/spark
2) 저장
Save
3) conf의 log4j 속성 템플릿 파일을 열어서
~$> gedit spark/conf/log4j.properties.template
3-1) 아래 부분 INFO -> ERROR로 바꿔 줌 -> Spark 로그에 정신없는 INFO가 안나타남
log4j.rootCategory=ERROR, console
3-2) 다른 이름으로 저장 (템플릿을 지운다)
Save as "log4j.proerties"
4) conf의 spark-env.sh 템플릿 파일을 열어서 JAVA_HOME과 SPARK_HOME을 입력
~$> gedit spark/conf/spark-env.sh.template
export JAVA_HOME=/usr/local/lib/java
export SPARK_HOME=/usr/local/lib/spark
#2016-07-17업데이트
JAVA_HOME path는 각 시스템에 java설치된 위치로 지정
상세한 방법 http://pubdata.tistory.com/16
4-1)다른 이름으로 저장 (템플릿을 지운다)
Save as "spark-env.sh"
[동작 확인 Confirm]
spark 시작하기: root 권한으로
~$> sudo spark/sbin/start-all.sh
웹 브라우저를 열어서 localhost:8080 에 아래와 같은 내용이 나오면 성공
#2016-07-17 업데이트
에러 조치
connect to host localhost port 22: Connection refused 나오는 경우
System Preferences - Sharing - turn on Remote Login
이후 spark/sbin/start-all.sh로 재시작 시 Master running as Process 000 으로 구동 됨.
spark 끄는 법 :
~$> sudo spark/sbin/stop-all.sh
spark shell
~$> sudo spark/bin/spark-shell
shell 끄는 법 :
scala>exit
참고 : https://spark.apache.org/docs/latest/spark-standalone.html
안되는 부분이나 궁금한 점 댓글로 달아주세요 :)
'Data > SPARK' 카테고리의 다른 글
6. 스파크의 핵심 RDD Resilient Distributed Datasets (1) | 2016.02.12 |
---|---|
5. 웹 기반 명령어 해석기 Zeppelin Install (4) | 2016.02.12 |
[Spark] Command (Terminal, Spark, Hadoop) (0) | 2016.01.29 |
[Spark] URLs (0) | 2016.01.29 |
실시간 빅데이터 분석[Hadoop, Spark] 개요 (0) | 2016.01.27 |