4. CentOS 스파크 설치 Spark Install "Hello Spark"

1~3 글은 Lecture_Linux로 이동했습니다.

4. CentOS 스파크 설치 Spark Install "Hello Spark" #스파크 설치 #spark-shell

Spark Download & Install

[스파크 설치 Spark Install _ Standalone]

1) 리눅스 OS의 웹브라우저를 통해 다운로드

http://spark.apache.org/downloads.html

버전 1.6.0 Pre-built for Hadoop 2.6 기준

ver. 1.6.0, Pre-built for Hadoop 2.6 and later, Direct Download

2-1) 다운 받은 Spark를 home에 압축해제

~$> tar -zxf Downloads/spark-1.6.0-bin-hadoop2.6.tgz

2-2) SPARK_HOME이 될 폴더를 만들고,

 ~$>sudo mkdir -p /usr/local/lib/spark

2-3) 압축해제된 자바파일들을 SPARK_HOME 폴더에 복사

 ~$>sudo mv spark-1.6.0-bin-hadoop2.6/* /usr/local/lib/spark

2-4) home에서 편하게 사용하기 위해 심볼릭 링크를 잡아준다.

~$> ln -s /usr/local/lib/spark/ spark

[스파크 설정 Spark Setting]

1) profile 파일을 열어서 JAVA_HOME과 SPARK_HOME을 추가

~$> gedit /etc/profile

export JAVA_HOME=/usr/local/lib/java

export SPARK_HOME=/usr/local/lib/spark

2) 저장

Save

3) conf의 log4j 속성 템플릿 파일을 열어서

~$> gedit spark/conf/log4j.properties.template

3-1) 아래 부분 INFO -> ERROR로 바꿔 줌 -> Spark 로그에 정신없는 INFO가 안나타남

log4j.rootCategory=ERROR, console

3-2) 다른 이름으로 저장 (템플릿을 지운다)

Save as "log4j.proerties"

4) conf의 spark-env.sh 템플릿 파일을 열어서 JAVA_HOME과 SPARK_HOME을 입력

~$> gedit spark/conf/spark-env.sh.template

export JAVA_HOME=/usr/local/lib/java

export SPARK_HOME=/usr/local/lib/spark

#2016-07-17업데이트

JAVA_HOME path는 각 시스템에 java설치된 위치로 지정

상세한 방법 http://pubdata.tistory.com/16

4-1)다른 이름으로 저장 (템플릿을 지운다)

Save as "spark-env.sh"

[동작 확인 Confirm]

spark 시작하기:  root 권한으로 

~$> sudo spark/sbin/start-all.sh

       웹 브라우저를 열어서 localhost:8080 에 아래와 같은 내용이 나오면 성공

      

#2016-07-17 업데이트

에러 조치

connect to host localhost port 22: Connection refused 나오는 경우

System Preferences - Sharing - turn on Remote Login

이후 spark/sbin/start-all.sh로 재시작 시 Master running as Process 000 으로 구동 됨.

spark 끄는 법 : 

~$> sudo spark/sbin/stop-all.sh

spark shell

~$> sudo spark/bin/spark-shell

      

shell 끄는 법 : 

scala>exit

참고 : https://spark.apache.org/docs/latest/spark-standalone.html

안되는 부분이나 궁금한 점 댓글로 달아주세요 :)