5. 웹 기반 명령어 해석기 Zeppelin Install

5. 웹 기반 명령어 해석기 Zeppelin Install #제플린 #Zepplin

Zeppelin Download & Install

Zeppelin은?

• 대화형으로 데이터 분석을 하기위한 웹 기반 명령어 해석기이다

• Spark 또는 하둡과 연동하며, 여러 가지 언어를 사용할 수 있다

• iPython-notebook과 사용 방법이 유사하다

• 아직 인큐베이팅 단계이다

[제플린 설치 Zepplin Install]

1) 리눅스 OS의 웹브라우저를 통해 다운로드

https://zeppelin.incubator.apache.org/download.html

Binary package: zeppelin-0.5.6-incubating-bin-all.tgz 다운로드

2-1) 다운 받은 Zeppelin를 home에 압축해제

~$> tar -zxf Downloads/zeppelin-0.5.6-incubating-bin-all.tgz

2-2) 원하는 곳에 폴더를 만들고,

 ~$>sudo mkdir -p /usr/local/lib/zeppelin

2-3) 압축해제된 자바파일들을 SPARK_HOME 폴더에 복사

 ~$>sudo mv zeppelin-0.5.6-incubating-bin-all/* /usr/local/lib/zeppelin

2-4) home에서 편하게 사용하기 위해 심볼릭 링크를 잡아준다.

~$>ln -s /usr/local/lib/zeppelin/ zeppelin

3) node.js 설치

~$>su -

~#>yum install npm

4) git 설치

https://www.kernel.org/pub/software/scm/git/git-2.7.0.tar.xz

xz -d Downloads/git-2.7.0.tar.xz

tar -xvf Downloads/git-2.7.0.tar

ln -s git-2.7.0/ git

5) maven 설치

wget ftp://mirror.reverse.net/pub/apache/maven/maven-3/3.3.3/binaries/apache-maven-3.3.3-bin.tar.gz

https://maven.apache.org/download.cgi

tar -zxf Downloads/apache-maven-3.3.3-bin.tar.gz

sudo mkdir -p /usr/local/lib/maven

sudo mv apache-maven-3.3.3/* /usr/local/lib/maven/

sudo gedit /etc/bashrc

export MAVEN_HOME=/usr/local/lib/maven

export PATH=$PATH:$MAVEN_HOME/bin

Save

#2016-07-18 업데이트

터미널을 다시 띄우면 반영됨

mvn --version

[제플린 설정 Zeppelin Setting]

1-1) conf의 zeppelin-site.xml.template 속성 템플릿 파일을 열어서

~$> sudo gedit zeppelin/conf/zeppelin-site.xml.template

1-2) server.port의 value를 8080에서 8082로 바꿔 줌 -> Spark의 Master가 8080포트를 사용하기 때문에 충돌 방지

<property>

  <name>zeppelin.server.port</name>

  <value>8082</value>

  <description>Server port.</description>

</property>

1-3) 다른 이름으로 저장 (템플릿을 지운다)

Save as "zeppelin-site.xml"

2-1) conf의 zeppelin-env.sh.template 템플릿 파일을 열어서 JAVA_HOME과 SPARK_HOME을 입력

    여기서 MASTER는 스파크를 실행시킨 후 localhost:8080의 URL항목에 있는 값을 쓰면 됨

~$> sudo gedit zeppelin/conf/zeppelin-env.sh.template

export JAVA_HOME=/usr/local/lib/java

export MASTER=spark://localhost.localdomain:7077

export SPARK_HOME=/usr/local/lib/spark

export SPARK_SUBMIT_OPTIONS="--driver-memory 1024M --executor-memory 1G"

2-1)다른 이름으로 저장 (템플릿을 지운다)

Save as "zeppelin-env.sh"

[동작 확인 Confirm]

~$> root 권한으로 

       sudo zepplin/bin/zeppelin-daemon.sh start

       웹 브라우저를 열어서 localhost:8082 에 아래와 같은 내용이 나오면 성공

끄는 법

~$> sudo zepplin/bin/zeppelin-daemon.sh stop

      

hello zeppelin

Zeppelin의 웹 화면에서 Notebook - Create new note - Test

스크립트 창에 print("hello zeppelin")

하고 Run 하면 아래와 같이 나타나면 성공 (우측 상단의 Connected 상태여야 함)

참고 : http://zeppelin-project.org/docs/install/install.html

          https://zeppelin.incubator.apache.org/docs/0.5.5-incubating/install/yarn_install.html

안되는 부분이나 궁금한 점 있으면 댓글달아 주세요 :)