본문 바로가기
  • On the ball
반응형

분류 전체보기494

기계학습Machine Learning - 지도 학습 유형 지도 학습 Supervised Learning훈련 데이터(Training Data)로부터 하나의 함수를 유추함훈련 데이터는 일반적으로 입력 객체에 대해 속성을 벡터 형태로 포함하고 있으며, 각각 벡터(독립변수)에 대해 원하는 결과(종속변수)가 포함지도학습 검증방법 (Accuracy, Sensitivity, Specificity, Precision, ROC, AUC)교차 검증(Cross-Validation) : Training Set, Test Set의 7:3 또는 8:2 샘플링유추된 함수에 대해 Test Set을 입력 시 추론된 결과(종속 변수)와 실제 결과의 비교를 통해 정확도 측정 가능 - True Positive : 유추된 함수에 의해 추론된 결과(참)와 실제 결과가 같음. 관심 범주를 정확하게 분.. 2016. 2. 6.
기계학습Machine Learning - 정의, 목적별 분류 통계와 기계학습의 차이는?통계는 정해진 분포나 가정을 가지고 엄격하게 규칙이 적용되는 설문조사나 실험 계획에 사용됨기계학습은 대용량 데이터의 분석이나 패턴을 찾는데 사용됨 기계학습이란?정의 : 컴퓨터에게 배울 수 있는 능력, 즉 코드로 정의하지 않은 동작을 실행하는 능력에 대한 연구분야 (아서 사무엘, 1959)머신 러닝(영어: machine learning) 또는 기계 학습(機械 學習)은 인공 지능의 한 분야로, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다. 가령, 기계 학습을 통해서 수신한 이메일이 스팸인지 아닌지를 구분할 수 있도록 훈련할 수 있다.기계 학습의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이.. 2016. 2. 6.
4. CentOS 스파크 설치 Spark Install "Hello Spark" 1~3 글은 Lecture_Linux로 이동했습니다.4. CentOS 스파크 설치 Spark Install "Hello Spark" #스파크 설치 #spark-shellSpark Download & Install [스파크 설치 Spark Install _ Standalone]1) 리눅스 OS의 웹브라우저를 통해 다운로드http://spark.apache.org/downloads.html 버전 1.6.0 Pre-built for Hadoop 2.6 기준ver. 1.6.0, Pre-built for Hadoop 2.6 and later, Direct Download 2-1) 다운 받은 Spark를 home에 압축해제~$> tar -zxf Downloads/spark-1.6.0-bin-hadoop2.6.tgz.. 2016. 2. 5.
3. CentOS 리눅스 자바 설치 Java Install 3. CentOS 리눅스 자바 설치 Java Install Java Download & Install (homepage download) CentOS에는 기본적으로 설치되어 있는 JAVAyum을 이용하여 재설치할 경우 루트 권한에서 ~#>yum install java-1.7.0-openjdk-devel.x86_64이 글에서는 방화벽이나 사내망 등 네트워크상 어려움이 있는 경우, 특정 JDK 버전을 사용해야 하는 경우홈페이지를 통해 다운로드 후 설치, 설정 하는 내용입니다. [설치 Install]1) 리눅스 OS의 웹브라우저를 통해 다운로드http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html JDK 7 버전, .. 2016. 2. 5.
2. Cent OS 7 설치 & 설정(CentOS Install, Setting) [Spark] CentOS 설치 & 설정(CentOS Install) Cent OS 7 Download & Install [설치 Install]1) 웹브라우저를 통해 다운로드http://ftp.kaist.ac.kr/CentOS/7/isos/x86_64/ (iso 파일 다운로드)https://www.centos.org/download/ 실습 다운로드 파일 (Ver. LiveGNOME-1511)- CentOS-7-x86_64-LiveGNOME-1511.iso (1.1GB) 2) VDI (Virtual Disk Image) 만들기설치된 VirtualBox 실행 - 새로 만들기 - 이름: Test 종류: Linux 버전: Red Hat (64bit) - 메모리 2048MB - 지금 가상 하드 드라이브 만들기 -.. 2016. 2. 5.
1. 버추얼박스 설치,세팅(Virtual Box Install) [Spark] 버추얼박스 설치, 세팅(Virtual Box Install) Oracle VirtualBox Download & Install [설치 Install]1) 웹브라우저를 통해 다운로드https://www.virtualbox.org/wiki/Downloads (최신 버전 다운로드)http://download.virtualbox.org/virtualbox/ (버전별 다운로드) 실습 다운로드 파일 (Ver. 4.3.24-98716 for Windows)- VirtualBox-4.3.24-98716-Win- Oracle_VM_VirtualBox_Extension_Pack-4.3.24-98716.vbox-extpack 2) 다운로드 받은 VirtualBox 설치파일을 실행하여 Next - Next - .. 2016. 2. 5.
[Spark] Command (Terminal, Spark, Hadoop) [Linux Terminal]cdls zeppelin*ln -s zeppelin-0.5.6-incubating-bin-all zeppelinls 20* cp Downloads/hadoop_cnf/* hadoop/etc/hadoop/cp -rp spark_project01/ spark_project02 jpspwd sudo -unzip ~.ziptar -zxf zeppelin-0.5.6-incubating-bin-all.gz gedit conf/flume_avro.txtvi hadoop_cnf/hdfs-site.xmlmkdir /home/hadoop/syslog touch /home/hadoop/syslog/a.txt echo "TESTTEST" >> syslog/a.txtssh hadoop02 "nets.. 2016. 1. 29.
[Spark] URLs //Spark http://localhost:8080/ //Hadoop http://localhost:50070 //Hadoop Applicationshttp://localhost:8088/cluster //Hadoop Jobshttp://localhost:4040/jobs //Zepplin http://localhost:8082 //Spark Downhttp://spark.apache.org/ //Spark Docu spark.apache.org/docs/latest/index.html //flume repositoryhttp://mvnrepository.com/artifact/org.apache.spark/spark-streaming-flume_2.10/1.4.0 //cafe http://cafe.d.. 2016. 1. 29.
실시간 빅데이터 분석[Hadoop, Spark] 개요 cafe.daum.net/moonikan김문주moonikan@gmail.com 빅데이터 : 시스템, 서비스, 조직 등에서 주어진 비용, 시간 내에 처리 가능한 범위를 넘어서는 데이터빅데이터 4V : Volume(10 TB 이상), Velocity(Batch, Near time, Real time, Streams), Variety(Structured, Unstructured, Semi-structured) Value Hadoop 아파치 프로젝트 중 DB쪽에 위치하며, 인프라쪽으로 가고 있다The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.The Apache Hadoop s.. 2016. 1. 27.
반응형

티스토리툴바