본문 바로가기
  • Let's go grab a data
반응형

전체 글435

[R 기초] Tip & 기본 함수 Command [R 기초] Command #명령어 #R 기초 #R 구문 #R studio #Command #함수 R 구문 중에 필수, 자주 사용하는 명령어들을 계속해서 업데이트 할 예정입니다. Ctrl + Enter 또는 Alt + EnterR 스튜디오에서 각 라인별 또는 드래그 앤 드랍으로 블럭을 지정한 후 Ctrl + Enter 시 스크립트를 실행함 TabR 스튜디오에서 자동완성 기능 제공 #R 스튜디오에서 주석 (라인) Operators +, -, *, ^, %*%(matrix muliplication 행렬곱), %/%(remainder) mathematical >, >=, 2016. 2. 9.
[R 기초] 개요, 기초 데이터 구조 빅데이터의 개념 시스템, 서비스, 조직 등에서 주어진 비용, 시간 내에 처리 가능한 범위를 넘어서는 데이터즉, 기존 회사에서 시간이 부족해서, 기술이 받쳐주지 않아서 손댈 엄두를 못내던 데이터를 빅데이터라 하며엑셀이 없던 시절에는 엑셀로 처리 가능한 데이터도 빅데이터 였다.폭발적으로 증가하는 데이터 양 자체만 빅데이터로 치부하기엔 아쉬움이 있다. 형태가 어떻든 그것을 핸들링 할 수 있고, 가치를 찾아 낼 수 있으며, 처리 비용 대비 수익을 낼 수 있어야 유의미한 데이터라고 할 수 있다. 빅데이터의 네가지 특징 Value Volume - Terabytes, Records, TransactionVelocity - Batch, Near time, Real time, StreamsVariety - Structu.. 2016. 2. 9.
기계학습Machine Learning - 강화 학습 유형(Multi armed bandit) 강화 학습 Reinforcement Learning환경을 탐색하는 에이전트가 현재의 상태를 인식하여 어떤 행동을 취함에이전트는 환경으로 부터 포상을 얻음포상은 양수와 음수 둘 다 가능에이전트가 앞으로 누적될 포상을 최대화 하는 정책을 찾는 방법 강화 학습과 지도학습의 차이점 지도 학습 : 이미 알고 있는 지식을 이용해 원하지 않는 행동을 명시적으로 수정하며 모델을 업데이트 해감강화 학습 : 이미 알고 있는 지식과 아직 조사되지 않는 영역을 탐험하는 것 사이의 균형을 잡는 것즉, 환경이 지속적으로 변해가는 상황에서 트렌드를 실시간으로 분석하고 이를 즉각 반영할 수 있는 온라인 수행조사되지 않은 영역과의 Trade-off를 조절하는 Multi-armed bandit 문제를 알아본다 Multi-armed Ba.. 2016. 2. 7.
기계학습Machine Learnig - 비지도 학습 비지도 학습 Unsupervised Learning데이터가 어떻게 구성되었는지 알아내는 문제 지도 학습이나 강화 학습과는 달리 입력값에 대한 목표치가 주어지지 않음 비지도 학습을 이용한 알고리즘 예 클러스터링(Clustering) : k-means 알고리즘 http://pubdata.tistory.com/26독립 성분 분석(Independent Component Analysis) 2016. 2. 7.
기계학습Machine Learning - 지도 학습 유형 지도 학습 Supervised Learning훈련 데이터(Training Data)로부터 하나의 함수를 유추함훈련 데이터는 일반적으로 입력 객체에 대해 속성을 벡터 형태로 포함하고 있으며, 각각 벡터(독립변수)에 대해 원하는 결과(종속변수)가 포함지도학습 검증방법 (Accuracy, Sensitivity, Specificity, Precision, ROC, AUC)교차 검증(Cross-Validation) : Training Set, Test Set의 7:3 또는 8:2 샘플링유추된 함수에 대해 Test Set을 입력 시 추론된 결과(종속 변수)와 실제 결과의 비교를 통해 정확도 측정 가능 - True Positive : 유추된 함수에 의해 추론된 결과(참)와 실제 결과가 같음. 관심 범주를 정확하게 분.. 2016. 2. 6.
기계학습Machine Learning - 정의, 목적별 분류 통계와 기계학습의 차이는?통계는 정해진 분포나 가정을 가지고 엄격하게 규칙이 적용되는 설문조사나 실험 계획에 사용됨기계학습은 대용량 데이터의 분석이나 패턴을 찾는데 사용됨 기계학습이란?정의 : 컴퓨터에게 배울 수 있는 능력, 즉 코드로 정의하지 않은 동작을 실행하는 능력에 대한 연구분야 (아서 사무엘, 1959)머신 러닝(영어: machine learning) 또는 기계 학습(機械 學習)은 인공 지능의 한 분야로, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다. 가령, 기계 학습을 통해서 수신한 이메일이 스팸인지 아닌지를 구분할 수 있도록 훈련할 수 있다.기계 학습의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이.. 2016. 2. 6.
4. CentOS 스파크 설치 Spark Install "Hello Spark" 1~3 글은 Lecture_Linux로 이동했습니다.4. CentOS 스파크 설치 Spark Install "Hello Spark" #스파크 설치 #spark-shellSpark Download & Install [스파크 설치 Spark Install _ Standalone]1) 리눅스 OS의 웹브라우저를 통해 다운로드http://spark.apache.org/downloads.html 버전 1.6.0 Pre-built for Hadoop 2.6 기준ver. 1.6.0, Pre-built for Hadoop 2.6 and later, Direct Download 2-1) 다운 받은 Spark를 home에 압축해제~$> tar -zxf Downloads/spark-1.6.0-bin-hadoop2.6.tgz.. 2016. 2. 5.
3. CentOS 리눅스 자바 설치 Java Install 3. CentOS 리눅스 자바 설치 Java Install Java Download & Install (homepage download) CentOS에는 기본적으로 설치되어 있는 JAVAyum을 이용하여 재설치할 경우 루트 권한에서 ~#>yum install java-1.7.0-openjdk-devel.x86_64이 글에서는 방화벽이나 사내망 등 네트워크상 어려움이 있는 경우, 특정 JDK 버전을 사용해야 하는 경우홈페이지를 통해 다운로드 후 설치, 설정 하는 내용입니다. [설치 Install]1) 리눅스 OS의 웹브라우저를 통해 다운로드http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html JDK 7 버전, .. 2016. 2. 5.
2. Cent OS 7 설치 & 설정(CentOS Install, Setting) [Spark] CentOS 설치 & 설정(CentOS Install) Cent OS 7 Download & Install [설치 Install]1) 웹브라우저를 통해 다운로드http://ftp.kaist.ac.kr/CentOS/7/isos/x86_64/ (iso 파일 다운로드)https://www.centos.org/download/ 실습 다운로드 파일 (Ver. LiveGNOME-1511)- CentOS-7-x86_64-LiveGNOME-1511.iso (1.1GB) 2) VDI (Virtual Disk Image) 만들기설치된 VirtualBox 실행 - 새로 만들기 - 이름: Test 종류: Linux 버전: Red Hat (64bit) - 메모리 2048MB - 지금 가상 하드 드라이브 만들기 -.. 2016. 2. 5.
반응형