실시간 빅데이터 분석[Hadoop, Spark] 개요
cafe.daum.net/moonikan김문주moonikan@gmail.com 빅데이터 : 시스템, 서비스, 조직 등에서 주어진 비용, 시간 내에 처리 가능한 범위를 넘어서는 데이터빅데이터 4V : Volume(10 TB 이상), Velocity(Batch, Near time, Real time, Streams), Variety(Structured, Unstructured, Semi-structured) Value Hadoop 아파치 프로젝트 중 DB쪽에 위치하며, 인프라쪽으로 가고 있다The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.The Apache Hadoop s..
2016. 1. 27.
알고리즘 종류, 주 활용 분야
알고리즘 주 활용 분야 업리프트 모델링(Uplift modeling) 단계적 추정, 예측 분석마케팅 캠페인에서 많이 사용, 환경이나 조건을 달리한 후 적당한 그룹을 선택하여 예측성을 높이는 방법마케팅, 신용관리, 가격선택, 고객 이탈 관리 등 분야 생존 분석(Suvival Anlaysis) 의료 통계, 설비 분야 사건 예측 회귀 분석(Regression, logistic) 예측 분석, 추정 분석(매출, 신용 점수 등) 시각화(Visualization) 원인과 관계 분석 기초 통계(Statistics) 현황 파악 부스팅(Boosting), 배깅(Bagging) 분류 분석 시계열/순열 분석(Timeseries/Sequence analysis) 시간상의 예측(이자율, 예산 등) 요인 분석(Factor Anal..
2016. 1. 23.
데이터 분석가에게 필요한 것
수학, 기초통계, 분석 모델링, 컴퓨터 과학, 기계학습, 수리경제학 현장에서의 경험 : 데이터를 보고 문제 현황을 파악할 때 어떤 값을 기준으로 사용해야할지. 데이터를 보고 답이 없다는 것을 아는 것도 납득할 만한 보고서 데이터 품질 전문가 : 빠진값이 많거나 일관성이 부족한 데이터 등 전처리와 가공 작업에 전체 분석 작업중 6~70% 차지 한다. 데이터 세트를 연결하는 데이터 식별값 다양한 플랫폼, 다양한 분석 도구 커뮤니케이션 기술 : 인사이트 설명, 설득, 공감대배움에 성실꼼꼼진실함과 정직함빅데이터 - 스마트데이터 - 인품있는데이터(Intelligent data) 출처 : 데이터 과학 어떻게 기업을 바꾸었나? 김옥기, 2014.12 데이터 과학자의 특징 - 호기심, 실험, 창의성과 체계적인 업무, ..
2016. 1. 17.