본문 바로가기
  • On the ball
반응형

분류 전체보기494

하둡을 선택하기 전에 고려해야 할 것들 1. 빅데이터가 존재하는가? 10TB이상이며 주기적으로 대량의 데이터 유입되는지 얼마나 많은 데이터를 비즈니스에 활용할 것인지 파악 2. 런타임이 길어도 되는가? 하둡은 실행 시간이 길다. 사용자가 얼마나 빠른 반응 시간을 기대하는지, 어떤 일들을 batch로 처리할 수 있는지 파악 3. 온라인, 실시간으로 운영해야 하는가? 하둡은 batch mode 환경이다. 새로운 데이터가 유입되면 전체 데이터를 처음 부터 다시 작업해야 하기 때문에 계속 분석 시간이 늘어난다.실시간 환경에는 적용하기 어려움 4. 데이터의 원본을 유지하는 것이 중요한가?하둡의 맵리듀스는 데이터의 관계나 내용을 조금 잃어버려도 문제가 되지 않는 키값의 데이터 구조에 적합하다.즉, 데이터 구조가 원천 데이터 그 자체만큼 중요하고 유지해야.. 2016. 1. 23.
알고리즘 종류, 주 활용 분야 알고리즘 주 활용 분야 업리프트 모델링(Uplift modeling) 단계적 추정, 예측 분석마케팅 캠페인에서 많이 사용, 환경이나 조건을 달리한 후 적당한 그룹을 선택하여 예측성을 높이는 방법마케팅, 신용관리, 가격선택, 고객 이탈 관리 등 분야 생존 분석(Suvival Anlaysis) 의료 통계, 설비 분야 사건 예측 회귀 분석(Regression, logistic) 예측 분석, 추정 분석(매출, 신용 점수 등) 시각화(Visualization) 원인과 관계 분석 기초 통계(Statistics) 현황 파악 부스팅(Boosting), 배깅(Bagging) 분류 분석 시계열/순열 분석(Timeseries/Sequence analysis) 시간상의 예측(이자율, 예산 등) 요인 분석(Factor Anal.. 2016. 1. 23.
데이터 분석가에게 필요한 것 수학, 기초통계, 분석 모델링, 컴퓨터 과학, 기계학습, 수리경제학 현장에서의 경험 : 데이터를 보고 문제 현황을 파악할 때 어떤 값을 기준으로 사용해야할지. 데이터를 보고 답이 없다는 것을 아는 것도 납득할 만한 보고서 데이터 품질 전문가 : 빠진값이 많거나 일관성이 부족한 데이터 등 전처리와 가공 작업에 전체 분석 작업중 6~70% 차지 한다. 데이터 세트를 연결하는 데이터 식별값 다양한 플랫폼, 다양한 분석 도구 커뮤니케이션 기술 : 인사이트 설명, 설득, 공감대배움에 성실꼼꼼진실함과 정직함빅데이터 - 스마트데이터 - 인품있는데이터(Intelligent data) 출처 : 데이터 과학 어떻게 기업을 바꾸었나? 김옥기, 2014.12 데이터 과학자의 특징 - 호기심, 실험, 창의성과 체계적인 업무, .. 2016. 1. 17.
현황Descriptive,예측Predictive, 예측최적화Prescriptive 현황분석(Descriptive Analytics) : 기술descriptive 분석 또는 진단diagnostc 분석 과거 데이터 바탕으로 기초 통계를 통한 전반적 상황 파악 및 이해 "과거에 무슨일이 일어났나? 왜 일어났나?" 예측분석(Predictive Analytics) : 추정likelihood 분석 과거나 현재 데이터 기초해서 실제 존재하지만 모르는 사실을 추정하거나, 가까운 미래에 발생할 가능성이 있는 사안들을 추측 "무슨일이 일어날 것인가?" 예측최적화분석(Prescriptive Analytics) : 예측분석 모델을 실제 실행하였을 때 가장 바람직한 결과가 예상되는 모델이 어떤 것인지 분석 분석환경이 변화하면 분석 모델 자체가 스스로 교정되는 과정 포함 "어떻게 원하는 결과가 일어나게 할 것.. 2016. 1. 17.
데이터 과학자에게 분석과정에서 가장 큰 도전은? 데이터에서 얻은 인사이트에 대한 신뢰를 얻는 것 25.8% 인사이트를 현업에 적용하는 것 22.6% 데이터 접근 14.5% 데이터에서 인사이트 발견 12.9% 데이터 통합 및 가공 11.3% 자료 습득 9.7% 분석요구사항 수집 3.2% 출처: Lavastorm Analytic, 2014.06 설득을 통한 적용 및 신뢰를 얻어 실제 기업이나 기관에 도움이 될 만한 성과를 내는 커뮤니케이션 기술도 중요 2016. 1. 17.
데이터 분석가와 데이터 과학자는 어떻게 다른가 데이터 분석가 : 탐색적 현황파악, 상관관계 분석, 원인 분석, 원천 데이터의 품질, 전처리 가공작업, 익숙한 비즈니스 환경에서 추정 및 예측 분석 데이터 과학자 : 조직 전반에 걸쳐 실행 가능한 전략적 인사이트 제공 예측 및 최적화 등 전략적 의사결정 출처 : 데이터 과학 어떻게 기업을 바꾸었나? 김옥기, 2014.12 2016. 1. 17.
빅데이터 말말말 어록 데이터 과학은 빅데이터가 있어야하는 것은 아니다Big data needs data science but data sience does not. 우리는 남보다 더 나은 알고리즘을 가진 것이 아니다. 단지 우리는 더 많은 데이터가 있을 뿐이다.We don't have better algorithms than anyone else. We just have more data. - Peter Norvig (Chief Scientist Google) 세계 데이터의 90%는 지난 2년 동안에 만들어졌다. 그리고 그 데이터의 80%는 구조화 되지 않았다.90% of the world's data was created in the last two years. And 80% of that data is unstructur.. 2016. 1. 17.
Big Data Overview 빅데이터의 특징은 3V로 요약하는 것이 일반적이다. 즉 데이터의 양(Volume), 데이터 생성 속도(Velocity), 형태의 다양성(Variety)을 의미한다(O'Reilly Radar Team, 2012). 최근에는 가치(Value)나 변동성(Variability)을 덧붙이기도 한다.변동성 Variability은 데이터가 고정된 패턴으로 축적과 특정 규격이나 형식을 갖고있지만, 많은 옵션과 변수에 의해 분석과 해석이 쉽지 않은 경우를 의미한다. 구글은 독감과 관련된 검색어 빈도를 분석해 독감 환자 수와 유행 지역을 예측하는 독감 동향 서비스를 개발했다(google.org/flutrends). 이는 미 질병통제본부(CDC)보다 예측력이 뛰어난 것으로 밝혀졌다. 데이터의 규모가 중요하다는 것을 확인시킨.. 2016. 1. 1.
반응형