본문 바로가기
  • Let's go grab a data
반응형

Data/Talk14

Accuracy, Precision, Recall Classification 분류 종속변수가 정수 또는 클래스Regression 회귀 종속변수가 실수 Regression에서의 Metric 측정은실제와 예측 함수(회귀함수) 사이의 거리값의 합으로 성능을 평가할 수 있음그 거리가 클 수록 정확도가 떨어짐예를 들어 L2 norm, L1 norm, L-infinite norm 값 Classification 에서의 Metric 측정은Accuracy 전체 정답률 - 일반적이지만 inbalance한 데이터의 경우 눈 먼 값이 될 수 있음Precision 양성 항목 정답률 - 여기서 양성 항목이란 내가 집중하는 항목Recall 양성 항목 검출률 - 여기서 검출률이란 실제 내가 집중하는 항목만 봤을 때 판정 정답률 1000명 환자 정상판정 암판정 정상환자 988 2 암.. 2018. 5. 9.
데이터의 질 - intra-/inter-class variability 데이터의 질 - intra-/inter-class variability 데이터의 질에 따라 머신러닝을 통한 분석의 결과가 바뀐다 Intra- 클래스 내부의 분산이 어떤가Inter- 클래스간 분산이 어떠냐 위 이미지에서 위쪽 줄은 Intra-class variability가 작다 아래 줄은 크다왼쪽 두 산점도는 Inter-class variability가 크다 오른쪽 두 산점도는 작다 그래서 inter-가 크고 intra-가 작은 Input으로 만들어주는 것이 좋다= 클래스 별로 잘 구분되는 것이 좋고 클래스 내부에 서로 뭉쳐있는 것이 좋다 예) 성적을 예측하라X: 키, 몸무게, 사교육, IQ, 소득, 형제, 이성친구, 인터넷 사용시간, 게임 시간, 소비금액, 등등 high dimension - 다 때려 .. 2017. 7. 20.
순환신경망 RNN (Recurrent Neural Network) 순환신경망 RNN (Recurrent Neural Network) 일반적인 신경망은 각각의 입출력이 서로 독립적이라 가정하지만 RNN은 순서가 있는 정보를 입력 데이터로 사용한다는 점이 특징예를 들어 문장에서 다음에 올 단어를 예측할 시 이전 단어와 연관이 있기 때문이다. 음성인식, 음악, 문자열, 동영상등 순차적인 정보가 담긴 데이터를 다룰 수 있다.모든 입력 시퀀스에 대해 동일한 연산을 수행하지만 연산 시점에서의 출력 데이터는 이전의 모든 연산에 영향을 받는 특성이 있다. 업데이트 상태 벡터 Updated State Vector : 시퀀스에 대한 모든 과거 개체들에 대한 정보를 담음위 그림의 우측 구조는 각 시간 스텝에 대한 전체 입력 시퀀스를 처리하기 위한 네트워크로써각 계층마다 다른 매개변수(가중.. 2017. 6. 9.
합성곱신경망 CNN (Convolutional Neural Network) 합성곱신경망 CNN (Convolutional Neural Network) 신경망으로 구성된 딥러닝 유형으로 특히 이미지의 사물 인식 분야, 음성 인식 분야에서 각광 받음컬러 이미지와 같은 다차원 배열로 이루어진 데이터 처리 가능 (입력이 2차원)일반적인 신경망은 이미지 데이터 그대로 처리하지만, CNN은 이미지에서 특징을 추출해 처리함 CNN의 단계지역 수용 영역Local receptive fields -> 합성곱 Convolution -> 풀링 pooling CNN의 특징 및 가정지역 연결성Local connectivity 2차원 데이터의 일부분이 다른 부분과 연관성이 있을 수 있다고 가정함 지역 수용 영역 단계 : 첫 번째 레이어의 영역에 해당하는 뉴런은 다음 레이어의 하나의 뉴런으로 표현됨지역 연.. 2017. 6. 2.
인공신경망ANN (단일, 다중 계층 퍼셉트론) 인공신경망 ANN (Artificial Neural Network) 생물학적 신경회로와 작동원리에서 영감을 얻은 정보처리 체계 각 유닛과 노드는 뉴런의 역할을 흉내낸다각 노드는 인공뉴런으로써 매우 간단한 기능을 갖는다 - 시그널의 총 양이 임계치를 초과되도록 수신되면 활성화 상태가 되는 것 - 노드가 활성화 되면 시그널을 전달 경로에 따라 연결된 다른 노드로 전달 각 연결지점은 생물학적인 시냅스를 흉내낸다- 각 연결 지점은 메시지를 각각의 특징에 따라 강도를 증가하거나 감소시켜 억제 시그널, 흥분 시그널로 변경시키는 필터 역할- 연결에 대한 가중치와 곱함으로써 전송된 시그널의 강도를 증가시키는 기능 단일 계층 퍼셉트론 SLP: Single Layer Perceptron (로젠블렛 퍼셉트론) 퍼셉트론: 학.. 2017. 5. 23.
딥러닝과 머신러닝의 차이는? 딥러닝은 learning 구조(방법)에 따른 분류를 보통 한다.딥러닝의 반대말은 shallow learning (Input -> Output)딥러닝은 (Input -> 가공된 Input -> 가공된 Input ... -> Output)딥러닝의 유사어는 end-to-end learning, representation learning(중간과정을 자동생성), deep neural network(대부분 신경망 사용) 머신러닝의 분류 는 label 이용에 따른 분류(Supervised, Unsupervised, reinforcement) Input은 고기, 양파, 마늘, 간장이라면 Feature는 재운고기 다진 야채Input이 이미지 파일의 픽셀정보라면 Feature는 모서리 검출, 눈 검출, 입 검출 등머신러닝.. 2017. 4. 26.
David Barber의 Machine Learning 분류 https://www.facebook.com/terryum.io/photos/pcb.518577148267476/518576694934188/?type=3&theaterhttp://web4.cs.ucl.ac.uk/staff/D.Barber/pmwiki/pmwiki.php?n=Brml.Online [Machine Learning 분류] - Supervised Learning - Regression 회귀 ㄴ Gaussian Process (non-parametric) 함수 정의 없이 ㄴ linear ㄴ Parametric 함수를 정의 ㄴ linear ㄴ non-linear - Classification 분류 ㄴ Discriminative 그냥 나눠줘 ㄴ Support Vector Machine ㄴ Logis.. 2017. 3. 28.
Bias-Variance Tradeoff / Andrew Ng의 데이터셋 나누기 [Bias-Variance Tradeoff] 2가지 종류의 에러- Bias: 잘 모여있긴 한데 중앙에서 멀어짐- Variance: 평균은 정답에 가깝지만 값별로 차이가 큼 에러는 Bias+Variance+noise Variance - Overfitting이 일어날 수록 커짐Bias - Underfitting일 수록 커질 수 있음두 가지는 Trade off 관계 Train이 진행될 수록(함수가 복잡해질 수록) Bias가 내려가고 Variance가 올라가기 때문에두 가지 에러의 합이 최저가 되는 점을 찾는 것이 Overfitting을 피하는 방법 [Andrew Ng의 데이터 셋 나누기]기존의 Train - Validation - Test데이터로 나누던 것을Train - Train_Validation - Te.. 2017. 3. 27.
누구나 처할 문제 오버피팅overfitting 과적합 누구나 처할 문제 오버피팅overfitting 과적합 [Overfitting]underfit : 너무 단순하게 모델 생성하여 모델의 데이터 설명력이 떨어짐overfit : 너무 테스트 데이터에만 함몰된 모델 생성 미지의 데이터까지 어떻게 generalization 하느냐가 중요함.적절한 복잡도의 model selection problermTrain error가 0이 될 수 있지만 이보다 Test error를 잡는것이 중요함 [Overfitting 피하기]- Train / Test / Validation Set Train을 하면 할 수록 error가 내려가지만Test error는 감소하다가 증가하는 시점이 나타남 그 이후가 Overfitting 시점방법 Validation set에서의 에러가 증가하는 시점.. 2017. 3. 24.
반응형

티스토리툴바