본문 바로가기
  • Let's go grab a data
반응형

Data97

누구나 처할 문제 오버피팅overfitting 과적합 누구나 처할 문제 오버피팅overfitting 과적합 [Overfitting]underfit : 너무 단순하게 모델 생성하여 모델의 데이터 설명력이 떨어짐overfit : 너무 테스트 데이터에만 함몰된 모델 생성 미지의 데이터까지 어떻게 generalization 하느냐가 중요함.적절한 복잡도의 model selection problermTrain error가 0이 될 수 있지만 이보다 Test error를 잡는것이 중요함 [Overfitting 피하기]- Train / Test / Validation Set Train을 하면 할 수록 error가 내려가지만Test error는 감소하다가 증가하는 시점이 나타남 그 이후가 Overfitting 시점방법 Validation set에서의 에러가 증가하는 시점.. 2017. 3. 24.
머신러닝 딥러닝 온라인 강의 / SNS / 논문 [Lecture 입문]1. Coursera machine learning 강좌 https://www.coursera.org/learn/machine-learning 2. Udacity deep learning 강좌 https://www.udacity.com/course/deep-learning--ud730[Lecture 중급]3. Mathematical monk 유투브 강좌 https://www.youtube.com/playlist?list=PLD0F06AA0D2E8FFBA 4. Stanford CNN 강좌 http://cs231n.stanford.edu/ [서머스쿨]5. Bay area 딥러닝 스쿨 https://www.youtube.com/channel/UCb7PaTJYueRh6Y5rQ7h3U3w 6.. 2017. 3. 23.
편미분 방정식으로 물결 파동 표현하기 편미분 방정식으로 물결 파동 표현하기 #편미분방정식 여러개의 변수 중 몇 개의 변수만을 미분하는 부분 도함수 연산N=500u_init = np.zeros([N,N], dtype=np.float32)ut_init = np.zeros([N,N], dtype=np.float32) #시간에 따른 변화 최종상태 저장 for n in range(40): a,b= np.random.randint(0,N,2) #0과 2사이의 임의의 2차원 정수 배열 반환 u_init[a,b]=np.random.uniform() def laplace(x): laplace_k=make_kernel([[0.5,1.0,0.5],[1.0,-6.,1.0],[0.5,1.0,0.5]]) return simple_conv(x, laplace_k)de.. 2017. 3. 21.
미분계수구하기, 난수 발생 미분계수구하기, 난수 발생 [미분계수 구하기]import tensorflow as tfimport matplotlib.pylab as plt#미분계수 구하기 tf.gradients 함수이용x=tf.placeholder(tf.float32)y=2*x*xvar_grad=tf.gradients(y,x)with tf.Session() as session: var_grad_val= session.run(var_grad,feed_dict={x:1})print(var_grad_val)[4.0] [난수 발생]#난수 - 균일분포uniform = tf.random_uniform([100],minval=0,maxval=1,dtype=tf.float32) #1차원텐서로 100개의 값이 0~1사이의 동일한 확률로 분포됨with.. 2017. 3. 16.
Image 읽고 특정 영역자르기 / 회전 [필요 라이브러리]matplotlib(plot), pillow(다양한 포멧의 이미지 핸들링) 아래와 같이 pip을 통해 설치 가능하다>pip install matplotlib>pip istall pillow 네트워크 환경에 따라 아래 옵션 사용--proxy http://PROXYSERVER:PROXYPORT --trusted-host pypi.python.org pip을 새로 설치한 경우 pip3.6 install matplotlib [이미지 읽기 및 자르기]import tensorflow as tfimport matplotlib.image as mp_imagefilename ="/home/sds/Desktop/Penguins.jpg"input_image = mp_image.imread(filename).. 2017. 3. 15.
기본 자료구조 Tensor, 산술연산 명령어 [기본 자료구조 Tensor]import numpy as np#자료구조 1차원 배열tensor_1d = np.array([1.3,1,4.0,23.99])print(tensor_1d) #,로 구분되지 않는다print(tensor_1d[0])print(tensor_1d.ndim) #차원 rankprint(tensor_1d.shape) #형태 (4,) 하나의 행에 4개의 열print(tensor_1d.dtype) #자료구조[ 1.3 1. 4. 23.99] 1.3 1 (4,) float64 import tensorflow as tftf_tensor=tf.convert_to_tensor(tensor_1d,dtype=tf.float64) #텐서로 변환with tf.Session() as sess: print(ses.. 2017. 3. 14.
TensorFlow 프로그래밍 모델, 용어 [용어 정리]데이터 플로우 그래프 : 텐서플로의 연산 모듬그래프내의 노드 : 산술 연산자에지: 텐서라고 명명된 다중 다차원 데이터 집합, 피연산자 -일반 에지: 입력값이 텐서이며 하나의 명령어에 대한 출력 값은 다른 명령어의 입력 값이 됨 -특수 에지: 데이터의 연산 결과가 다른 에지의 입력값이 되지 않음. 두 노드 간의 제어 의존성을 정의. 예를 들어 A,B의 특수 에지가 있고 두 개가 연결되어 있다면, A의 연산이 종료되어야만 B연산 수행 의미명령어: 행렬의 덧셈, 곱셈 연산 추상화커널: 명령어를 구현한 것, 디바이스(CPU,GPU)에 따라 별도 구현세션: 클라이언트 프로그램이 텐서 플로 런타임 시스템과 통신하기 위해 세션 생성 - session.extend: 노드추가 또는 에지(데이터) 추가 - s.. 2017. 3. 13.
Python 개요, 기초 문법 Python으로 할 수 있는 것1. 시스템 유틸리티 제작 파이썬은 운영체제의 API들을 이용할 수 있는 각종 도구를 갖추고 있어서, 이를 바탕으로 갖가지 시스템 유틸리티를 만드는 데에 유리합니다. 시스템에서 사용중인 서로 다른 유틸리티성 프로그램들을 하나로 뭉쳐서 큰 힘을 발휘하게 하는 프로그램들을 무수히 만들어낼 수 있습니다. 2. GUI 프로그래밍 GUI 프로그래밍이란 쉽게 말해 그래픽으로 이루어진 소프트웨어를 만드는 것을 뜻합니다. 파이썬으로 GUI 프로그램을 만드는 것은 다른 언어보다 훨씬 쉽습니다. 파이썬에 내장되어 있는 기본 모듈인 Tkinter를 이용해 단 5줄의 소스 코드만으로도 창을 하나 띄울 수가 있습니다. 파이썬에는 wxPython, PyQT, PyGTK등과 같이 Tkinter보다 더.. 2017. 3. 8.
TensorFlow CentOS 설치, iPython Notebook 설치 TensorFlow CentOS 설치, iPython Notebook 설치 [TensorFlow 설치]CPU 버전#>pip install tensorflow GPU 버전#>pip install tensorflow-gpu 네트워크 환경에 따라 아래 옵션 사용--proxy http://PROXYSERVER:PROXYPORT --trusted-host pypi.python.org pip을 새로 설치한 경우 pip3.6 install tensorflow tensorflow 버전 확인python -c 'import tensorflow as tf; print(tf.__version__)'1.0.0또는pip show tensorflow tensorflow 버전 업그레이드 pip install tensorflow --.. 2017. 3. 3.
반응형