인공지능 기초6 [딥러닝 기초] 총 정리 : 신경망, 경사하강법, 오차역전법 (수정 중) 안녕하세요 :) 이번 게시물에서는 여태까지 배운 내용들을 총 정리해보겠습니다. 아직 이전 게시물을 다 읽어보지 못하신 분들을 한번 쭉~ 읽어보시는걸 추천드립니다! 이번 게시물에서는 신경망의 구조 경사하강법(gradient descent) 오차역전법(back propagation) 합성곱 신경망(convolution neural network) 에 대해서 다뤄보겠습니다. 1. 신경망(neural network) 뉴런 (neuron) 딥러닝 신경망은 우리 몸에 있는 뉴런을 기반으로 만들어졌습니다. 그렇기에 뉴런의 동작 방식을 먼저 알아보겠습니다. 뉴런의 가장 큰 특징은 입력값의 크기가 임계값보다 크거나 같아아지 반응을 한다는 것입니다. 입력값 ≥ 임계값 : 뉴런이 반응함 입력값 < 임계값 : 뉴런이 반응하지.. 2020. 7. 15. [딥러닝 기초] 합성곱 신경망(CNN) - 2 안녕하세요 :) 오늘은 저번 게시물에서 마저 다루지 못한 합성곱 신경망에 대해서 더 다뤄보겠습니다. 이전 게시물을 아직 보지 못하셨으면 여기를 클릭해주세요! 이번 게시물에서는 이전에 다룬 유닛의 오차를 합성곱 신경망에서 어떻게 사용할 것인지에 대해서 알아보겠습니다. 합성곱 신경망 합성곱 신경망에서 유닛의 오차(δ) 합성곱 신경망에서는 두 가지 종류의 유닛의 오차가 존재합니다. 합성곱층의 유닛의 오차 출력층의 유닛의 오차 합성곱층과 출력층에 대해서 서로 다른 방법으로 유닛의 오차를 사용하게 됩니다. 1. 출력층 유닛 출력층 유닛의 기울기 성분 유닛의 오차를 이용해서 출력층 유닛의 기울기 성분을 표현해보겠습니다. 출력층을 간략하게 그려보면 다음과 같습니다. 유닛의 오차(δ)를 이용해서 출력층 유닛의 기울기 .. 2020. 7. 13. [딥러닝 기초] 합성곱 신경망(CNN) - 1 안녕하세요 :) 오늘은 신경망의 여러가지 종류 중 합성곱 신경망(Convolutional Neural Network, CNN)에 대해서 이야기해보겠습니다. 합성곱 신경망(CNN) 합성곱 신경망은 기존에 배운 신경망과는 다르게 은닉층이 여러개의 합성곱(convolution)층과 풀링(pooling)층으로 이루어져 있습니다. 합성곱층에서는 이미지 데이터에 비교하는 패턴과 일치하는 부분이 얼마나 포함되어 있는지 확인합니다. 원하는 패턴이 많이 포함되어 있으면 정보를 적극적으로 다음 층으로 전달합니다. 전달하는 정보는 합성곱층의 유닛에 기록합니다. 풀링층에서는 합성곱층의 활동 정보를 묶어서 정리합니다. 기존의 신경망과 다른 합성곱 신경망의 장점은 다음과 같습니다. 복잡한 패턴인식 문제도 간결한 신경망으로 해결할.. 2020. 7. 11. [딥러닝 기초] 오차역전법 (back-propagation) 안녕하세요 :) 오늘은 경사하강법의 문제를 해결하기 위한 오차역전법 (back-propagation)에 대해서 다뤄보겠습니다. 오차역전법 (back-propagation) 경사하강법 오차역전법에 대해 이야기해보기 전에 경사하강법을 복습해보겠습니다. 경사하강법을 오차함수에 적용시켜보겠습니다. 간단한 다변수 함수의 최소값을 찾는 경우, 경사하강법은 효율적으로 사용될 수 있습니다. 하지만, 많은 파라미터가 포함되는 경우, 경사하강법으로 최소값을 계산하기 어려워집니다. 경사하강법을 위와 같이 적용하는 경우, 다수의 기울기 성분을 계산하는 비용이 커지게 됩니다. 여러 항을 한꺼번에 미분해서 계산하려면 너무 많은 비용이 들기 때문에 효율적이지 못합니다. 이러한 문제를 해경하기 위해서 오차역번법(back-propag.. 2020. 7. 10. [딥러닝 기초] 신경망과 학습 안녕하세요 :) 오늘은 여태까지 배운 지식들을 기반으로 신경망과 신경망 학습에 대한 이야기를 해볼까 합니다! 1. 신경망 신경망의 파라미터와 변수 파라미터(parameter)는 신경망의 수학적 모델을 정하는데 필요한 상수입니다. 이전에 대분 가중치(weight)와 편향(bias)을 파라미터라고 부릅니다. 파라미터를 제외하고, 신경망의 입력으로 주어지는 데이터 값에 따라서 변하는 변수가 필요합니다. 그러므로, 신경망에서는 데이터를 저장하는 변수 모델을 결정하는 파라미터 로 구성됩니다. 이해하기 쉽게 단순회귀분석을 예시로 들어보겠습니다. y = px + q 라는 회귀방정식을 살펴보면, 절편(q)과 회귀계수(p)는 파라미터에 해당하고, 독립변수(x), 종속변수(y)는 변수에 해당합니다. 파라미터와 변수의 이름.. 2020. 7. 9. [딥러닝 기초] 경사하강법과 회귀분석 안녕하세요 :) 오늘은 딥러닝의 기초 개념 중 하나인 경사하강법과 회귀분석에 대해서 간단하게 다뤄보겠습니다. 1. 경사하강법 (Gradient descent) 신경망에서는 z = f(x, y)를 최소화하는 x, y 값을 구하는 것이 목표입니다. 이러한 목표를 달성하기 위한 방법 중 하나가 바로 경사하강법(Gradient descent)입니다. 경사하강법은 그래프 상의 점을 조금씩 움직여서 함수의 최소 값을 구하는 방식입니다. 점을 조금씩 움직일 때, 가장 가파른 방향으로 이동하게 됩니다. 이러한 방법을 수치해석에서는 최급하강법(method of steepest descent)라고 합니다. 앞서 배운 내적을 이용한 근사식 표현으로 돌아가 보겠습니다. z = f(x, y)에서 x, y를 △x, △y 만큼 변.. 2020. 7. 9. 이전 1 다음
