선형회귀 분석은 간단하게 설명하자면 '주어진 데이터를 가장 잘 설명하는 직선 하나를 찾는 것' 이다.
선형회귀분석은 두가지 가 존재한다.
1. 하나의 독립변수에 대하여 선형회귀분석을 하면 단순선형회귀 라 하며
2. 독립변수가 여러개인 경우에는 다중선형회귀 라한다.
단순선형회귀분석을 한다는 것은 x와 y라는 데이터가 주어졌을때, y=w*x+b라는 직선의 방정식에서 데이터를 가장 잘 표현하는 변수 w와 b를 찾는다는 것이다.
** w : 가중치(weight, 기울기), b : 편차(bias, 절편)
w, b 쌍에 대해서 데이터와 얼마나 잘 맞는지 수치적으로 계산할 수 있어야하는데 이때 사용되는 척도 중에 대표적인 것으로 평균제곱오차(MSE) 가 있다.
딥러닝프레임워크로 개발자들과 연구자들이 쉽게 GPU를 활용하여 인공시경망 모델을 학습할 수 있게 도와주는것.
-미분편-
예를들어, x, y, z 세 변수에 대해 학습하게 된다면, 기울기를 계산하기 위해 연산 그래프를 쭉 따라서 미분 해야한다.
이때 넘파이만을 사용한다면 모든 미분 식을 직접 계산하고 코드로 작성해야 하므로 변수 하나당 두 줄씩 여섯줄이 필요로 한다.
하지만, 파이토치는 해당 과정을 자동으로 계산해주기 때문에 backward() 함수를 한 번 해출 해주므로 끝난다.
-GPU편-
넘파이만으로는 GPU로 값들을 보내 연산을 돌리고 다시 받는 것이 불가능.
파이토치는 내부적으로 CUDA, cuDNN이라는 API를 통하여 GPU를 연산에 사용 할 수있어서 연산 속도가 15배 이상으로 차이가 심하다.
2. 텐서플로와 파이토치 비교
공통점 : 둘 다 연산에 GPU를 이용하는 프레임워크.
텐서플로 : 연산 그래프를 먼저 만들고 실제 연산할 때 값을 전달하여 결과를 얻는 'Define and Run' 방식
파이토치 : 그래프를 만듦과 동시에 값이 할당되는 'Define by Run' 방식
** 미분 : 한 점에서의 기울기
** CUDA : 엔비디아가 GPU를 통한 연산을 가능하게 만든 API 모델
** cuDNN : CUDA를 이용해 딥러닝 연산을 가속화 해주는 라이브러리
딥러닝에서 사용되는 '심층 신경망'은 인공 신경망에 속한다.
심층 신경망은 인공 신경망에서 은닉층의 개수가 1개 이상인 네트워크를 의미하며
머신러닝의 주요한 세 분야인 지도학습, 비지도학습, 강화학습에 모두 사용되고 있다.
데이터와 각각에 해당하는 정답 쌍이 존재할 때 데이터와 정답 간의 상관관계를 모델링 하는 방식.
어떤 사진이 주어질 때 이 사진이 강아지 사진인지, 고양이 사진인지 구분하는 문제가 대표적이며
누군가 미리 구분해놓은 어떤 패턴을 기계가 학습하는 방식이라고 할 수 있다.
데이터만 있고 정답이 존재하지 않는 상황에서 데이터에 숨겨진 특정패턴을 찾는 과정이라고 할 수 있다.
대표적인 예로 군집화 알고리즘이 이에 포함된다.
** 군집화 알고리즘이란?
- 소속집단의 정보가 없고, 모르는 상태에서 비슷한 집단으로 묶는 방법
특정 환경에서 어떤 행동을 했을 때 결과로 얻어지는 보상을 통해 학습하는 알고리즘
예로 바둑을 들자면, 어디에 다음 수를 두는 것이 최종적으로 승리할 수 있을지에 따라 선택을 하고, 그 선택으로 주어진 환경에서 또 다시 선택을 하는 과정이라 볼 수 있다.
여기에서 보상이라 하면, '승리' 이다.