regression
classification
X : INPUT
x1, x2, x3 ... : feature
Y : OUTPUT
Y = F(X)
ex) Y = w1x1 + w2x2 + e
w1, w2 : weight, parameter
e : error, loss function
Σei^2 : cost function
cost function을 최소화 시키는 w1, w2 찾는 것이 F를 찾는것
모델 결정 -> 파라미터 추정
모델에는 다중선형회귀모델, 로지스틱회귀모델, 의사결정나무모델, 인공신경망모델, ...
각 모델별로 파라미터 추정 알고리즘이 있다.
다중선형회귀모델의 경우 least square estimation 사용,
로지스틱회귀모델의 경우 conjugate gradient algorithm 사용,
인공신경망모델의 경우 back-propagation algorithm 사용
선형회귀모델
Y = w0 + w1x1 + ... + wnxn
가정) e : error는 정규분포를 따른다.
파라미터 추정) least square estimation
Σei^2 을 최소화 하는 w0, w1, ...,wn 을 찾는것
코딩 직접 해보기 데이터갯수에 따라 plot 하기
plot된 데이터를 바탕으로 직선 구하기, 직선 플롯하기, cost func 구하기
파라미터에 대한 구간추정
점 추정량 값 플마 상수 * 점추정량에 대한 표준편차
여기서 상수는 t_a/2,n-2 : 유의수준 1-a 하에서 자유도가 n-2인 t분포의 값
결정 계수 R^2 = SSR/SST = 1 - SSE/SST
SSR/SST = 1 : 확정적인 관계
SSR/SST = 0 : X변수가 Y변수를 설명하는데 전혀 도움이 되지 않는다.
유의하지 않은 변수가 추가되어도 항상 증가함
-> Adjusted R^2 사용
## y=2x+50+error 를 따르는 n개의 데이터셋 구성, error~N(0,1)
## x는 100이하의 자연수
## 실험목표: n=4, n=8, n=16 인 케이스에 대해 데이터셋 plot 해보기.
## 각 케이스에 대해 데이터셋을 바탕으로 선형회귀모델 y=w0+w1x 구해보기.
## 각 케이스에 대해 cost function 값 계산하기
import random
import matplotlib.pyplot as plt
n = 4
X_input_4 = []
Y = []
for i in range(n):
X_input_4.append(random.randint(1, 100))
error = random.gauss(0, 1)
Y.append(2*X_input_4[i]+50+error)
print(X_input_4)
print(Y)
plt.scatter(X_input_4, Y)
plt.xlabel('X_input_4')
plt.ylabel('Y')
plt.title('Scatter plot of X_input_4 and Y')
plt.show()
import numpy as np
from sklearn.linear_model import LinearRegression
# Convert X_input_4 to a NumPy array and reshape it
X = np.array(X_input_4).reshape(-1, 1)
# Create a linear regression model
model = LinearRegression()
# Fit the model to the data
model.fit(X, Y)
# Get the coefficients
w0 = model.intercept_
w1 = model.coef_[0]
# Print the equation of the line
print("y = {:.2f} + {:.2f}x".format(w0, w1))
# Generate points for the line
X_line = np.linspace(min(X_input_4), max(X_input_4), 100)
Y_line = w0 + w1 * X_line
# Plot the data points and the best fit line
plt.scatter(X_input_4, Y)
plt.plot(X_line, Y_line, color='red')
plt.xlabel('X_input_4')
plt.ylabel('Y')
plt.title('Linear Regression')
plt.show()
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.