재획하면서 공부하기 #5

메이플스토리 갤러리

1/3

(충격 감동 실화)저지가 토미 ‘현수’ 에드먼 타구 놓친 이유..jpg - 관련게시물 : LA 다저스 우승.... 오타니 고등학생때 세운 인생계획표 6할 달성..gif한국인들이 행복하면 된거야..악역은 늘 익숙하니까.. 작성자 : ㅇㅇ

ㅇㅇ

2024.09.02 00:07:34

조회 70 추천 0 댓글 0

재획하면서 공부하기 #1~2 개인 리뷰용 파이썬 코드입니다.

재획하면서 공부하기 #1

https://gall.dcinside.com/board/view/?id=maplestory_new&no=8308815&search_pos=-8270584&s_type=search_subject_memo&s_keyword=%EC%9E%AC%ED%9A%8D%ED%95%98%EB%A9%B4%EC%84%9C&page=1

재획하면서 공부하기 #1 - 메이플스토리 갤러리

regressionclassificationX : INPUTx1, x2, x3 ... : featureY : OUTPUTY = F(X)ex) Y = w1x1 + w2x2 + ew1, w2 : weight, parame

gall.dcinside.com

재획하면서 공부하기 #2

https://gall.dcinside.com/board/view/?id=maplestory_new&no=8312042&search_pos=-8280584&s_type=search_subject_memo&s_keyword=%EC%9E%AC%ED%9A%8D%ED%95%98%EB%A9%B4%EC%84%9C&page=1

참조한 유튜브 강의영상

https://youtu.be/YIgLpsJ-1J4

# Linear Regression
# x_training k개의 feature, n개의 data
# y_training 1개의 feature, n개의 data

# 편의상 k=4, n=100

# x_training = ( n x k )
# y_training = ( n x 1 )

import numpy as np

# Generate random data for x_training with k=4 features and n=100 data points
x_training = np.random.rand(100, 4)

# Generate random data for y_training with 1 feature and n=100 data points
y_training = np.random.rand(100)


# y = w0 + w1x1 + w2x2 + w3x3 + w4x4 의 형태의 모델을 만드는 것이 목적
# w = (xtx)-1 xt y


# Add a column of ones to x_training for the bias term (w0)
X = np.c_[np.ones(x_training.shape[0]), x_training]



# closed-form solution 을 이용해 구하는 방법
# Calculate the weights (w) using the normal equation
w = np.linalg.inv(X.T @ X) @ X.T @ y_training


# gradient descent 를 이용해 구하는 방법
# Set the learning rate
learning_rate = 0.01
# Set the number of iterations
num_iterations = 1000
# Initialize the weights
w = np.zeros(X.shape[1])
print(w)
# Perform gradient descent
for i in range(num_iterations):
  # Calculate the predictions
  y_pred = X @ w
  # Calculate the error
  error = y_pred - y_training
  # Calculate the gradient
  gradient = X.T @ error / len(y_training)
  # Update the weights
  w = w - learning_rate * gradient

# classification - logistic regression

# Generate random data for x_training with k=4 features and n=100 data points
x_training = np.random.rand(100, 4)

# Generate random data for y_training with 1 feature and n=100 data points
y_training = np.random.randint(2, size=100)


# iterative reweight least squre 방법을 사용하여 구하기
# Add a column of ones to x_training for the bias term (w0)
X = np.c_[np.ones(x_training.shape[0]), x_training]

# Set the number of iterations
num_iterations = 100

# Initialize the weights
w = np.zeros(X.shape[1])

# Perform iterative reweighted least squares
for i in range(num_iterations):
  # Calculate the predictions
  y_pred = 1 / (1 + np.exp(-X @ w))

  # Calculate the weights
  weights = y_pred * (1 - y_pred)

  # Calculate the Hessian matrix
  hessian = X.T @ (weights[:, np.newaxis] * X)



# conjugate gradient 를 사용하여 구하기
# Add a column of ones to x_training for the bias term (w0)
X = np.c_[np.ones(x_training.shape[0]), x_training]

# Initialize the weights
w = np.zeros(X.shape[1])

# Set the number of iterations
num_iterations = 100

# Set the tolerance
tol = 1e-6

# Perform conjugate gradient
for i in range(num_iterations):
  # Calculate the predictions
  y_pred = 1 / (1 + np.exp(-X @ w))

  # Calculate the gradient
  gradient = X.T @ (y_pred - y_training)

  # Calculate the Hessian matrix
  H = X.T @ (y_pred * (1 - y_pred) * X)

  # Calculate the search direction
  if i == 0:
    d = -gradient
  else:
    beta = np.dot(gradient, gradient) / np.dot(gradient_old, gradient_old)
    d = -gradient + beta * d

  # Calculate the step size
  alpha = -np.dot(gradient, d) / np.dot(d, H @ d)

  # Update the weights
  w = w + alpha * d

  # Check for convergence
  if np.linalg.norm(gradient) < tol:
    break

  # Store the gradient for the next iteration
  gradient_old = gradient





# Newton's method 를 이용하여 구하기
# Initialize the weights
w = np.zeros(X.shape[1])

# Set the number of iterations
num_iterations = 100

# Set the tolerance
tol = 1e-6

# Perform Newton's method
for i in range(num_iterations):
  # Calculate the predictions
  y_pred = 1 / (1 + np.exp(-X @ w))

  # Calculate the gradient
  gradient = X.T @ (y_pred - y_training)

  # Calculate the Hessian matrix
  H = X.T @ (y_pred * (1 - y_pred) * X)

  # Calculate the update
  update = np.linalg.solve(H, -gradient)

  # Update the weights
  w = w + update

  # Check for convergence
  if np.linalg.norm(gradient) < tol:
    break





# Calculate the predictions
y_pred = 1 / (1 + np.exp(-X @ w))

# Convert probabilities to binary predictions
y_pred_binary = (y_pred > 0.5).astype(int)





# AND gate 를 로지스틱 회귀모델로 학습하기
# Define the input data
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])

# Define the output data
y = np.array([0, 0, 0, 1])

# Add a column of ones to X for the bias term
X = np.c_[np.ones(X.shape[0]), X]

# Initialize the weights
w = np.zeros(X.shape[1])

# Set the learning rate
learning_rate = 0.1

# Set the number of iterations
num_iterations = 1000

# Perform gradient descent
for i in range(num_iterations):
  # Calculate the predictions
  y_pred = 1 / (1 + np.exp(-X @ w))
  # Calculate the error
  error = y_pred - y
  # Calculate the gradient
  gradient = X.T @ error / len(y)
  # Update the weights
  w = w - learning_rate * gradient

# Calculate the predictions
y_pred = 1 / (1 + np.exp(-X @ w))

# Print the predictions
print(y_pred)

# Define the validation data
X_val = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])

# Define the output data
y_val = np.array([0, 0, 0, 1])

# Add a column of ones to X_val for the bias term
X_val = np.c_[np.ones(X_val.shape[0]), X_val]

# Calculate the predictions for the validation data
y_pred_val = 1 / (1 + np.exp(-X_val @ w))

# Convert probabilities to binary predictions
y_pred_binary = (y_pred_val > 0.5).astype(int)

# Compare the predictions to the actual values
print(y_pred_binary == y_val)






# 뉴럴 네트워크
# 1개의 입력층, 1개의 은닉층, 1개의 출력층

import numpy as np

# Define the sigmoid activation function
def sigmoid(x):
  return 1 / (1 + np.exp(-x))

# Define the derivative of the sigmoid function
def sigmoid_derivative(x):
  return x * (1 - x)

# Define the neural network class
class NeuralNetwork:
  def __init__(self, input_size, hidden_size, output_size):
    # Initialize the weights
    self.weights1 = np.random.randn(input_size, hidden_size)
    self.weights2 = np.random.randn(hidden_size, output_size)

  def forward(self, X):
    # Calculate the output of the hidden layer
    self.hidden_layer_output = sigmoid(np.dot(X, self.weights1))
    # Calculate the output of the output layer
    self.output = sigmoid(np.dot(self.hidden_layer_output, self.weights2))
    return self.output

  def backward(self, X, y, output):
    # Calculate the error in the output layer
    self.output_error = y - output
    # Calculate the derivative of the output layer
    self.output_delta = self.output_error * sigmoid_derivative(output)
    # Calculate the error in the hidden layer
    self.hidden_layer_error = self.output_delta.dot(self.weights2.T)
    # Calculate the derivative of the hidden layer
    self.hidden_layer_delta = self.hidden_layer_error * sigmoid_derivative(self.hidden_layer_output)
    # Update the weights
    self.weights2 += self.hidden_layer_output.T.dot(self.output_delta)
    self.weights1 += X.T.dot(self.hidden_layer_delta)

  def train(self, X, y, num_iterations):
    for i in range(num_iterations):
      # Perform forward propagation
      output = self.forward(X)
      # Perform backward propagation
      self.backward(X, y, output)



# Define the input data
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])

# Define the output data
y = np.array([[0], [1], [1], [0]])

# Create a neural network with 2 input neurons, 2 hidden neurons, and 1 output neuron
nn = NeuralNetwork(2, 2, 1)

# Train the neural network
nn.train(X, y, 10000)

# Define the validation data
X_val = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])

# Predict the output for the validation data
y_pred = nn.forward(X_val)

# Print the predictions
print(y_pred)

# Convert probabilities to binary predictions
y_pred_binary = (y_pred > 0.5).astype(int)

# Compare the predictions to the actual values
print(y_pred_binary == y)

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	지금 결혼하면 스타 하객 많이 올 것 같은 '인맥왕' 스타는?	운영자	24/10/28	-	-
8708877	주보돌이의 진실에 눈이 떠버림. [19]	아현.	02:45	91	0
8708876	학교에 진짜 넘사급으로 이쁜애 잇음	외힙추천	02:45	30	0
8708875	베라섭 검먹 태워주실 분 있나요 @@@	ㅇㅇ	02:45	23	0
8708873	근데 왜 신창섭한테 불만을가짐???	메갤러(58.141)	02:45	23	0
8708871	와 마도서랑 같이 껴도 22골클벨에밀리네 [2]	ㅇㅇ(182.231)	02:44	35	0
8708869	잘 시간이다 디비자라	쟁취	02:44	28	0
8708868	도인비 내년에 DRX오려면 욕좀 줄여야되는데 걱정이네 [3]	박진혁	02:44	68	0
8708867	큐브 판매 중지이지만 우회해서 팔겠음	메갤러(112.162)	02:44	21	0
8708866	도인비가 ㄹㅇ 능력이 좋긴한가봄	고양이갤러리	02:44	43	0
8708865	식사는하자 [10]	제롱	02:44	36	1
8708864	맑음이 귀상어 2.5 참다랑어 1 된다 그랫는데 난 안 됨 [2]	얘들아안농	02:44	32	0
8708862	김창섭 큐브 메소화 이후 매출 전략 보고서	메겔러1(175.199)	02:42	48	0
8708860	도인비가 진짜 모든 롤프로중 제일 부러움 [2]	고양이갤러리	02:42	54	0
8708859	고닉 알람해두고 비추하면 쾌감 좀 지림ㅋㅋ 해보셈 다들 [13]	Zoldyck	02:42	58	0
8708858	저를 병신으로 갤메모 해주실 분? [16]	초서	02:42	72	0
8708857	지금 팔아야되냐 [4]	하루에커피몇샷	02:41	40	0
8708855	내일 혼자 공포영화나 보러갈까?... [1]	ㅇㅇ(58.124)	02:41	32	0
8708854	290까지 먹는 모든 메소와 주보메소로 코강하고 [4]	쟁취	02:41	33	0
8708853	1천더살까ㅇㅇ [19]	성교육영재반	02:41	92	0
8708852	와근데 도인비 중국어 진짜 존나잘하네 [6]	박진혁	02:41	64	0
8708851	이 돼지같은 오즈련. [3]	아현.	02:41	44	0
8708850	GS라면 새로나왔네 [2]	이로오라	02:40	41	0
8708849	아니내가딴갤에서억울하게욕먹고비추20개받아봤거든 [2]	うめだ	02:40	53	4
8708848	요즘 느낀건데 씹덕이라서 부끄러운게 아니라 [3]	ㅇㅇ	02:40	35	1
8708847	ㄴㄴㅇㅇㅇ	고양이갤러리	02:40	15	1
8708846	ㄴ 저능아면 위로추	ㅇㅇ	02:40	17	1
8708844	팩트는 아직 팔만하다는거임 [6]	ㅇㅇ	02:40	56	0
8708843	지급 리부트 메포 얼만지 아는 사람 [2]	디노	02:39	42	0
8708842	근우 메소파는거 보고 메소올려놨다 [4]	나로	02:39	67	0
8708841	내가 애용하는 디씨콘모음 [8]	박진혁	02:39	38	0
8708840	비추처누르라니깐존나말안듣고말대꾸하네좆뉴비들이 [4]	うめだ	02:38	52	8
8708839	아니 이거 개웃기넹ㅋㅋㅋㅋㅌㅋㅌㅋㅌㅋㅋㅋㅋ [9]	초서	02:38	63	0
8708838	우리아빠 나이핑계대면서 엑샐어렵다고 나보고해달라하는데 이거짬처리아님? [4]	고양이갤러리	02:38	38	0
8708837	내가봤을때 겨울에 "거래가능" 관련해서 큰거온다.. [3]	ㅇㅇ(121.168)	02:38	90	0
8708836	아니아무리 한국이 먹튀국가라지만 ㅅㅂ	ㅇㅇ	02:38	21	0
8708833	크선족들아 힘내서 1600까지 ㄱㄱ [8]	성교육영재반	02:37	61	0
8708832	템환-헥환 1000대 돌입	ㅇㅇ(210.113)	02:37	16	0
8708831	22앱솔 가격 측정좀 해주세요 [6]	메갤러(61.105)	02:37	47	0
8708830	ㅇ [5]	うめだ	02:37	48	5
8708829	ㄴ크로아새끼면비추	うめだ	02:37	19	0
8708828	도인비는 그 특유의말트가 존나웃김 ㅋㅋ [9]	박진혁	02:37	55	0
8708827	크로아가 부럽다 [2]	ㅇㅇ	02:37	44	3
8708826	오리발 4렙 공기통5렙 쾌적함	메갤러(175.114)	02:36	17	0
8708825	어차피 접지도 못할거 코강이나 하자고 [2]	쟁취	02:35	24	0
8708824	난돼지갈비집혼밥 쉽던데 [3]	박진혁	02:35	43	0
8708822	난 고기혼밥은 자주때렸는데 뷔페는 ㅅㅂ 어케함 ㄹㅇ [8]	안무는모기야	02:35	59	0
8708821	지금 이 겜 적당히 즐길거 다 즐길려면 전투력 몇만이 가성비임? [3]	팦크예거(125.240)	02:34	42	0
8708820	이거어따씀? [5]	박진혁	02:34	44	0
8708819	아니 최근에 템 샀는데 ㄹㅇ 잘한 선택같음.. [2]	Zoldyck	02:34	50	0
8708818	근데 쿠우쿠우같은데 혼자가면 눈차보이긴하더라 [2]	고양이갤러리	02:34	29	1