[Machine Learning] LinearRegression

k-최근접 이웃의 문제점¶

k-최근접 이웃을 사용해 예측을 진행할 때 발생하는 큰 문제는 훈련 세트 범위 밖의 샘플을 예측을 못한다는 것이다. 아무리 멀리 떨어진 샘플이라 할지라도 가장 가까운 k개의 샘플로 매칭되기 때문이다.

LinearRegression¶

이 문제점을 해결하기 LinearRegression을 이용하여 훈련 세트에 잘 맞는 직선의 방정식을 찾아 회귀문제를 해결한다.

Dataset¶

In [2]:

import numpy as np

In [3]:

perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0,
       21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7,
       23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5,
       27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0, 36.5, 36.0, 37.0, 37.0,
       39.0, 39.0, 39.0, 40.0, 40.0, 40.0, 40.0, 42.0, 43.0, 43.0, 43.5,
       44.0])
perch_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0,
       115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0, 130.0,
       150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0, 197.0,
       218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0, 514.0,
       556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0, 820.0,
       850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0, 1000.0,
       1000.0])

In [4]:

import matplotlib.pyplot as plt

plt.scatter(perch_length, perch_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

In [5]:

from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(perch_length, perch_weight, random_state=42)

sklearn의 훈련세트는 2차원 배열이여야 하므로

In [6]:

train_input = train_input.reshape(-1, 1)
test_input = test_input.reshape(-1, 1)
print(train_input.shape, test_input.shape)

(42, 1) (14, 1)

Model - LinearRegression¶

In [7]:

from sklearn.linear_model import LinearRegression

lr = LinearRegression()

lr.fit(train_input, train_target)

Out[7]:

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None, normalize=False)

In [8]:

print(lr.predict([[50]]))

[1241.83860323]

선형회귀의 기울기와 y절편

In [9]:

print(lr.coef_, lr.intercept_)

[39.01714496] -709.0186449535477

In [10]:

plt.scatter(train_input, train_target)

plt.plot([15, 50], [15 * lr.coef_ + lr.intercept_, 50 * lr.coef_ + lr.intercept_ ])

plt.scatter(50, 1241.8, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

Score¶

In [11]:

print(lr.score(train_input, train_target))
print(lr.score(test_input, test_target))

0.9398463339976039
0.8247503123313558

다항 회귀¶

데이터를 관찰하면 1차 방정식보다는 2차 방정식(혹은 그 이상)이 데이터셋에 더 잘 맞는것을 알 수 있다. 다항 회귀를 통해 더 잘 맞는 모델을 찾아보자.

In [14]:

train_poly = np.column_stack((train_input ** 2, train_input))
test_poly = np.column_stack((test_input ** 2, test_input))

train_input과 test_input의 제곱 데이터 생성

In [15]:

print(train_poly.shape, test_poly.shape)

(42, 2) (14, 2)

In [16]:

lr = LinearRegression()
lr.fit(train_poly, train_target)

print(lr.predict([[50**2, 50]]))

[1573.98423528]

선형회귀에 비해 더욱 잘 예측한것을 볼 수 있다.

In [18]:

print(lr.coef_, lr.intercept_)

[  1.01433211 -21.55792498] 116.05021078278276
116.05021078278276

y = 1.01433211 (x^2) -21.55792498 (x) + 116.0502107878276

In [19]:

point = np.arange(15, 50)
plt.scatter(train_input, train_target)

plt.plot(point, lr.coef_[0] * point ** 2 + lr.coef_[1] * point + lr.intercept_)

plt.scatter(50, 1574, marker = "^")
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

In [20]:

print(lr.score(train_poly, train_target))
print(lr.score(test_poly, test_target))

0.9706807451768623
0.9775935108325122

In [21]:

from IPython.core.display import display, HTML
display(HTML("<style>.container {width:90% !important;}</style>"))

In [ ]: