머신러닝에서 선형과 비선형

많은 머신러닝 서적에서 선형과 비선형이라는 말이 등장한다.

개념이 잘 잡히지 않아서 정리해본다. 

 

 

선형과 비선형의 개념은 선형대수학 책에서 선형변환을 통해 정의하게 된다. 

선형성(linearity)를 따르는 변환 또는 함수들은 선형 변환, 선형함수라고 하고, 그 외의 모든 함수들은 비선형 변환, 비선형함수(non-linear function)이라고 한다. 

 

 

그렇다면, 선형성이 도대체 무엇일까?

위키피디아에는 다음과 같이 선형성이 수학적으로 정의되어 있다. 

 

 

선형성의 정의

함수 $f$가 선형이라면

• 가산성(Additivity), 임의의 수(실수나 복소수) $x$, $y$에 대해 $f(x+y) = f(x) + f(y)$가 항상 성립한다.
  
  
• 동차성(Homogeneity), 임의의 수 $x$ 나 $\alpha$에 대해 $f(\alpha x) = \alpha f(x)$가 항상 성립한다. 
  
  
• 두 식을 하나의 식으로 표현하면 $f(ax_1 + bx_2) = af(x_1) + bf(x_2)$로 표현된다. 

 

 

즉, 위의 성질들을 만족하면 어떠한 함수가 진행하는 모양이 직선이 된다는 뜻이다. 다른 말로 1차라고도 하지만 1차가 선형 자체를 의미하지 않는 경우도 많다. 

 

 

머신러닝에서 예를 들어보자. 

 

ReLU, GELU 함수

 

ReLU의 수학식은 다음과 같다. 

 

$$\begin{align*} y &= x ( x > 0) \\ y &= 0 (otherwise)  \\ \end{align*}$$

 

 

딥러닝의 ReLU 함수는 $x$의 값이 0이하에서는 0, 0초과에서는 $x$ 값을 그대로 출력한다. 이 함수는 직선이지만 비선형 함수이다. 왜 그럴까? 바로 위의 가산성을 만족시키지 않기 때문이다. 

 

 

예를 들어보자. $x$가 -3, $y$가 4라고 하고 값을 넣어보면 가산성을 만족하지 않는다.

$$\begin{equation} f(-3 + 4) = f(1) = 1 \end{equation}$$

$$\begin{equation} f(-3) + f(4) =  0 + 4 =4 \end{equation}$$

 

즉, $1 \ne 4$ 가 되어 선형성의 정의에 맞지 않는다.

ReLU 함수는 정의역에서 +, -, * 를 통해 연산한 값들이 치역에서 함수값들을 연산한 것들에 대해 선형적으로 사상(mapping)되지 못한다는 것을 뜻한다. 즉, 직선을 그리지 못한다는 것이다! 따라서 ReLU 함수는 비선형인 것이다!

마찬가지로 동차성도 위의 값에 대해서 동차성도 만족시키지 않는다. 0 이하의 값에 대해서는 모두 0을 출력하기 때문이다. 

 

머신러닝에서의 선형성과 비선형성

 

머신러닝에서 가장 먼저 보게 되는 다항식 곡선 피팅 예시를 살펴보자.

 

곡선을 피팅하기 위해 다음과 같은 식을 활용한다.

 

$$\begin{equation} y(x, \mathbf w) = w_0 + w_1x + w_2x^2 + ... + w_Mx^M = \sum_{j=0}^M w_jx^j \end{equation}$$

 

여기서 M을 차수라고 하며, $j$는 $x$의 승수이다. 패턴인식과 머신러닝 책에서는

다항함수 $y(x, \mathbf w)$는 $x$에 대해서는 비선형이지만 계수 $w$에 대해서는 선형이라고 한다. 

 

다변수함수의 값 $y$가 $x$에 대해서는 비선형이고, $w$에 대해서는 선형이라는 의미이다. 이를

matplotlib 라이브러리를 통해 확인해보자. 시각화할 수 있도록 2차까지만 전개해서 확인한다. 

그림들을 확인해보면 w에 대해서는 함수값이 선형이고 x에 대해서는 비선형(곡선)임을 확인할 수 있다.  

이를 확장하면 위의 식은 M-1 차원의 초평면을 이루게 될 것이다.

 

 

In [2]:

import matplotlib.pyplot as plt
import numpy as np

In [19]:

w1 = t = np.linspace(-5., 5., 50)
w2 = t = np.linspace(-5., 5., 50)
w_lst = [w1, w2]
x = t = np.linspace(-5., 5., 50)

 

$$\begin{equation} y(x, w) = w_1x + w_2 x^2 \end{equation}$$

In [22]:

def polynomialFunction(w_lst, x):
    w1, w2 = np.meshgrid(w_lst[0], w_lst[1])
    y_lst = w1 * x + w2 * x ** 2
    return y_lst

In [50]:

def polynomialFunction2(w_lst, x):
    y_lst = w1 * x + w2 * x ** 2
    return y_lst

In [23]:

y_lst = polynomialFunction(w_lst, x)
print(type(y_lst))
print(y_lst.shape)

 

<class 'numpy.ndarray'>
(50, 50)

In [24]:

from mpl_toolkits.mplot3d import Axes3D

In [47]:

fig = plt.figure()
ax = plt.axes(projection='3d')
fig = plt.figure(figsize=(24, 12))
ax.plot_surface(w_lst[0], w_lst[1], y_lst)
plt.tight_layout()
plt.show()

 

 

<Figure size 1728x864 with 0 Axes>

In [49]:

fig = plt.figure()
ax = plt.axes(projection='3d')
fig = plt.figure(figsize=(24, 12))
ax.plot_surface(w_lst[0], w_lst[1], y_lst)
ax.view_init(45,40)
plt.show()

 

 

<Figure size 1728x864 with 0 Axes>

In [52]:

y_lst2 = polynomialFunction2(w_lst)
print(type(y_lst2))
print(y_lst2.shape)

 

<class 'numpy.ndarray'>
(50,)

In [54]:

plt.plot(x, y_lst2)
plt.show()

 

In [ ]:

  

 

 

 

 

출처

[1] https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95_%EA%B2%B0%ED%95%A9

[2] https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95%EC%84%B1