랜덤 프로세스

확률을 개념적으로 설명할 때 다음과 같이 설명합니다.

 

확률실험을 여러 번 수행에서 그 실험의 결과를 상대적인 빈도로써 표기한 것.

 

즉, 실험을 무한히 진행하면서 사건에 대한 결과값만 고려하면 되었습니다. 하지만 현실에서는 어떤 사건의 시간적인 순서를 고려해야 합니다. 현실세계에서는 시간파형(waveforms)을 다루어야 특정 시스템에서 발생하는 신호를 처리할 수 있습니다.

실세계의 시스템들은 랜덤 시간파형 (random wave forms)을 자주 다루게 되는데요. 어떤 시스템에서는 분석하고자 하는 신호가 불규칙한 경우가 매우 많습니다. 게다가 신호가 잡음 랜덤 시간파형과 섞이는 경우도 있습니다. 랜덤 시간 파형을 확률적으로 기술하는 개념이 바로 랜덤 프로세스 입니다. 

 

랜덤 프로세스 (random process, stochastic process)

• 랜덤변수는 표본공간에 있는 원소(사건)들의 집합을 실수값으로 사상하는 함수로써 정의되었습니다.
• 랜덤변수에서 주사위 값에 대한 치역을 $X(s) \in \{1, 2, 3, 4, 5, 6\}$ 와 같이 집합의 형태로 표현했습니다. 이를 일반화하면 다음과 같습니다.

$$X(s) \in \Bbb R$$

• 랜덤프로세스는 랜덤변수의 개념을 더 확대해서 시간을 포함합니다. 따라서 표본공간의 원소와 시간을 사상한다는 개념이 포함됩니다.
• 확률실험의 모든 결과 $s$에 대해서 어떤 규칙에 따라 시간 함수를 할당합니다. 이를 샘플 함수 또는 앙상블 요소라고 합니다. (랜덤변수는 하나의 실수값에 할당했고 랜덤 프로세스는 시간에 대한 함수에 할당)

$$x(t, s)$$

• 즉, 랜덤프로세스는 시간에 대한 함수들로 정의됩니다. 그리고 이 시간함수들의 집합에 해당하는 개념을 앙상블이라고 합니다. 앙상블은 랜덤변수의 치역과 비슷한 개념입니다.
• 정리하면 랜덤프로세스 $X(t)$는 표본공간에 속한 결과 $s$에 대한 시간함수 $x(t, s)$의 집합(앙상블)으로 이루어져있습니다. 앙상블은 확률실험에서 나올 수 있는 모든 가능한 시간 함수들의 집합인 것입니다.

$$X(t) \in \Bbb R$$

 

랜덤 프로세스의 종류

• 랜덤프로세스는사건과 시간에 대한 함수로 정의되었습니다.
• 랜덤변수가 가질 수 있는 값을 알파벳이라고 합니다. 이 알파벳 값이 이산적이냐, 연속적이냐에 따라 종류가 나뉩니다.
• 시간이 연속적일 경우 프로세스라는 이름이 붙고, 이산적일 경우에는 시퀀스라는 이름이 붙습니다.
• 따라서, 시간과 랜덤변수의 값이 이산적이냐 연속이냐에 따라 4가지 종류로 분류합니다.

아래 그림은 시간에 대한 함수를 표현한 그림입니다.

1. 이산 랜덤 시퀀스 $X(t, s)$ 에서 $t$는 이산적이고 $X$의 값도 이산적인 경우를 말합니다. 왼쪽 위의 그림처럼 시간과 랜덤변수값 모두가 불연속인 것을 볼 수 있습니다.
2. 이산 랜덤 프로세스 $X(t, s)$ 에서 $t$는 연속이고 $X$의 값이 이산적인 경우를 말합니다. 오른쪽 위의 그림처럼 시간축에 대해 연속이고 랜덤변수의 값만 불연속인 것을 확인할 수 있습니다.
3. 연속 랜덤 시퀀스 $X(t, s)$ 에서 $t$는 이산적이고 $X$의 값이 연속적인 경우를 말합니다. 왼쪽 아래의 그림에서 시간축이 불연속적이고 랜덤변수의 값은 연속인 것을 확인할 수 있습니다.
4. 연속 랜덤 프로세스 $X(t, s)$ 에서 $t$는 연속이고 $X$의 값도 연속일 경우를 말합니다. 그림처럼 시간과 랜덤변수의 값이 모두 연속이므로 복잡한 선을 나타낼 수 있습니다.

 

결정적, 비결정적 프로세스

• 만약 랜덤 프로세스의 특정 샘플 함수 값이 과거의 값으로 예측될 수 없으면 이 프로세스를 비결정적(nondeterministic)이라고 합니다.
• 만약 샘플 함수의 미래의 값을 과거의 값으로부터 예측할 수 있다면, 즉 주기가 있다면 이 프로세스를 결정적(deterministic)이라고 합니다. 그 예는 다음과 같습니다.

$$X(t) = A\cos(\omega_0t + \theta)$$

시정상 랜덤 프로세스(Stationary Random Process)

• 시간에 따른 변동이 없는 확률분포를 가지는 랜덤프로세스를 시정상 랜덤 프로세스라고 합니다.

1차 정상 프로세스

• 1차 확률 밀도함수가 시간의 이동에 따라서 변하지 않을 때 이를 1차 정상이라고 하고 식은 다음과 같이 정의 됩니다.

$$f_X(x_1;t_1) = f_X(x;t_1 + \Delta) ~~~~ (1)$$

즉, 위 식은 시간에 관해서 확률 밀도함수가 변하지 않기 때문에 랜덤 프로세스의 평균값이 일정하다는 것입니다.

$$E[X(t)] = m_X(t) = constant$$

위 식의 증명과정은 다음과 같습니다.

$$m_X(t_1) = \int^\infty_{-\infty}xf_X(x;t_1)dx \\ m_X(t_2) = \int^\infty_{-\infty}xf_X(x;t_2)dx$$

두 순간 $t_1, t_2$에서의 기댓값을 구한 후, $t_2 = t_1 + \Delta$로 놓고 식 (1)에 대입하면 됩니다. 그러면 다음과 같은 식이 도출됩니다.

$$m_X(t_1 + \Delta) = m_X(t_1)$$

N차 정상성

• 마찬가지로 N개의 랜덤변수에 대해서 N차 밀도 함수가 시간이동에 대해 변하지 않는다면, 이 랜덤프로세스는 N차 정상이라고 합니다.

$$f_X(x_1, \dots, x_N;t_1, \dots, t_n) = f_X(x_1, \dots, x_N;t_1 + \Delta, \dots, t_n + \Delta) $$

 

[출처]

1. Peebles의 확률 및 랜덤신호 원리

2. https://towardsdatascience.com/brief-introduction-to-markov-chains-2c8cab9c98ab