[PRML] 8.4.3 Factor Graph

[PRML] 8.4.3 인자 그래프

질문거리

• 인자란 무엇인가?
• 인자그래프란 무엇인가?
• 인자그래프는 왜 써야할까?
• 인자 그래프를 쓰면 뭐가 좋은가?

앞의 8.1 베이지안 네트워크와 8.3 마르코프 네트워크들은 방향성/비방향성 그래프를 표현하는 수단이었다.
베이지안 네트워크에서는 다음과 같이 그래프를 표현했었다.
$$
\begin{equation} \label{eq:bs_graph}
p(\mathbf x) = \prod^K_{k=1}p(x_k|pa_k)
\end{equation} \tag {1}
$$
위 식은 전체 그래프에 대한 결합확률분포를 k번째 노드의 부모들이 조건으로 주어졌을 때, k노드에 대한 조건부확률들의 곱으로 표현한다.

마르코프 네트워크에서는 포텐셜 함수를 도입해서 다음과 같이 그래프를 표현했었다.
$$
\begin{equation} \label{eq:mk_graph}
p(\mathbf x) = {1 \over Z} \prod_C \psi_C(\mathbf x_c)
\end{equation} \tag {2}
$$
위 식은 그래프의 랜덤변수들에 대한 결합분포를 클리크에 대한 포텐셜함수의 곱과 정규화 계수의 곱으로 나타낸 것이다. 이제 인자그래프를 통해, 비방향성 그래프, 방향성 그래프 모두에 대해서 일반적인 표현을 얻을 것이다.

인자 그래프

• 인자 그래프는 여러 개의 변수들의 함수에 대한 인수분해를 표현한다.
• 즉, 인자 그래프는 노드의 변수들의 부분집합으로 이루어진 인자들을 곱한 형태로 표현된다.

수식으로 표현하면 다음과 같다.
$$
\begin{equation} \label{eq:factor_graph}
p(\mathbf x) = \prod_{s}f_s(\mathbf x_s)
\end{equation} \tag {3}
$$
$\mathbf x_s$는 변수들의 부분집합을 의미한다. 여기서 부분집합의 변수들을 $x_i$로 표기할 것인데, 이 변수들은 스칼라, 벡터, 행렬 등이 될 수 있다. 인자 $f_s$는 각 변수집합 $\mathbf x_s$에 대한 함수이다.

식 $(1)$은 식 $(3)$ 의 특별한 경우중 하나로, 인자 $f_s(\mathbf x_s)$가 부모, 자식 관계를 포함하는 지역적 조건부 분포인 경우에 해당한다. 마찬가지로 위 식 $ \eqref{eq:mk_graph} $는 인자가 최대클리크에 대한 포텐셜함수인 특별한 경우 중 하나이다.

즉, 우리는 인자 그래프를 통해, 비방향성 그래프와 방향성 그래프 모두에 대해서 일반적으로 표현하고 하는 것이다!

인자 그래프도 비방향/방향성 그래프처럼 모든 랜덤변수 각각에 대응하는 노드가 존재한다. 아래 그림의 원에 해당하는 것이 변수들이다. 그리고 결합분포에 있는 각 인자 $f_s(\mathbf x_s)$에 해당하는 추가적인 노드도 있는데 작은 사각형들에 해당한다. 마지막으로 인자와 변수간의 종속성을 표현하는 비방향 엣지가 존재한다.