Math/Pattern Recognition & Machine Learning
-
[PRML] 8.4.4 Sum-Product AlgorithmMath/Pattern Recognition & Machine Learning 2021. 12. 27. 14:57
그래프에서 추론문제는 몇몇 노드들이 관측되었을 대, 하나의 노드 또는 여러 개의 노드들의 사후 분포를 계산하는 것이다. 인자 그래프를 바탕으로 트리 구조 그래프 추론 문제를 해결하는 알고리즘이 합-곱 알고리즘이다. 이 파트에서 가정은 다음과 같다. 모델에 존재하는 모든 랜덤변수들은 이산(discrete) 랜덤변수이다. 따라서 주변화(marginalize)는 합산 시그마 기호를 통해 표현하게 된다. 먼저 합의 법칙에서 주변확률을 구하기 위해서는 다음과 같이 결합확률을 특정 랜덤변수에 대해서 주변화를 진행했다. $$ p(x) = \sum_y p(x, y) $$ 그래프 상의 랜덤변수들이 $\mathbf x = \{x_1, x_2, x_3, ..., x_n\}$으로 주어졌을 때, 합의 법칙을 활용해서 그래프 상..
-
정보이론 간단 요약Math/Pattern Recognition & Machine Learning 2021. 8. 10. 15:20
정보이론의 핵심 : 발생하기 어려운 사건들을 배우는 것들이 발생하기 쉬운 사건을 배우는 것보다 더 많은 정보를 얻을 수 있다는 것이다. 예를 들어 오늘 아침에 해가 떴다. 라는 말은 모두가 아는 사실임으로 정보가 매우 적다. 그러나 오늘 아침에 일식이 일어났다는 사실은 정보가 훨씬 많다. 정보량(Information) 특정 사건 x의 정보를 정의하기 위해 다음과 같이 자기 정보를 정의한다. $$I(x) = -\log P(x)$$ 사건 x의 정보량은 확률이 1/e 인 사건을 관측해서 얻은 정보의 양이다. 엔트로피(Entropy) 특정 사건들을 모두 모은 집합 X에 대한 정보량을 엔트로피라고 하며 이는 다음과 같이 정의된다. $$H(X) = \Bbb E_{x\sim P}[I(x)] = - \Bbb E_{x\..
-
랜덤 프로세스Math/Pattern Recognition & Machine Learning 2021. 8. 7. 17:13
확률을 개념적으로 설명할 때 다음과 같이 설명합니다. 확률실험을 여러 번 수행에서 그 실험의 결과를 상대적인 빈도로써 표기한 것. 즉, 실험을 무한히 진행하면서 사건에 대한 결과값만 고려하면 되었습니다. 하지만 현실에서는 어떤 사건의 시간적인 순서를 고려해야 합니다. 현실세계에서는 시간파형(waveforms)을 다루어야 특정 시스템에서 발생하는 신호를 처리할 수 있습니다. 실세계의 시스템들은 랜덤 시간파형 (random wave forms)을 자주 다루게 되는데요. 어떤 시스템에서는 분석하고자 하는 신호가 불규칙한 경우가 매우 많습니다. 게다가 신호가 잡음 랜덤 시간파형과 섞이는 경우도 있습니다. 랜덤 시간 파형을 확률적으로 기술하는 개념이 바로 랜덤 프로세스 입니다. 랜덤 프로세스 (random pro..
-
헤시안 행렬Math/Pattern Recognition & Machine Learning 2021. 8. 1. 21:23
헤시안 행렬 다변수 스칼라함수 $f(x, y, z ,...)$를 다차원 입력의 각 원소들로 미분한 이차미분값을 담은 행렬을 헤시안 행렬이라고 하고 $\mathbf H(f), \mathbf Hf, \mathbf H_f$등으로 표기한다. $$\mathbf H(f) = \begin{bmatrix} \partial^2f \over \partial x^2 & \partial^2f \over \partial x \partial y & \partial^2f \over \partial x \partial z & \cdots~~ \\ \partial^2f \over \partial y \partial x & \partial^2f \over \partial y^2 & \partial^2f \over \partial y \..