아는 것과 모르는 것에 대한 구분 아는 것과 모르는 것에 대한 구분

Math

• Variational Inference 관련 내용 정리

  Math 2022. 9. 26. 15:18

  Variational Inference는 확률을 추론하는 문제를 위한 알고리즘이다. 확률 계산이 불가능한 상황에서 임의의 확률분포를 도입하고 최적화 문제로 바꾸어서 근사적인 방법으로 문제를 푼다. Variational Inference를 알기 위해서는 다음과 같은 지식들을 알면 좋다. Probabilistic Graphical Model Probabilistic Inference Bayesian Inference 1. Probabilistic Graphical Model 랜덤변수들의 집합이 있다고 할 때, 그 랜덤변수들 간의 의존성(dependency)를 보기 쉽게 그래프로 표현한 것을 확률적 그래프 모델(Probabilistic Graphical Model)이라고 한다. PGM의 종류로는 세 가지가 있..

  Read More
• 최적화 관련 내용 정리

  Math 2022. 9. 2. 11:28

  최적화: 주어진 제약조건 하에서 목적함수의 값을 최소 또는 최대로 하는 해를 구하는 문제. 현실 속에서 문제를 푸는 방법 1. 문제를 최적화 문제로 formulation 상수, 변수, 제약조건, 목적함수를 통해 문제 구성 2. 알고리즘을 통한 해 구하기 3. 계산 결과를 분석, 검증 4. 최적화 문제와 알고리즘 재검토 어려운 문제를 부분 문제(subproblem)으로 나누거나 완화 문제(relaxation problem)으로 풀 수 있다. minimizer (최소자): 특정 최적화 문제에서 목적함수를 최소로 만드는 값 선형 계획 문제: 목적함수가 선형이고, 모든 제약조건이 선형 등식 혹은 부등식으로 나타낼 수 있는 최적화 문제 비선형 계획 문제: 목적함수나 제약 조건이 비선형함수로 나타난 문제 (2차함수..

  Read More
• 머신러닝에 필요한 벡터, 행렬 미분 개념정리

  Math 2022. 7. 26. 12:12

  머신러닝을 공부하면서 벡터의 미분과 행렬의 미분이 많이 나와서 핵심적인 내용만 정리해보았습니다. 본 글에서는 분자표기법(Numerator-layout notation)을 사용합니다. numerator : 분자 denominator : 분모 $A^ \prime$ 스칼라 함수의 미분 입력이 스칼라이고 출력이 스칼라인 함수 정의역 $X \in \mathbb R$ 에 속하는 스칼라 원소를 공역 $Y \in \mathbb R$ 에 속하는 스칼라로 대응시키는 함수를 $f : \mathbb R \rightarrow \mathbb R$ 이라고 하자. 이 함수에 대한 미분은 다음과 같이 정의된다. $$ {dy \over dx} = \lim_{h \rightarrow 0} {f(x+h) - f(x) \over h} = f..

  Read More
• [PRML] 8.4.4 Sum-Product Algorithm

  Math/Pattern Recognition & Machine Learning 2021. 12. 27. 14:57

  그래프에서 추론문제는 몇몇 노드들이 관측되었을 대, 하나의 노드 또는 여러 개의 노드들의 사후 분포를 계산하는 것이다. 인자 그래프를 바탕으로 트리 구조 그래프 추론 문제를 해결하는 알고리즘이 합-곱 알고리즘이다. 이 파트에서 가정은 다음과 같다. 모델에 존재하는 모든 랜덤변수들은 이산(discrete) 랜덤변수이다. 따라서 주변화(marginalize)는 합산 시그마 기호를 통해 표현하게 된다. 먼저 합의 법칙에서 주변확률을 구하기 위해서는 다음과 같이 결합확률을 특정 랜덤변수에 대해서 주변화를 진행했다. $$p(x)=\sum _{y}p(x,y)$$ 그래프 상의 랜덤변수들이 $\mathbf x = \{x_1, x_2, x_3, ..., x_n\}$으로 주어졌을 때, 합의 법칙을 활용해서 그래프 상..

  Read More
• 정보이론 간단 요약

  Math/Pattern Recognition & Machine Learning 2021. 8. 10. 15:20

  정보이론의 핵심 : 발생하기 어려운 사건들을 배우는 것들이 발생하기 쉬운 사건을 배우는 것보다 더 많은 정보를 얻을 수 있다는 것이다. 예를 들어 오늘 아침에 해가 떴다. 라는 말은 모두가 아는 사실임으로 정보가 매우 적다. 그러나 오늘 아침에 일식이 일어났다는 사실은 정보가 훨씬 많다. 정보량(Information) 특정 사건 x의 정보를 정의하기 위해 다음과 같이 자기 정보를 정의한다. $$I(x)=-\log P(x)$$ 사건 x의 정보량은 확률이 1/e 인 사건을 관측해서 얻은 정보의 양이다. 엔트로피(Entropy) 특정 사건들을 모두 모은 집합 X에 대한 정보량을 엔트로피라고 하며 이는 다음과 같이 정의된다. $$H(X) = \Bbb E_{x\sim P}[I(x)] = - \Bbb E_{x\..

  Read More
• 랜덤 프로세스

  Math/Pattern Recognition & Machine Learning 2021. 8. 7. 17:13

  확률을 개념적으로 설명할 때 다음과 같이 설명합니다. 확률실험을 여러 번 수행에서 그 실험의 결과를 상대적인 빈도로써 표기한 것. 즉, 실험을 무한히 진행하면서 사건에 대한 결과값만 고려하면 되었습니다. 하지만 현실에서는 어떤 사건의 시간적인 순서를 고려해야 합니다. 현실세계에서는 시간파형(waveforms)을 다루어야 특정 시스템에서 발생하는 신호를 처리할 수 있습니다. 실세계의 시스템들은 랜덤 시간파형 (random wave forms)을 자주 다루게 되는데요. 어떤 시스템에서는 분석하고자 하는 신호가 불규칙한 경우가 매우 많습니다. 게다가 신호가 잡음 랜덤 시간파형과 섞이는 경우도 있습니다. 랜덤 시간 파형을 확률적으로 기술하는 개념이 바로 랜덤 프로세스 입니다. 랜덤 프로세스 (random pro..

  Read More
• 헤시안 행렬

  Math/Pattern Recognition & Machine Learning 2021. 8. 1. 21:23

  헤시안 행렬 다변수 스칼라함수 $f(x, y, z ,...)$를 다차원 입력의 각 원소들로 미분한 이차미분값을 담은 행렬을 헤시안 행렬이라고 하고 $\mathbf H(f), \mathbf Hf, \mathbf H_f$등으로 표기한다. $$\mathbf H(f) = \begin{bmatrix} \partial^2f \over \partial x^2 & \partial^2f \over \partial x \partial y & \partial^2f \over \partial x \partial z & \cdots~~ \ \partial^2f \over \partial y \partial x & \partial^2f \over \partial y^2 & \partial^2f \over \partial y \..

  Read More
• 정준연결함수(Canonical Function)

  Math 2021. 7. 25. 17:57

  패턴인식과 머신러닝 책에서 정준연결함수에 대한 내용과 그 가정을 바탕으로 이론을 설명하는 경우가 있다. 책의 내용만으로는 이해가 되지 않아서 따로 정리를 하려 한다. 연결함수에 대해 이해하려면 먼저 선형회귀 일반화된 선형모형을 알아야 한다. 선형회귀 (Linear Regression) $${\mu }_i=b_0+b_1{x}_1$$ $$y_i\sim \mathcal{N}({\mu }_i,ϵ)$$ 위 식에 대한 그래프는 아래와 같다. 선형회귀는 연속형 범주의 값 $y$를 설명변수(독립변수) $x$들의 선형결합으로 예측하려는 것이다. 선형회귀를 식으로써 표현하면 아래와 같다. $i$는 각각의 샘플에 대한..

  Read More