강화학습
-
Frame Stack, Frame Skip 정리카테고리 없음 2021. 4. 3. 00:03
OpenAI의 gym환경을 사용하다보면 BreakoutDeterministic-v4와 같이 NoFrameskip과 같은 단어가 붙은 환경을 보신적이 있을 것입니다. 굉장히 헷갈리는 개념들인데요 이 개념들이 이미지를 입력으로 받는 환경에서 학습에 상당한 영향을 끼치기에 Stack과 Skip의 의미를 정리해보겠습니다. 1. Frame Stack Frame stack은 이미지를 관측(Image Observation)으로 받는 환경에서 주로 사용되는 기술입니다. 단어 뜻 그대로 이미지를 쌓아서 인공신경망에 입력으로 주게 되는 것입니다. 물론 벡터 관측(Vector Ovservation)도 스택으로 쌓아서 입력으로 사용할 수 있습니다. 그렇다면 왜 프레임을 하나씩 인공신경망에 입력하는게 아니라 굳이 여러 개를 입..