정보량, 엔트로피
로그의 밑은 생략한 경우 2이다. 로그의 밑을 무엇으로 해도 정보량에 대해 논할 수 있지만; 밑을 2로 하면 단위가 bit이다.정보량, 엔트로피정보량을 어떻게 정의할 것인가?정보량은 질문에 가능한 답변의 가지 수와 관련이 있다.동전던지기(2가지 가능)보다 주사위굴림(6가지 가능)이 더 많은 정보 제공.정보량은 어떤 식으로든 덧셈이 가능하다.동전던지기 1회(2가지)에 비해 5회(2^5가지)의 정보량은?더 드물게 일어나는 사건이 더 많은 정보량을 가진다.어떤 사건이 일어날 확률이 낮을수록, 그 사건이 발생했을 때 얻는 정보량은 더 많아진다.확실한 사건(확률 100%)은 아무런 정보도 제공하지 않는다.자기정보량(개별 사건의 정보량):$$ I(x) = - \log p(x) $$엔트로피엔트로피entropy:자기정..
2026.10.19.