위기지학, 천천히 제대로

답안What’s the trade-off between bias and variance?편향(일관성)과 분산(변화)사이의 트레이드 오프. Error = noise(데이터 본질의 한계치, irreducible error) + bias + variance (reducible error)학습 모형이 입력 데이터에 얼마나 의존하는지에 관한 질문. bias : 지속적으로 잘못된 것을 학습하는 경향 (예측과 타겟 오차의 평균)(underfitting) high bias(데이터 내의 모든 정보를 고려하지 못한다, 간단한 모델), low variance(새로운 데이터가 와도 변하지 않을것) variance : highly flecible models에 데이터를 fitting 시킴으로써 실제 현상과 관계 없는 rando..

볼 때마다 헷갈린다. Entropy : 그 정보를 전달하는데 필요한 최소 비트 수정보를 알기 위해 얼마나 많은 데이터가 필요한가 우리가 가지고 있지 않은 정보 양우리가 얼마나 모르고 있나 - log p(x) : p(x)가 1 이하의 확률값이기 때문에, 음수가 나와서 -를 붙여준다. log 그래프를 생각하면 이해가 쉽다. 즉, 어떤 기호가 나올 확률이 작으면 그 기호가 나오는 것을 알기 위해서 많은 정보가 필요하다. (Entropy가 크다)반면에 기호의 확률이 높을 경우 우리는 적은 정보로 유추가 가능하다. (Entropy가 작다) cross entropy를 많이 사용한다.1이나 0으로 분류하는 경우에는 다음과 같다.- target log predict- (1 - target)log(1 - predict)..