인터뷰 준비

답안

What’s the trade-off between bias and variance?

편향(일관성)과 분산(변화)사이의 트레이드 오프. 

Error = noise(데이터 본질의 한계치, irreducible error) + bias + variance  (reducible error)

학습 모형이 입력 데이터에 얼마나 의존하는지에 관한 질문.

bias : 지속적으로 잘못된 것을 학습하는 경향 (예측과 타겟 오차의 평균)

(underfitting) high bias(데이터 내의 모든 정보를 고려하지 못한다, 간단한 모델), low variance(새로운 데이터가 와도 변하지 않을것) 

variance : highly flecible models에 데이터를 fitting 시킴으로써 실제 현상과 관계 없는 random한 것들까지 학습하는 알고리즘의 경향.

(overfitting) low bias(주어진 데이터를 잘 설명한다, 복잡한 모델), high variance(새로운 데이터가 들어오면 완전 변하고 generality 잃는다)

편향과 분산의 합을 risk 라고 한다.

-> 데이터의 규칙성을 잘 잡아내어 정확하면서도 다른 데이터가 들어왔을 때도 일반화할 수 있는 것.

bias: 가정이 잘못되었을 때,   일반화 - 진짜

variance : 평균에서 얼마의 폭으로 변동하는지, 

트레이닝 셋이 클수록 분산이 작아지고, 특징을 추가할수록 편향이 작아진다.

hidden unit 증가할 수록 분산 증가

(예시 : k-nearest neighbor : k가 클수록 편향 증가

의사결정나무 : 깊이는 분산을 결정한다.)

-> mixture models, ensemble learning

- 분산 : 개별 값과 대표 값의 차이의 평균  (식을 변형하면, 제곱의 평균 - 평균의 제곱)

전체 데이터의 퍼진 정도가 최소가 되는 지점이 그것을 대표하는 값 아닐까

What is the difference between supervised and unsupervised machine learning?

지도 학습은 라벨링된 데이터가 필요하다. 

target 이 몇 개의 class로 구성되는 경우 -> classification problem

연속적인 공간인 경우 -> regression problem

비지도 학습은 다른 입력들 사이의 관계나 구조를 찾을 수 있다.

clustering, 주성분 분석(PCA), 독립 성분 분석(ICA) , 특이값 분해(SVD)

How is KNN different from k-means clustering?

k-means

비지도학습으로 clustering에 쓰인다.

KNN

지도 학습으로, 분류와 회귀를 한다.

분류(소속된 항목)/회귀(객체의 특성값)

  회귀 :

1. 유클리드 거리 또는 마할라노비스 거리 계산

2. 정렬

3. 평균 제곱근 편차에 기반해 최적 수 찾는다.

Define precision and recall.

precision : 맞다고 뽑은 것들(FP+TP) 중에 진짜 맞는 것(TP)

recall : 맞다고 뽑아야 하는 것들(FN+TP) 중에 진짜 맞는 것(TP)

scam 실험 시 : TP + FN

enron 실험 시 : TN + FP

What is Bayes’ Theorem? How is it useful in a machine learning context?

사전확률 P(A) 과 우도 P(B|A)를 알면 사후 확률 P(A|B)를 알 수 있다.

우도 : 

확률함수는 "모수"(parameter)를 전제로 하는 함수다.

ex) 모수(평균, 분산)가 주어질 때, x에 대한 정규 분포

반대로 x가 주어진다면, 모수에 대한 정규 분포 함수가 나온다.

이를 우도 함수라고 말한다. (모수는 확률 변수가 아니고, 우도 함수도 확률 함수가 아니다)

= 확률 분포의 모수가 어떤 확률 변수의 표집값과 일관되는 정도

= 가장 가능한 모수를 추정하는 척도

베이즈 정리는 테스트 결과를 사건의 실제 확률로 변환해 준다.

ex) 암이 있는 여성 1%, 암이 있는 사진에서 80%의 경우만 탐지된다. 9.6%가 암이 아닌 데도, 탐지한다.

그렇다면 암이라는 판정을 받았을 경우에 암을 가진 확률은?

Why is “Naive” Bayes naive?

특징에 대한 우도를 계산할 때 각 특징이 독립변수라는 가정 하에 계산을 하는 경우에 Naive Bayes다. (현실에서 볼 수 없는 경우)

What’s a Fourier transform?

시간 영역 함수의 주파수 영역 표현이다.

신호의 주파수 성분을 알기 위해서이다.(잘 모르겠다. 더 공부할 것)

Which is more important to you– model accuracy, or model performance?

recall : 얼마나 검출하나

precision : 검출한 결과가 얼마나 정확하냐

How would you handle an imbalanced dataset?

When should you use classification over regression?

.

Name an example where ensemble techniques might be useful.

.

How do you ensure you’re not overfitting with a model?

.

What evaluation approaches would you work to gauge the effectiveness of a machine learning model?

.

How would you evaluate a logistic regression model?

.....