머신러닝 | 로지스틱 회귀 분석/분류 분석 (+sklearn 파이썬 실습)

➡️ 로지스틱 회귀 (분류 분석)

• Y값이 0,1 같은 범주형인 경우 사용하는 분석법임
• 왜 선형 회귀 분석은 사용하기 어려울까?
  
  • X가 연속형 변수이고, Y가 특정 값(0 or 1)이 될 확률이라고 설정한다면
  • 왼쪽 선형 회귀로는 설명하기 어려움 ( 확률은 0과 1사이 인데, 예측 값이 확률 범위를 넘어갈 수 있는 문제 발생 )
  • 하지만, 오른쪽 그림처럼 S자 형태의 함수를 적용하면, 잘 설명한다고 할수 있음 

➡️ 오즈비와 로짓

• 오즈비 (odds ratio) : 실패 대비 성공 확률 (발생하지 않을 확률 대비 발생할 확률) =승산비
  • 오즈비는 확률(P)가 증가할수록 급격하게 증가함 → 선형성을 따르지 않음 → log 씌워 완화(로짓)

• 로짓 (logit) : 오즈비에 로그 씌움
  • 로짓의 그래프가 더 선형적인 그림을 나타내어 선형회귀의 기본식으로 활용할 수 있게 됨

확률이 증가할수록 (좌)오즈비는 급격히 발산, (우) 로짓은 완만하게 증가

➡️ 로지스틱 계산식(함수)

• 로짓 그래프 X-Y축을 교체
• 어떤값이 들어와도 0~1사이로 수렴 하게 됨

• 로짓과 기존 선형회귀의 우변을 합쳐 로지스틱 계산식 도출 

X값이 w1 만큼 증가하면 오즈비는 e^{w_1} 만큼 증가한다

• 로지스틱 함수는 가중치 값(w1)을 안다면 X값이 주어졌을 때 해당 사건이 일어날 수 있는 P의 확률을 계산할 수 있음
• 이때, 확률 0.5를 기준으로 그보다 높으면 사건이 일어남(P(Y) = 1), 그렇지 않으면 사건이 일어나지 않음(P(Y) = 0)으로 판단하여 예측함

➡️ 로지스틱 회귀 평가 지표 

• 정확도(Accuracy)
  • 맞춘 정답을 전체 데이터 갯수로 나눔
  • 한계 : 정확도가 제 기능을 못하는 때(특히 Y값이 불균형할 때) Y 범주의 비율을 맞춰주거나 f1 score 평가지표를 사용하여 보완 

• f1-score
  • 정밀도와 재현율의 조화 평균
  • 정확도 보완할수있는 평가 지표 

• 혼동 행렬 / 정밀도 / 재현율

• 혼동 행렬 (confusion Matrix)
  • 실제 값과 예측 값에 대한 모든 경우의 수를 표현하기 위한 2x2 행렬
  • TP: 실제로 양성이면서 예측치도 양성 올바르게 분류된 수
  • FP: 실제로 음성이지만 양성으로 잘못 분류된 수
  • FN: 실제로 양성이지만 음성으로 잘못 분류된 수
  • TN: 실제로 음성이면서 음성으로 올바르게 분류된 수

• 정밀도(Precision)
  • 모델이 양성 으로 예측한 결과 중 실제 양성의 비율(모델의 관점)

• 재현율(recall)
  • 실제 값이 양성인 데이터 중 모델이 양성으로 예측한 비율(데이터의 관점)

➡️ 로지스틱 회귀 파이썬 모듈 & 함수

• sklearn.linear_model.LogisticRegression : 로지스틱회귀 모델 클래스
  • 속성
    • classes_: 클래스(Y)의 종류
    • n_features_in_ : 들어간 독립변수(X) 개수
    • feature_names_in_: 들어간 독립변수(X)의 이름
    • coef_: 가중치
    • intercept_: 바이어스
  • 메소드
    • fit: 데이터 학습
    • predict: 데이터 예측
    • predict_proba: 데이터가 Y = 1일 확률을 예측
      • predict 는 0.5기준으로 0 or 1 이라면
      • predict_proba는 1기준으로 0.8 0.2 이런식으로 확률을 보여줌
• from sklearn.metrics import accuracy_score,f1_score :로지스틱 평가 모델 클래스
  • sklearn.metrics.accuracy(y_true,y_pred): 정확도
  • sklearn.metrics.f1_socre(y_true,y_pred): f1_score

➡️ 로지스틱 회귀 실습 (단순)

• X= fare, y=survived

1. 모델 생성 및 훈련
2. 예측 및 평가
3. 결과
   • 결과 : 정확도 : 0.666, f-score : 35.5%
   • 정확도는 높으나 f-score는 낮음 -> 변수 추가 or 전처리 필요함을 확인

#로지스틱 모듈 설치 
import sklearn
from sklearn.linear_model import LogisticRegression

# X=fare, y=survived 변수 할당 
X_1 = titanic_df[['Fare']]
y_true = titanic_df[['Survived']]

#모델 생성 & 학습
model_lor = LogisticRegression()
model_lor.fit(X_1,y_true)

#예측 
y_pred = model_lor.predict(X_1)

# 평가
from sklearn.metrics import accuracy_score,f1_score

def get_metrics (true,pred):
    print(f'정확도 : {accuracy_score(true,pred)}, f-score : {f1_score(true,pred)}')
get_metrics(y_true,y_pred)

# 로지스틱 회귀 정봉 및 회귀식 함수로 생성 (계속 넣어서 써야하니까)
def get_att(x):
    #x 모델 넣기
    print('클래스 종류', x.classes_)
    print('독립변수 갯수', x.n_features_in_)
    print('들어간 독립변수(X)의 이름', x.feature_names_in_)
    print('가중치', x.coef_)
    print('편향', x.intercept_)

get_att(model_lor) #함수 파라미터로 훈련 모델 받기

➡️ 로지스틱 회귀 실습 (다중)

• X1= fare, X2= pclass, X3= sex, y=survived

1. 범주 → 수치형 변환
2. 모델 생성 및 훈련
3. 예측 및 평가

# sex 컬럼 인코딩  
def get_sex(x):
    if x=='female':
        return 0
    else: 
        return 1
titanic_df['Sex_en'] = titanic_df['Sex'].apply(get_sex)

#모델 생성 & 학습 
X_2 = titanic_df[['Fare','Pclass','Sex_en']]
y_true = titanic_df[['Survived']]

model_lor2 = LogisticRegression()
model_lor2.fit(X_2,y_true)

# 예측 및 평가 
y_pred2 = model_lor2.predict(X_2)

#get_metrics 함수 사용 
get_metrics(y_true,y_pred2)

➡️ 선형 회귀 vs 로지스틱 회귀(분류 분석)

	선형 회귀(회귀)	로지스틱 회귀(분류)
Y(종속변수)	수치형	범주형
평가척도1	Mean Square Error	Accuracy
평가척도2	Accuracy	F1 - score
sklearn 모델 클래스	sklearn.linear_model.linearRegression	sklearn.linear_model.LogistricRegression
sklearn 평가 클래스1	sklearn.metrics.mean_squared_error	sklearn.metrics.accuracy_score
sklearn 평가 클래스2	skelarn.metrics.r2_score	skelearn.metrics.f1_score