[ML] 1장. 머신러닝 작업 흐름, 데이터 분석 과정

머신러닝 작업 흐름

1. 전처리: 데이터 형태 갖추기
2. 예측 모델 훈련과 선택
3. 모델을 평가하고 본 적 없는 샘플로 예측

1. 전처리: 데이터 형태 갖추기

• 데이터 전처리는 모든 머신러닝 애플리케이션에서 가장 중요한 단계 중 하나
• 스케일 조정
• 차원 축소
• 훈련 데이터셋, 테스트셋 분리

2. 예측 모델 훈련과 선택

• 공짜 점심 없음: 시행착오를 거쳐야 좋은 모델 확보
• 대표적인 분류 지표: 정확도(accuracy)
• 하이퍼 파라미터: 사람이 미리 지정, 여러 개 바꿔가면서 찾아야
• 교차 검증

3. 모델을 평가하고 본 적 없는 샘플로 예측

• 일반화 오차(일반화 성능): 실전 가늠
• 훈련 데이터셋에서 사용한 전처리 파라미터로 테스트 데이터셋/실제 데이터 변화

 

전체적인 데이터 분석 과정

학교 강의 자료 중