의사결정 트리(Decision Trees)

목차

1. 사용 예시
2. 랜덤 포레스트
3. 결론

본문내용

의사결정 트리(Decision Trees)는 머신러닝에서 가장 널리 사용되는 분류(classification) 및 회귀(regression) 알고리즘 중 하나입니다. 이는 데이터의 특징을 기반으로 한 의사 결정 규칙의 계층적 트리 모델을 나타냅니다. 의사결정 트리는 간단하고 해석하기 쉬운 모델로 알려져 있으며, 데이터의 특징을 직관적으로 이해할 수 있는 장점이 있습니다.

의사결정 트리는 다음과 같은 구조로 이루어져 있습니다:

노드(Nodes): 의사 결정을 위한 특징(feature)을 나타내며, 데이터를 분할하는 역할을 합니다.
가지(Edges): 특징의 값을 기반으로 데이터를 서로 다른 노드로 분할하는 연결선입니다.
잎(Leaves): 결정된 클래스 레이블 또는 회귀 예측값을 나타내는 노드입니다.

의사결정 트리는 훈련 데이터에서 최적의 분할을 찾기 위해 특징들의 조건에 따라 분할 기준을 결정합니다. 각 노드에서는 특정 특징의 값을 기준으로 데이터를 분할하는 방식으로 가지가 형성됩니다. 이러한 분할은 목표 변수(클래스 레이블 또는 회귀 값)의 순도를 최대화하거나 불순도를 최소화하는 방향으로 이루어집니다.

분류 문제에서는 의사결정 트리가 데이터를 분할함에 따라 클래스 레이블의 순도를 높이는 것을 목표로 합니다. 이를 위해 트리를 훈련할 때 불순도 측정 기준인 지니 불순도(Gini impurity) 또는 엔트로피(entropy)를 사용하여 분할을 결정합니다.

회귀 문제에서는 의사결정 트리가 데이터를 분할함에 따라 예측값의 평균을 조정하려고 합니다. 트리를 훈련할 때는 예측값의 평균 제곱 오차(Mean Squared Error) 또는 평균 절대 오차(Mean Absolute Error)를 최소화하도록 분할을 결정합니다.

참고자료

· 없음