C언어 기반 Dead ReLU 학습 시뮬레이터의 논리 오류 수정과 코드 리팩토링 및 공간복잡도 개선

목차

1. 서론
1.1 주제 선정 동기

2. 본론
2.1 기존 프로그램의 작동 방식
2.2 한 번의 비활성화를 Dead ReLU로 판정한 문제
2.3 실제 학습 과정이 없었던 문제
2.4 코드 모듈화 및 실험 조건 일반화
2.5 배열 저장 방식과 스트리밍 방식의 구현
2.6 시간·공간복잡도 및 결과 동일성 분석
2.7 정상 학습 조건과 Dead ReLU 조건 비교
2.8 프로그램 실행 결과
2.9 생성형 인공지능 및 프롬프트 엔지니어링 과정
2.10 생성형 인공지능과 프롬프트 엔지니어링 활용 과정

3. 결론
3.1 탐구를 통해 배운 점
3.2 모델과 알고리즘의 한계
3.3 후속 탐구 계획

4. ## 부록: 전체 수정에 사용한 통합 프롬프트

본문내용

1. 서론
1.1 주제 선정 동기
나는 인공지능과 컴퓨터공학 분야에 관심이 있어 이전 프로그래밍 수행평가에서 ReLU 활성화 함수의 음수 구간에서 출력과 기울기가 0이 되는 현상을 C언어로 구현하였다. 당시에는 최근 5일간의 가상 주식 수익률에 무작위 가중치를 곱하여 최종 입력값을 구하고, ReLU의 출력과 기울기를 확인하는 프로그램을 작성하였다.
그러나 수행평가 이후 기존 코드를 다시 검토하면서, 입력 한 번에서 ReLU 출력이 0이 된 경우를 곧바로 Dead ReLU로 판정한 점이 실제 원리와 다르다는 사실을 발견하였다. 또한 데이터마다 서로 다른 무작위 가중치를 사용하였고, 손실함수와 가중치 갱신 과정이 없어 하나의 뉴런이 학습을 반복하다가 정지하는 현상을 확인할 수 없었다. 실제 투자 과정이 구현되지 않았는데도 AI가 손실을 무시해 파산할 수 있다고 해석한 점 역시 코드가 검증한 범위를 벗어났다고 판단하였다.
프로그래밍 구조에서도 모든 기능이 `main()` 함수에 집중되어 있고 데이터 수가 5개로 고정되어 있어 확장성과 재사용성이 부족하였다. 이에 이번 탐구에서는 기존 코드의 논리적·구조적 문제를 직접 분석하고, 생성형 인공지능에 구체적인 수정 조건을 프롬프트로 전달하였다. 이후 생성된 코드를 다시 검토하여 실제 손실 계산과 가중치 갱신이 포함된 단일 인공뉴런 학습 시뮬레이터로 개선하고..

<중 략>

기존 코드의 문제점
기존 코드에서는 (z\leq0)인 데이터가 나올 때마다 `dead_count`를 증가시켰다. 따라서 5개 중 하나의 입력에서만 ReLU 출력이 0이 되어도 이를 Dead ReLU가 발생한 것으로 해석하였다.
그러나 하나의 입력에서 (z\leq0)이 되는 것은 ReLU 함수의 정상적인 비활성화일 수 있다. Dead ReLU라고 판단하려면 하나의 뉴런이 모든 학습 데이터에서 비활성화되고, 기울기가 계속 0이 되어 가중치와 편향이 전체 학습 과정에서 갱신되지 않는지를 확인해야 한다.

참고자료

· 없음