이진 분류 데이터 세트 내 편향 제거를 위한 다차원 서브셋 기반 시스템 (Multidimensional Subset-based Systems for Bias Elimination Within Binary Classification Datasets)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 50권 / 5호 / 383 ~ 394페이지
· 저자명 : 변경수, 김구, 권준호

초록

인공지능 기술이 발전함에 따라 인공지능 관련 공정성 문제가 주목받고 있다. 이에 따라 관련 연구가 많이 진행되었으나 모델 및 학습 방법 연구가 주를 이루고 있으며 근본적인 원인인 학습에 쓰이는 데이터 내에 존재하는 편향을 제거하기 위한 연구는 아직 미흡하다. 따라서 이 논문에서는 데이터 내에 존재하는 편향을 레이블 편향과 서브 그룹 편향으로 구분하고 편향을 제거함으로써 공정성이 향상된 데이터 셋을 생성하는 시스템을 설계 및 구현한다. 제안하는 시스템은 서브셋 생성 단계와 편향 제거 단계로 구성된다. 먼저 서브셋 생성기는 기존 데이터 세트 내 각 값의 조합이 형성하는 고윳값들에 따라 단일 값만을 가지는 서브셋으로 나눈다. 이후 검증 데이터셋을 기반으로 기존 데이터셋을 검증하여 얻은 공정성 지표 값을 기준으로 우세그룹과 약세그룹으로 서브셋을 구분한다. 다음으로 편향 제거기는 각 서브셋의 우세그룹을 대상으로 순차 추출 및 검증을 병행하여 약세그룹과의 차이를 줄이는 과정을 반복하여 서브셋에서 나타난 편향을 줄인다. 이후 편향이 제거된 서브셋들을 병합하며 공정한 데이터셋을 반환한다. 검증에 사용된 공정성 지표는 F1 score와 균등 확률(equalized odd)을 사용한다. 실제 Census income 데이터, COMPAS 데이터 및 Bank marketing 데이터를 검증 데이터로 사용한 포괄적인 실험을 통해 제안된 시스템이 더 나은 공정성 개선율을 산출하고 대부분의 기계 학습 알고리즘에서 더 높은 정확성을 제공함으로써 기존 기술을 능가한다는 것을 보여준다.

영어초록

As artificial intelligence technology develops, artificial intelligence-related fairness issues are drawing attention. As a result, many related studies have been conducted on this issue, but most of the research has focused on developing models and training methods. Research on removing bias existing in data used for learning, which is a fundamental cause, is still insufficient. Therefore, in this paper, we designed and implemented a system that divides the biases existing within the data into label biases and subgroup biases and removes the biases to generate datasets with improved fairness. The proposed system consists of two steps: (1) subset generation and (2) bias removal. First, the subset generator divides the existing data into subsets on formed by a combination of values in an datasets. Subsequently, the subset is divided into dominant and weak groups based on the fairness indicator values obtained by validating the existing datasets based on the validation datasets. Next, the bias remover reduces the bias shown in the subset by repeating the process of sequentially extracting and verifying the dominant group of each subset to reduce the difference from the weak group. Afterwards, the biased subsets are merged and a fair data set is returned. The fairness indicators used for the verification use the F1 score and the equalized odd. Comprehensive experiments with real-world Census incoming data, COMPAS data, and bank marketing data as verification data demonstrated that our proposed system outperformed the existing technique by yielding a better fairness improvement rate and providing more accuracy in most machine learning algorithms.

참고자료

· 없음