인공지능 판사 앞의 7가지 숙제 -재범위험성 예측 알고리즘을 둘러싼 과학기술적·법적 논의 분석 (Seven Problems at Hand of an AI Judge -Comprehensive Analysis of Legal and Technological Arguments over Recidivism Risk Assessment Algorithms)

서지정보

· 발행기관 : 사법발전재단
· 수록지 정보 : 사법 / 1권 / 64호 / 665 ~ 714페이지
· 저자명 : 이슬아

초록

미국에서는 현재 위스콘신주를 비롯한 다수의 주에서 COMPAS(Correctional Offender Management Profiling for Alternative Sanctions) 등의 인공지능 기반의 재범위험성 예측 프로그램을 도입하여 형사사법 절차 전반에 활용하고 있다. 그러나 미국 내 다양한 분야의 연구자들이 위험평가 알고리즘의 위험성에 관하여 논쟁 중인바, 본 논문은 여러 분야의 연구를 종합하여 재범위험성 예측 알고리즘에 관하여 비판적 관점에서 제기될 수 있는 우려 사항을 7가지 영역으로 나누어 분석한다.
재범위험성 예측 알고리즘은 인과관계가 아닌 통계적 상관관계에 바탕을 둔 추론일 뿐이고, 이분법적 잣대를 사용하여 재범위험성의 다차원적인 면을 평가하지 못하고 있다. 형벌의 다양한 목적 중 특별예방에만 최적화되어 응보와 일반예방 등 다른 목적들을 배제하고 있으며, 집단 수준의 데이터를 기반으로 개인에 대한 예측을 허락함으로써 행위책임의 원칙에도 위협을 가한다. 나아가 알고리즘의 개발을 의뢰하고 데이터마이닝을 통해 시스템을 디자인하고 결과를 해석하는 과정에 관여하는 각 개인이 가진 편향이 알고리즘에 반영되어 객관성에 결함을 가져온다.
한정된 시간과 인구집단의 데이터를 기반으로 구축된 재범위험성 예측 알고리즘이 널리 사용될 때 발생하는 신생 편향과 기저율의 문제, 지적재산권법에 의하여 주요 내용이 비공개될 뿐 아니라 기술적 복잡성으로 인하여 내부의 작동방식이 블랙박스화하면서 발생하는 투명성의 문제, 인공지능 알고리즘이 재판절차에 관여할 때 제약되는 소송당사자의 절차적 참여권 문제도 고질적으로 제기되는 비판점이다.
나아가 빅데이터 기술을 기반으로 한 데이터마이닝 과정에서 새로운 형태의 차별이 만들어지고, 차별과 불평등이 알고리즘 시스템에 구조화되면서 확대재생산된다. 인공지능 알고리즘은 투입된 데이터의 한계를 스스로 극복하지 못한 채 기존에 누적된 인간의 구습과 편견을 무비판적으로 답습하는 경향이 있고, 이러한 알고리즘이 내놓은 결과에 인간이 심리적으로 다시 의존하면서 상보적으로 발전하기보다 오히려 반동적 흐름에 놓일 수 있다.
향후 우리 사법부에서 유사한 제도의 도입 여부를 검토하게 된다면 각국에서 먼저 도입된 재범위험성 평가 알고리즘에 대한 여러 가지 법적·기술적 한계와 비판점에 대한 깊이 있는 이해를 바탕으로 위험성을 최소화할 수 있는 대안적인 방안을 모색하여야 할 것인바, 앞으로도 미국을 비롯한 세계 각국의 사법절차에서 사용되는 인공지능 알고리즘의 동향에 관하여 지속적인 추적과 심도 있는 후속 연구가 이루어져야 할 것이다.

영어초록

Considerable jurisdictions in the United States have adopted risk assessment algorithms based on artificial intelligence, such as COMPAS(Correctional Offender Management Profiling for Alternative Sanctions), and are utilizing them for criminal justice procedures. Nonetheless, numerous experts in a wide array of fields are debating the jeopardy of risk assessment algorithms. This paper will gather up the threads of the investigations in various fields and analyze the concerns for recidivism risk assessment algorithms from a critical perspective, categorizing them into seven primary types.
Recidivism risk assessment algorithms use inference based on statistical correlation not on the causal relationship and binary structures unsuitable for estimating multidimensional phases of recidivism risk. They are optimized for deterrence among various objectives of criminal punishments, excluding other purposes such as retribution or general deterrence, and determine the risk score of an individual through group data. Moreover, the bias of several individuals involved with each stage of development influence the design of the algorithms, undermining objectivity.
There are another troublesome drawbacks as well: problems concerning emergent bias and base rates caused by the general application of risk assessment algorithms on the specific period and population, opacity generated by intellectual property laws prohibiting the disclosure of proprietary trade secrets and technological complexity making the inner process of algorithms invisible, and restricted procedural rights of participation.
Furthermore, data mining techniques and processes create new types of discrimination, which are even expanded and reproduced through structuralization. AI algorithms are prone to follow the old customs and prejudices of humans without questioning the way to outputs, on which human beings in turn psychologically rely again, finally ending up stimulating reactionary tendencies rather than complementary relations.
Efforts to comprehend legal and technological limitations and defects of recidivism risk assessment algorithms adopted earlier in other nations and to devise an alternative form that could minimize the defects are needed, preparing for the possibility of using similar algorithms in the future of Korea. In these regards, constant follow-up studies and observations of the global trends of AI algorithms used in judicial proceedings are required.

참고자료

· 없음