캘리포니아 항소법원이 인공지능(ChatGPT)이 생성한 가짜 판례·인용을 대거 실은 항소이유서를 제출한 변호사에게 10,000 달러에 달하는 과태료를 부과한 것으로 나타났다.
주 법원에서 AI 허위 인용과 관련해 내려진 최대 규모 제재다.
법원은 변호사가 직접 읽고, 검증하지 않은 인용은 그 어떤 서면에도 담겨서는 안 된다고 강력히 경고했다.
주형석 기자입니다.
캘리포니아 제2지구 항소법원은 변호사에게 인공지능으로 허위 인용을 했다면서 징벌적 처분을 내렸다.
구체적으로 판결문을 보면 해당 변호사가 인용한 23개 중 거의 대부분인 21개가 허위라고 판시한 것이다.
법원 과태료를 받은 당사자는 LA 지역에서 활동하고 있는 아미르 모스타파비(Amir Mostafavi) 변호사다.
실제로 아미르 모스타파비 변호사는 2년 2개월 전인 지난 2023년 7월 항소 과정에서 ChatGPT가 생성한 문구를 읽어보지 않고 제출했다고 인정했다.
법원은 이번에 변호사에게 이례적 과태료를 부과하면서 무분별한 항소 제기와 법원 규칙 위반, 가짜 판례 인용, 그리고 사법 낭비 등을 그 주요한 이유라고 들었다.
아미르 모스타파비 변호사는 언론과의 인터뷰에서 잘못을 시인했다.
아미르 모스타파비 변호사는 자신이 먼저 항소이유서를 쓴 뒤 AI로 다듬으려 했을 뿐 가짜 인용이 추가될 줄은 상상도 하지 못했다고 말했다.
이번에 예상치 못한 경험을 했다는 아미르 모스타파비 변호사는 AI가 ‘환각(허위 생성)’을 멈출 때까지는 신중 사용이 필요하다고 언급했다.
이번 사례가 다른 변호사들에게 경종이 되기를 바란다는 뜻도 전했다.
ChatGPT 등 AI를 적절하게 사용해야 하는데 그러지 못할 경우 피해와 파괴가 있을 수 있고, 지금은 자신이 그 대가를 치르고 있다고 설명했다.
이같은 AI로 인한 구체적인 문제가 드러나면서 사법부도 ‘AI 가이드라인’ 작업을 서두르고 있는 분위기다.
캘리포니아 사법위원회(Judicial Council)는 지난주에 오는 12월 15일까지 지역 내 각 법원에 대해서 생성형 AI 전면 금지 또는 사용정책 채택을 요구했다.
캘리포니아 변호사협회도 주 대법원의 요청을 받아 AI 활용 윤리규정 강화를 적극적으로 검토하고 있는 중이다.
최근에 들어서 AI로 인한 문제는 어디에서나 나타나고 있다.
해외 법원이나 연방 법원들에서도 AI에 의해서 사실이 아닌 가짜 법적 권위 인용이 잇따라 적발됐다.
한 연방법원은 지난 5월 ‘가짜 AI 리서치’ 비용을 이유로 31,100달러 제재를 부과하는 결정을 내리기도 했다.
파리의 경영대학에서 ‘AI와 법’을 가르치는 다미앵 샬로탱 교수는 이런 사건이 월 단위에서 이제 일 단위로 급증하고 있다고 강력히 지적했다.
스탠퍼드 대학 RegLab의 지난해(2024년) 분석에서는 변호사 4명 중 3명이 생성형 AI 사용 의향이 있는 것으로 나타날 정도로 AI가 이미 법조계에서도 대세가 되고 있는 것으로 확인되고 있다.
그런데, 일부 모델은 질의 3건 중 1건에서 환각을 보였다.
추적 프로젝트를 이끌고 있는 제니 원드라첵 대표는 캘리포니아 주에서만 50여 건, 전국 600건+ 사례를 확인했다며, 업무 과중 변호사나 가사사건 등에서 특히 빈발하고 있는 것으로 나타났다고 분석했다.
최근에는 판사 3명이 결정문에 허위 인용한 사례도 기록됐다고 밝혔다.
이같은 AI로 인한 오류 판결이나 인용 등에 대한 해결책으로는 잠정 정직, AI 윤리와 검증 의무교육, 법학 교육과정 내 실무 훈련 강화 등이 캘리포니아 주가 도입할 수있는 다른 주에서 채택되고 있는 구체적 사례로 제시됐다.
UCLA 기술·법·정책연구소 마크 맥케나 공동소장은 이번에 주 항소법원이 변호사에게 10,000달러 과태료 제재한 것을 의뢰인을 대표하는 자의 책임 방기에 대한 정당한 처벌이라고 긍정적으로 평가했다.
마크 맥케나 공동소장은 AI 이용이 급격히 늘어나는 시기여서 더 많이 나빠진 뒤에야 상황이 나아질 수 있을 것이라고 전망했다.
UCLA 로스쿨 앤드루 젤프트 교수는 로펌과 로스쿨 전반에 AI 사용 압박이 커진 반면, 부작용에 대한 숙고가 부족하다고 지적했다.
이번 사례를 통해서 법원이 주는 메시지는 분명한 것으로 나타나고 있는데 그것은 AI이건 사람이건, 변호사가 직접 읽고 검증하지 않은 인용은 법원에서 절대로 사용해서는 안된다는 원칙을 확인한 것이다.
따라서 이번 1만 달러 과태료는, 법조계의 AI 활용 ‘레드라인’ 을 캘리포니아 주 항소법원이 선명하게 그은 판정이라는 해석이 지배적이다.
