"승인 버튼만 눌렀을 뿐인데"…AI '휴먼 인 더 루프'의 허점

"가장 자주 언급되지만 가장 부정확하게 정의된 개념" 인공지능(AI) 시대 리스크 관리의 원칙으로 꼽히는 '휴먼 인 더 루프(Human in the Loop)'가 정작 실질적인 안전장치로 작동하지 못하고 있다는 지적이 잇따르고 있다. 이는 AI가 내리는 결정에 사람이 개입해 검토하고 승인하는 구조를 뜻하는데, 기업들은 이사회에 AI 의사결정이 검증되고 있다는 것을 보여주기 위해, 규제당국은 고위험 AI를 배치하기 위한 조건으로, 벤더들은 판매 상품의 기능으로 저마다 이 개념을 내세운다. 하지만 실제로는 '휴먼 인 더 루프'라는 딱지에 맞추기 위한 형식적 절차에 그치는 경우가 많다는 게 문제로 지적된다. 지나치게 얕거나 느리거나, AI 의사결정 체계와 단절된 형태의 인간 검토는 의미 있는 감독이 될 수 없으며, 규제당국도 이제 이 점을 명시적으로 지적하기 시작했다는 것이다. 관건은 AI 작업 흐름도에 사람이 관여하고 있는지 여부가 아니라, 그 관여가 실제로 진정성 있고 문서화돼 있으며 감사관 앞에서 방어 가능한 수준인지에 있다는 분석이다. 금융권 실무자, "일곱 개 창을 오가며 대충 확인" 가장 심각한 사례로 꼽히는 곳은 금융업계다. 미국 금융산업규제청(FINRA)과 유럽연합 집행위원회, 미국 소비자금융보호국(CFPB) 등 규제기관들은 생성형 AI가 금융 업무에 활용될 경우 사람이 반드시 개입해야 한다는 데 공통적으로 동의하고 있다. AI 모델도 실수를 하는 만큼, 누군가는 그 실수를 잡아내야 한다는 것이다. 하지만 이런 '휴먼 인 더 루프' 요건은 금융 전문가들이 AI가 만든 오류를 발견할 만큼 충분히 집중하고 있다는 전제를 깔고 있는데, 현실은 점점 그렇지 못한 것으로 나타나고 있다. 실무자들은 7개의 창을 오가며 AI의 결과물을 대충 훑어본 뒤 다른 애플리케이션에 붙여넣는 식으로 업무를 처리하고 있다는 지적이다. 본래 생성형 AI는 데이터 입력처럼 지루하고 반복적인 작업을 자동화해 인간의 판단력을 더 중요한 업무에 쓸 수 있도록 하기 위해 도입됐지만, AI 결과물을 감독·검토하고 여러 애플리케이션 사이로 옮기는 새로운 주의력 소모 업무가 추가되면서, AI가 지키겠다고 약속했던 바로 그 '판단력'을 갉아먹고 있는 상황이 벌어지고 있다는 분석이다. "승인 클릭이 감독은 아니다"…법률 업계도 형식화 우려 법률 분야에서도 비슷한 우려가 제기된다. AI가 법률 업무 전반에 파고들면서, '승인' 버튼을 클릭하는 행위가 곧 실질적인 감독을 의미하지는 않는다는 지적이 나온다. 법률 리더들은 진정한 의미의 휴먼 인 더 루프 검토가 갖춰야 할 요건을 명확히 하고 있는데, 이는 AI 결과물을 실제 의사결정 과정과 논리적으로 연결된 실질적 검토를 의미한다. AI가 중재 등 분쟁 해결 과정에서 일상적인 실무 도구로 자리 잡으면서, 이런 형식적 감독의 위험성은 법조계에서도 쟁점으로 떠오르고 있다. 컴플라이언스 업계 경고 "감사 앞에서 무너지는 형식적 검토" AI 데이터 거버넌스 전문가들은 이런 현상을 '컴플라이언스 격차'로 규정한다. 조직들이 이사회나 규제당국에 AI 리스크를 관리하고 있다는 것을 보여주기 위해 휴먼 인 더 루프 절차를 도입하지만, 실제로 감사관이 이를 들여다보면 형식적 절차에 불과하다는 것이 드러나는 경우가 적지 않다는 지적이다. 전문가들은 핵심 질문이 '사람이 관여하고 있느냐'가 아니라 '그 관여가 진짜인지, 문서로 남아 있는지, 감사에서 방어할 수 있는지'에 있다고 강조한다. 이는 형식적으로 사람이 개입한 흔적만 남겨두는 것과, 실제로 AI의 판단을 검증하고 책임질 수 있는 체계를 갖추는 것은 전혀 다른 차원의 문제라는 점을 보여준다. '인 더 루프'와 '온 더 루프'…구분조차 모호한 개념 전문가들은 '휴먼 인 더 루프'와 유사 개념인 '휴먼 온 더 루프(Human on the Loop)'의 차이를 구분하는 것도 중요하다고 지적한다. 인 더 루프는 AI의 의사결정 과정 자체에 사람이 매 단계 개입해 승인 여부를 결정하는 구조인 반면, 온 더 루프는 AI가 자율적으로 작동하도록 두되 사람이 전체 과정을 감시하며 필요할 때만 개입하는 구조를 뜻한다. 이 두 모델은 신뢰와 확장성, 책임 소재를 서로 다른 방식으로 규정하는데, AI 시스템이 실제 운영 환경에 투입되는 사례가 늘어나면서 어떤 모델을 적용할지, 그리고 그 경계를 어떻게 설계할지가 기업과 규제당국 모두에게 새로운 과제로 떠오르고 있다. 기업 내부에서도 신뢰 구축이 관건 AI 도입을 검토하는 기업 입장에서도 이 문제는 신뢰의 문제로 연결된다. 업계 분석에 따르면, 기업들은 AI가 업무 효율을 몇 퍼센트 높이느냐보다, 예상하지 못하고 이해하기 어려운 상황을 AI가 어떻게 처리하는지를 더 중요하게 여긴다. AI에게 맡겨진 업무가 기업의 비용과 직간접적으로 연결돼 있어 예상치 못한 금전적 손실로 이어질 경우, 아무리 효율적인 시스템이라 하더라도 신뢰하고 계속 사용하기는 어렵다는 것이다. 결국 AI의 작업 과정을 인간이 충분히 이해하고 신뢰할 수 있어야만, 기업 차원의 AI 도입 효과도 온전히 발휘될 수 있다는 지적이다. 형식적 승인 절차를 실질적 책임 구조로 바꿀 수 있을지 전문가들은 '휴먼 인 더 루프'가 앞으로도 AI 리스크 관리의 원칙으로 남을 것이라는 데는 이견이 없지만, 지금과 같은 형식적 운영 방식으로는 실질적인 안전판이 되기 어렵다고 입을 모은다. AI가 내린 판단에 대한 책임을 최종적으로 누가, 어떻게 지느냐가 명확히 규정되지 않는 한, 승인 버튼을 누르는 행위 자체가 면책의 알리바이로 악용될 위험도 있다는 지적이다. 규제당국이 형식적 검토와 실질적 검토를 구분해 감독하기 시작한 만큼, 향후 이 개념이 명목상의 절차에서 실제 책임 구조로 진화할 수 있을지가 AI 거버넌스의 관전 포인트로 꼽힌다.