당신의 주 정부가 지금 이 순간에도 주택 지원 자격이 있는지, 당신의 자녀가 특수교육 서비스를 받을 자격이 있는지, 얼마만큼의 복지 급여를 받을 수 있는지를 판단하기 위해 AI를 사용하고 있을 가능성이 높다. 그리고 주 의회의 누구도 실제로 그 계약을 읽어본 적이 없을 확률도 꽤 높다.
이것이 공공 부문 AI 도입 움직임 뒤의 진짜 이야기다: 서둘러 움직이는 관료주의, 더 빠르게 풀리는 예산, 그리고 책임성은… 아직도 위원회에서 논의 중이다.
주들이 교육, 의료, 주택, 공공복지 전반에 걸쳐 AI 시스템에 돈을 쏟아붓고 있다. 피치는 그럴듯하다—번거로운 업무는 자동화하고, 인적 오류는 줄이고, 같은 예산으로 더 많은 사람을 서비스하자. 좋게만 들린다. 그다음 알고리즘이 당신의 푸드스탬프를 거절해버리고, 실제로 AI의 판단을 검토하는 항소 절차가 없다는 걸 알게 될 때까지는 말이다.
민주주의 기술 센터(Center for Democracy and Technology)가 최근 발표한 자료는 우리가 이것을 위한 정책 틀을 가지고 있지 않다는 점을 냉정하게 상기시킨다. 정말로 그렇다. 주 의회들에서 계속 떠오르는 세 가지 공백이 있는데, 이건 추상적인 문제가 아니다—이미 실제 사람들에게 영향을 미치고 있다.
아무도 풀지 않은 투명성 문제
이 문장을 읽으면 불편해야 한다:
“공공기관들은 교육, 주택, 공공복지, 의료와 같은 공공 서비스 제공을 위해 AI에 점점 더 의존하고 있다.”
뭐가 빠졌는지 느껴지나? 그 시스템이 어떻게 실제로 작동하는지. 또는 거절당한 이유를 어떻게 알 수 있는지. 또는 그에 대해 뭘 할 수 있는지.
대부분의 주는 기관들이 AI 시스템이 어떻게 결정을 내리는지 공개하도록 요구하는 규정이 전혀 없다. 주택청이 특정 지역을 “고위험”으로 표시하는 예측 알고리즘을 배포할 수 있고 실질적으로 사람들을 차단할 수 있다. 학교들이 불명확한 입력값을 바탕으로 자동 채점 시스템을 사용해서 학생들을 학업 경로로 분류할 수 있다. 한편 영향을 받는 사람들은? “자동화된 프로세스”로 결정했다는 소식만 받는다. 이걸 항소해보겠어?
진짜 황당한 부분: 기관들은 자신들의 시스템이 뭘 하는지조차 모를 때가 많다. 벤더에게서 블랙박스 도구를 사고, 업무 흐름에 통합하고, 잘되기를 바란다. 시민 권리 단체들이 문서를 요청하면 보통 “그건 벤더의 독점 정보다”라는 답만 온다.
일부 주들이 움직이기 시작했다. 몇몇 주는 배포 전 영향 평가를 요구하고 있다. 다른 주들은 복지 결정에 AI 사용을 공개 기록에 의무적으로 공개하도록 하고 있다. 하지만 이건 집행되지 않고 있고, 반응만 하고 있으며, 실제 도입 속도에 항상 뒤처져 있다.
나는 복지 급여에 대한 AI 결정에 이의를 제기할 수 있나?
주 복지청이 AI 시스템을 사용해 당신의 사건을 “사기 고위험”으로 표시하고 복지 급여를 줄인다고 해보자. 항소하고 싶다. 그 다음엔 뭐가 일어나나?
대부분의 경우: 아무것도 안 일어난다. 법적 틀이 없다.
당연히 인간 사건담당자와의 청문회를 요청할 수는 있다. 하지만 같은 데이터를 다시 같은 시스템에 집어넣으면 아마 같은 결과가 나올 것이다. AI의 추론은 시스템 안에 갇혀 있다. 당신은 당신의 근무 이력, 지역번호, 가족 규모가 어떻게 비교됐는지 절대 알 수 없다. 그냥 졌다는 통보만 받을 뿐이다.
여기서 주들이 필요한 건 단순한 제안이나 모범 사례가 아니라 확실한 규칙이다—실제 법률이어야 한다. AI가 누군가의 공공복지, 주택, 교육을 거절하는 데 사용될 때, 그 사람은 다음의 권리를 가져야 한다:
- 알고리즘이 관여했다는 사실을 알 권리
- 결정을 이끈 주요 요인을 (쉬운 말로) 이해할 권리
- 실제로 시스템을 무시할 수 있는 인간 앞에서 그 결정에 이의를 제기할 권리
- 그 무시 판정이 실제로 의미를 가질 권리
소수의 주들이 이런 종류의 보호를 초안하고 있다. 대부분은 아직도 멀었다. 그리고 공공복지에 의존하는 취약계층, 법률 지원에 덜 접근할 수 있는 커뮤니티—이들이 이 공백의 대가를 치르고 있다.
당신의 주가 배포 전에 테스트를 하지 않은 이유
주가 누군가의 삶에 대한 결정을 내리기 위해 AI 시스템을 배포하기 전에, 몇 가지 기본적인 질문에 답해야 한다: 이 시스템이 실제로 작동하나? 여러 집단에서 정확한가? 기존의 편향을 강화하나?
대부분의 주는 이걸 안 한다. 작은 파일럿을 돌려보고, 그럭저럭 괜찮은 결과를 보면, 확대한다.
문제는: AI 시스템은 다양한 인구에서 다르게 작동한다. 한 인구통계에서 주로 수집된 데이터로 훈련된 알고리즘은 다른 집단에 적용될 때 엄청나게 형편없이 작동할 수 있다. 밝은 피부 톤으로 훈련된 안면 인식 시스템은 어두운 피부에서 훨씬 높은 오류율을 보인다. 편향된 집행을 반영하는 과거 체포 데이터로 훈련된 예측 경찰 배치 알고리즘은 그 편향을 규모에 맞춰 재현하는 법을 배운다.
주들은 배포 전 감사와 지속적인 모니터링을 요구할 필요가 있다. 벤더 주장이 아니라 독립적인 테스트가 필요하다. 성능 격차와 시스템을 계속 사용할지 vs. 중단할지에 대한 의사결정 규칙의 문서화가 필요하다.
역시, 일부 주들이 이쪽으로 움직이고 있다. 대부분은 아니다. 아직도 기본값은: 도구를 사고, 배포하고, 불만을 모니터링하고, 공개적으로 터지면 나중에 고친다다.
실제로 위험에 처한 것은 뭔가
이건 기술 문제가 아니다. 이건 권력 문제다.
알고리즘이 투명성이나 책임성 없이 공공복지, 주택, 교육에 대한 결정을 내릴 때, 당신은 권력을 질문받을 수 있는 인간에게서 할 수 없는 시스템으로 옮긴 것이다. 취약계층이 자신들을 위해 주장하는 걸 더 어렵게 만들었다. 실수가 체계적이고 빠르게 확대되는 시스템을 만들었다.
그리고 그게 할 만한 거래인지에 대한 민주적 논의 없이 말이다.
좋은 소식: 고칠 수 있다. 주들은 내일 바로 투명성을 요구하고, 항소 절차를 만들고, 편향 테스트를 의무화하고, 기관 책임을 확보하는 법을 통과시킬 수 있다. 일부는 정확히 그렇게 하고 있다. 나쁜 소식: 대부분은 아니다. 정책 선택으로서 정밀히 검토받을 자격이 있는 뭔가가 아니라 기본값인 비즈니스 관행처럼 AI 도입으로 움직이고 있다.
당신의 주 정부는 누가 어떤 서비스를 받을지에 대해 수십억 달러 규모의 결정을 하고 있다. 알고리즘이 그 결정에 관여하는지, 어떻게 작동하는지, 어떻게 이의를 제기할 수 있는지 모른다면—그건 기술 공백이 아니다. 그건 정치적 실패다.
🧬 관련 인사이트
- 더 읽기: Meet the Directory Tracking AI Law Firms Poised to Eat Big Law’s Lunch
- 더 읽기: EFF to Supreme Court: Cisco Built China’s Torture Machine—Time to Pay Up
자주 묻는 질문
정부에서의 책임감 있는 AI 도입이란 뭔가? 투명성, 책임성, 그리고 사람들이 결정을 이해하고 이의를 제기할 능력을 갖춘 AI 시스템을 배포한다는 뜻이다. 공공 부문 용어로는: AI가 사용될 때 공개하고, 어떻게 작동하는지 설명하고, 자동화된 결정에 실제 인간에게 항소할 수 있게 하는 것이다.
현재 주들이 공공기관을 위한 AI 법안을 가지고 있나? 몇몇은 그렇다. 대부분은 아니다. 소수가 편향 감사 요건이나 투명성 의무를 통과시켰다. 대다수는 여전히 틀 없이 빠르게 움직이고 있으며, 정책 선택으로서가 아니라 표준 IT 조달처럼 AI 도입을 다루고 있다.
