Вероятно, ваше государственное учреждение прямо сейчас использует ИИ, чтобы решить, получите ли вы жилищную помощь, имеет ли ваш ребёнок право на специальное образование или какого размера должен быть ваш чек пособия. И велика вероятность, что в законодательном собрании штата эти контракты никто вообще не читал.
Вот настоящая история, стоящая за бумом ИИ в госсекторе: бюрократия, которая движется быстро, бюджеты, которые движутся быстрее, и подотчётность… ну, её ещё разбирают в комитетах.
Штаты вкладывают деньги в системы ИИ по всем фронтам — образование, здравоохранение, жилищное хозяйство, соцпомощь. Аргументация соблазнительна: автоматизировать рутину, сократить человеческие ошибки, обслужить больше людей с тем же бюджетом. Звучит неплохо, пока алгоритм не отклонит вашу заявку на продовольственную помощь и вы не обнаружите, что процесса апелляции попросту нет — или он не разбирает логику ИИ.
Центр демократии и технологий недавно опубликовал резкий анализ: нормативной базы для этого просто не существует. Совсем. Три зияющих пробела повторяются из штата в штат, и это не абстрактные проблемы — они уже ударили по реальным людям.
Прозрачность: проблема, которую никто не решает
Вот предложение, которое должно вас встревожить:
«Государственные учреждения всё чаще полагаются на ИИ при оказании госуслуг — образование, жилищное обеспечение, социальные пособия, здравоохранение».
Заметили упущение? Ни слова о том, как эти системы работают. Как человек узнаёт причину отказа. Что он может с этим поделать.
В большинстве штатов нет никаких требований раскрывать, как ИИ принимает решения. Служба жилищной помощи может развернуть алгоритм прогнозирования, который пометит определённые районы как «высокорисковые» и фактически закроет туда доступ людям. Школы используют автоматические системы оценок, чтобы рассортировать учащихся по академическим траекториям на основе непрозрачных критериев. А те, чьих это касается? Получают письмо: решение принято «автоматизированным процессом». Удачи с апелляцией.
Вот в чём подвох: часто сами учреждения не понимают, что делают их системы. Они покупают чёрный ящик у вендора, интегрируют его в рабочий процесс и надеются на лучшее. Когда организации гражданских прав требуют документацию, ответ всегда один: «Это конфиденциальная информация вендора».
Некоторые штаты начинают двигаться в правильном направлении. Несколько требуют оценку влияния перед развёртыванием. Другие обязывают раскрывать информацию об использовании ИИ в решениях о пособиях. Но всё это фрагментарно, реактивно и всегда отстаёт от внедрения на месяцы.
Смогу ли я оспорить решение ИИ по моему пособию?
Представьте: госучреждение соцподдержки использует ИИ-систему, которая пометила вашу заявку как «высокорисковую» по мошенничеству, и сокращает пособие. Вы хотите подать апелляцию. Что дальше?
В большинстве мест ничего. Нет никакой правовой основы для этого.
Можете, конечно, потребовать слушание перед человеком-специалистом. Но если он введёт те же данные в ту же систему, результат будет прежним. Логика ИИ закрыта внутри. Вы никогда не узнаете, как она взвесила вашу трудовую историю против индекса вашего района против состава семьи. Вам просто говорят: вы проиграли.
Вот где штатам нужны жёсткие правила — не рекомендации, не лучшие практики, а полноценное законодательство. Когда ИИ используется для отказа в соцпомощи, жилище или образовании, человек должен иметь право:
- Знать, что в решение вовлечён алгоритм
- Понять (доступным языком) основные факторы решения
- Оспорить решение перед человеком, который может реально переопределить вердикт системы
- Чтобы это переопределение имело вес
Пара штатов разрабатывают такие защиты. Остальные и близко не подошли. И цену платят уязвимые группы — люди, зависящие от госпомощи, сообщества с ограниченным доступом.
