Government officials are letting AI do their jobs. Badly

By Emily M. Bender, Alex Hanna |

May 30, 2025

https://thebulletin.org/2025/05/government-officials-are-letting-ai-do-their-jobs-badly/

A chatbot instructed New York City landlords to discriminate based o­n whether potential tenants need rental assistance, such as Section 8 vouchers, according to an investigation. Image: Emily Rand & LOTI / AI City / Licensed by CC-BY 4.0

Editor’s note: The following is an excerpt from Emily M. Bender and Alex Hanna’s new book, The AI Con, published in May 2025 by Harper. Used with permission.

National, regional, and municipal leaders have become enamored by AI hype, in particular by finding ways to offload the responsibilities of government to generative AI tools. This has included providing tools for guidance to their citizens and residents o­n how to navigate city ordinances and tax codes, translating asylum claims at the border, and providing massive contracts to companies who say they can shore up the lack of well-trained professionals for public health systems. But synthetic text extruding machines are not well suited to handle any of these tasks and have potentially disastrous results, as they can encourage discrimination, provide patently wrong advice, and limit access to valid claims of asylum and movement.

In New York City, Mayor Eric Adams (former cop and wannabe tech bro) has thrown resources at technological toys, with results ranging from laughably ineffective to dangerous. This includes a short-lived New York City Police Department robot that was meant to patrol the Times Square subway station and needed two uniformed human minders to deter would-be vandalizers. Adams and his administration released a broad-reaching “AI Action Plan” that aims to integrate AI tools into many parts of city government, the centerpiece of which was a chatbot that could answer common questions for residents of the Big Apple.

Unfortunately, that chatbot isn’t able to reliably retrieve and convey accurate information; like all LLM-based chatbots, it was designed to make shit up. A 2024 investigation by The Markup, Documented, and the local New York City nonprofit The City revealed that the tool tells its users to flat-out break the law. The chatbot responded that it was perfectly okay for landlords to discriminate based o­n whether those potential tenants need rental assistance, such as Section 8 vouchers. It also stated confidently that employers could steal workers’ tips and could feel free to not inform workers of any significant schedule changes. These mistakes would be hilarious and absurd if they didn’t have the potential to encourage employers to commit wage theft and landlords to discriminate against poor tenants. Despite all these rampant errors, the chatbot interface has all the authority of an official New York City government page.

Credit: Harper

California is the home of Silicon Valley, and accordingly, the state government has gone all in o­n the use of AI tools. In 2023, Governor Gavin Newsom signed an executive order to explore a “measured approach” to “remaining the world’s AI leader.” A California Government Operations Agency report suggests a number of potential uses of “GenAI” (that is, synthetic media machines), including summarizing government documents or even translating government computer code into modern programming languages, and required state agencies to explore the use of generative AI tools by July 2024.

In a particularly alarming use case, the California Department of Tax and Fee Administration is developing a chatbot that would aid their call center agents in answering questions about the state’s tax code. Although the department said that this is an internal tool that will have agent oversight, the call for proposals states that the tool should “be able to provide responses to incoming voice calls, live chats, and other communications,” according to journalist Khari Johnson. The governor has also said the state has an o­ngoing pilot project to address homelessness. In his proposal, generative AI systems are supposedly helping identify shelter-bed availability and analyzing the state budget. These seem like jobs for people with access to databases rather than something you’d ask ChatGPT. Text extruding machines extrude synthetic text, not housing.

RELATED:

Memo to Trump: Create sensible AI policies that focus o­n real—not speculative—concerns

At the US border, language models and associated technologies are already being used in ways that have dire consequences. Here the technology in question is machine translation, which predates ChatGPT-style text extrusion machines but also uses language models. The United States Customs and Border Protection uses machine translation to process asylum claims. Those seeking asylum have a right to translation for written documents and interpretation for spoken language. But the reliance o­n machine translation tools has the potential to ruin a claim of asylum due to major errors. For instance, Respond Crisis Translation, an organization that provides human translators for asylees and other people in crisis, reports that translation errors can easily become grounds for denying an asylum claim and returning refugees to dangerous conditions in their home countries. “Not o­nly do the asylum applications have to be translated, but the government will frequently weaponize small language technicalities to justify deporting someone. The application needs to be absolutely perfect,” says Ariel Koren, the executive director and cofounder of Respond Crisis Translation.

In the United Kingdom in 2023, then–prime minister Rishi Sunak convened a summit around AI held at Bletchley Park, referring to AI as the “greatest breakthrough of our time.” However, there are already many uses of AI in the United Kingdom that are having detrimental effects for those intimately involved with its outcomes. It was, after all, o­nly three years before that masses of students marched in the streets, chanting “fuck the algorithm!” in opposition to algorithmic decisions that scored their A-level exams.

The Sunak government went all in o­n generative AI. In early 2024, Deputy Prime Minister Oliver Dowden announced plans to use LLMs to draft responses to questions submitted by members of Parliament and answers to freedom-of-information requests. (We find this a really telling commentary o­n the government’s attitude towards freedom-of-information requests. If they’re willing to use a text extruding machine to provide responses, they clearly don’t care about answering accurately.) And in 2023, Sunak announced that the National Health Service (or the NHS, the United Kingdom’s public healthcare system) would be implementing chatbots all over the place. The text extruding machines would be used to transcribe doctors’ notes, schedule appointments, and analyze patient referrals. The NHS also announced, in mid-2023, that it had invested £123 million to investigate how to implement AI throughout the system, including brain, heart, and other medical imaging, and was making another £23 million available for these technologies. According to Sunak, these plans will “ensure that the NHS is fit for the future.” We beg to differ: throwing synthetic text into patient interactions and patient records sounds like a recipe for chaos, dumped o­n an already overstretched workforce.

RELATED:

Memo to Trump: Develop specific AI guidelines for nuclear command and control

Research is already revealing the problems of using these tools in patient care. The privacy implications are enormous: Health care researchers have remarked that providers are already using public chatbots (such as ChatGPT) in medical practice. Inputting data into ChatGPT allows OpenAI to use those data to retrain their models, which can then lead to leaking of patient information and sensitive health information. Patients are worried about these data issues too; research by the digital rights advocate Connected by Data and patient advocates Just Treatment found that people are highly concerned that their data may be resold, or that large firms will not sufficiently protect their health information. This concern is even more piqued, as the contract to construct the “Federated Data Platform” which the NHS plans to build out its services has been awarded to Palantir, the military and law enforcement technology company founded by tech investor Peter Thiel.

The British government’s headlong rush to deploy AI extends to the courts as well. A Court of Appeal judge used ChatGPT to summarize legal theories with which he wasn’t familiar and then directly pasted the output into a judicial ruling, calling the tool “jolly useful.” We were a little less than jolly upon hearing about this shocking usage, but even worse is that the UK Judiciary Office gave judges the okay to use tools like ChatGPT in the courtroom. The mild caveats offered by the Judiciary Office warn that synthetic textextruding machines are not authoritative, possess biases, and do not ensure confidentiality or privacy. But with such high-risk uses, why is this office suggesting that judges should be using these tools at all?

These government leaders—Adams, Newsom, and Sunak—have accepted generative AI into the work and operation of government with confidence and enthusiasm. All of them use words such as “ethical,” “responsible,” and the like, but there could be another option: Just don’t use these tools. Government processes that affect people’s liberty, health, and livelihoods require human attention and accountability. People are far from perfect, subject to bias and exhaustion, frustration, and limited hours. However, shunting consequential tasks to black-box machines trained o­n always-biased historical data is not a viable solution for any kind of just and accountable outcome.

-------------------------

Государственные служащие позволяют ИИ выполнять свою работу. Плохо

Автор: Эмили М. Бендер, Алекс Ханна |

30 мая 2025 г.

Согласно расследованию, чат-бот поручил арендодателям Нью-Йорка проводить дискриминацию на основе того, нужна ли потенциальным арендаторам помощь с арендой, например, ваучеры по разделу 8. Изображение: Эмили Рэнд и LOTI / AI City / Лицензия CC-BY 4.0

Примечание редактора: ниже приведен отрывок из новой книги Эмили М. Бендер и Алекса Ханны «The AI ​​Con», опубликованной в мае 2025 года издательством Harper. Используется с разрешения.

Национальные, региональные и муниципальные лидеры увлеклись шумихой вокруг ИИ, в частности, найдя способы переложить обязанности правительства на генеративные инструменты ИИ. Это включало предоставление инструментов для руководства гражданами и жителями о том, как ориентироваться в городских постановлениях и налоговых кодексах, перевод заявлений о предоставлении убежища на границе и предоставление крупных контрактов компаниям, которые утверждают, что могут восполнить нехватку хорошо подготовленных специалистов для систем общественного здравоохранения. Но машины для выдавливания синтетического текста не очень хорошо подходят для решения любой из этих задач и могут иметь потенциально катастрофические результаты, поскольку они могут поощрять дискриминацию, давать явно неверные советы и ограничивать доступ к обоснованным заявлениям о предоставлении убежища и перемещению.

В Нью-Йорке мэр Эрик Адамс (бывший полицейский и начинающий технарь) бросил ресурсы на технологические игрушки, и результаты варьируются от смехотворно неэффективных до опасных. Сюда входит недолговечный робот полицейского управления Нью-Йорка, который должен был патрулировать станцию ​​метро Таймс-сквер и которому требовались два человека в униформе для сдерживания потенциальных вандалов. Адамс и его администрация выпустили широкомасштабный «План действий в области ИИ», направленный на интеграцию инструментов ИИ во многие части городского управления, центральным элементом которого стал чат-бот, который мог бы отвечать на общие вопросы жителей Большого яблока.

К сожалению, этот чат-бот не может надежно извлекать и передавать точную информацию; как и все чат-боты на основе LLM, он был разработан, чтобы придумывать дерьмо. Расследование 2024 года, проведенное The Markup, Documented и местной некоммерческой организацией The City в Нью-Йорке, показало, что инструмент заставляет своих пользователей открыто нарушать закон. Чат-бот ответил, что для арендодателей совершенно нормально проводить дискриминацию на основе того, нужна ли этим потенциальным арендаторам помощь в аренде, например, ваучеры по разделу 8. Он также уверенно заявил, что работодатели могут красть чаевые у работников и могут свободно не сообщать работникам о каких-либо существенных изменениях в расписании. Эти ошибки были бы смешными и абсурдными, если бы они не могли побудить работодателей совершать кражу заработной платы, а арендодателей — дискриминировать бедных арендаторов. Несмотря на все эти вопиющие ошибки, интерфейс чат-бота имеет все полномочия официальной страницы правительства Нью-Йорка.

Автор: Harper

Калифорния — родина Кремниевой долины, и соответственно, правительство штата пошло ва-банк на использование инструментов ИИ. В 2023 году губернатор Гэвин Ньюсом подписал указ об изучении «взвешенного подхода» к «оставанию мирового лидера в области ИИ». Отчет Агентства по операциям правительства Калифорнии предлагает ряд потенциальных вариантов использования «GenAI» (то есть синтетических медиамашин), включая обобщение правительственных документов или даже перевод правительственного компьютерного кода на современные языки программирования, и требует от государственных учреждений изучить использование генеративных инструментов ИИ к июлю 2024 года. В особенно тревожном случае использования Департамент налогов и сборов Калифорнии разрабатывает чат-бота, который поможет агентам их колл-центра отвечать на вопросы о налоговом кодексе штата. Хотя департамент заявил, что это внутренний инструмент, который будет находиться под контролем агентов, в призыве к подаче предложений указано, что инструмент должен «иметь возможность отвечать на входящие голосовые звонки, чаты и другие сообщения», по словам журналиста Хари Джонсона. Губернатор также сказал, что в штате есть текущий пилотный проект по решению проблемы бездомности. В его предложении генеративные системы ИИ предположительно помогают определять наличие мест в приютах и ​​анализировать бюджет штата. Похоже, это работа для людей с доступом к базам данных, а не то, что вы бы спросили у ChatGPT. Машины для выдавливания текста выдавливают синтетический текст, а не жилье.

СВЯЗАННЫЕ:

Памятка Трампу: создайте разумную политику ИИ, которая фокусируется на реальных, а не спекулятивных проблемах

На границе США языковые модели и связанные с ними технологии уже используются способами, которые имеют ужасные последствия. Здесь рассматриваемая технология — это машинный перевод, который появился раньше машин для выдавливания текста в стиле ChatGPT, но также использует языковые модели. Таможенная и пограничная служба США использует машинный перевод для обработки заявлений о предоставлении убежища. Лица, ищущие убежища, имеют право на перевод письменных документов и устный перевод устной речи. Но зависимость от инструментов машинного перевода может испортить заявление о предоставлении убежища из-за серьезных ошибок. Например, Respond Crisis Translation, организация, которая предоставляет переводчиков-людей для лиц, ищущих убежища, и других людей, находящихся в кризисной ситуации, сообщает, что ошибки перевода могут легко становиться основанием для отклонения ходатайства о предоставлении убежища и возвращения беженцев в опасные условия в их родных странах. «Не только заявления о предоставлении убежища должны быть переведены, но и правительство часто использует мелкие языковые тонкости, чтобы оправдать депортацию кого-либо. Заявление должно быть абсолютно идеальным», — говорит Ариэль Корен, исполнительный директор и соучредитель Respond Crisis Translation.

В Соединенном Королевстве в 2023 году тогдашний премьер-министр Риши Сунак созвал саммит по ИИ, состоявшийся в Блетчли-парке, назвав ИИ «величайшим прорывом нашего времени». Однако в Соединенном Королевстве уже есть много применений ИИ, которые оказывают пагубное воздействие на тех, кто тесно связан с его результатами. В конце концов, всего три года назад массы студентов вышли на улицы, скандируя «К черту алгоритм!» в знак протеста против алгоритмических решений, которые оценивали их экзамены уровня A.

Правительство Сунака пошло ва-банк на генеративный ИИ. В начале 2024 года заместитель премьер-министра Оливер Доуден объявил о планах использовать LLM для составления ответов на вопросы, представленные членами парламента, и ответов на запросы о свободе информации. (Мы считаем это действительно показательным комментарием об отношении правительства к запросам о свободе информации. Если они готовы использовать машину для выдавливания текста, чтобы предоставить ответы, то их явно не волнует точность ответов.) А в 2023 году Сунак объявил, что Национальная служба здравоохранения (или NHS, система общественного здравоохранения Соединенного Королевства) будет внедрять чат-боты по всему миру. Машины для выдавливания текста будут использоваться для расшифровки записей врачей, планирования встреч и анализа направлений пациентов. NHS также объявила в середине 2023 года, что она инвестировала 123 миллиона фунтов стерлингов в исследование того, как внедрить ИИ во всей системе, включая визуализацию мозга, сердца и других медицинских изображений, и выделяет еще 23 миллиона фунтов стерлингов на эти технологии. По словам Сунака, эти планы «обеспечат готовность NHS к будущему». Мы позволим себе не согласиться: добавление синтетического текста в общение с пациентами и в их записи звучит как рецепт хаоса, сваленный на и без того перегруженную рабочую силу.

СВЯЗАННЫЕ:

Памятка Трампу: Разработать конкретные руководящие принципы ИИ для ядерного командования и управления

Исследования уже выявляют проблемы использования этих инструментов в уходе за пациентами. Последствия для конфиденциальности огромны: исследователи в области здравоохранения отметили, что поставщики уже используют публичные чат-боты (такие как ChatGPT) в медицинской практике. Ввод данных в ChatGPT позволяет OpenAI использовать эти данные для переобучения своих моделей, что затем может привести к утечке информации о пациентах и ​​конфиденциальной медицинской информации. Пациенты также обеспокоены этими проблемами с данными; исследование, проведенное защитником цифровых прав Connected by Data и защитником прав пациентов Just Treatment, показало, что люди крайне обеспокоены тем, что их данные могут быть перепроданы или что крупные компании не будут в достаточной степени защищать их медицинскую информацию. Эта обеспокоенность еще больше обостряется, поскольку контракт на создание «Федеральной платформы данных», которую NHS планирует создать для своих служб, был присужден Palantir, военной и правоохранительной технологической компании, основанной технологическим инвестором Питером Тилем.

Стремление британского правительства к внедрению ИИ распространяется и на суды. Судья Апелляционного суда использовал ChatGPT для обобщения правовых теорий, с которыми он не был знаком, а затем напрямую вставил вывод в судебное постановление, назвав инструмент «весьма полезным». Мы были немного не в восторге, услышав об этом шокирующем использовании, но еще хуже то, что Управление юстиции Великобритании дало судьям разрешение использовать такие инструменты, как ChatGPT, в зале суда. Мягкие оговорки, предложенные Управлением юстиции, предупреждают, что синтетические машины для выдавливания текста не являются авторитетными, обладают предвзятостью и не гарантируют конфиденциальности или приватности. Но при таком высокорисковом использовании, почему это управление предлагает судьям вообще использовать эти инструменты? Эти лидеры правительства — Адамс, Ньюсом и Сунак — приняли генеративный ИИ в работу и функционирование правительства с уверенностью и энтузиазмом. Все они используют такие слова, как «этичный», «ответственный» и тому подобное, но может быть и другой вариант: просто не использовать эти инструменты. Правительственные процессы, которые влияют на свободу, здоровье и средства к существованию людей, требуют человеческого внимания и ответственности. Люди далеки от совершенства, подвержены предвзятости и истощению, разочарованию и ограниченному рабочему дню. Однако передача последовательных задач машинам-черным ящикам, обученным на всегда предвзятых исторических данных, не является жизнеспособным решением для любого справедливого и ответственного результата.

------------------------