The Taxonomy

A shared vocabulary for describing technology.

Each category is a question people ask about a technology, and its elements are the answers. Choose a category, then an element, to see its icon and what it means. New to the terms? Read the concepts.

Português: machine reviewed translation.It has not been checked by a fluent reviewer.Translation status

Riscos e mitigação

Elements 11

Quais são os riscos e como são mitigados?

Os riscos que este sistema pode criar e como estão sendo enfrentados.

About this category

Riscos e mitigação

Quais são os riscos e como são mitigados?

Os riscos que este sistema pode criar e como estão sendo enfrentados.

Datachain

Answer: Not every system carries a risk worth naming. Answer it whenever a risk is known.
Icon shape: Guardrails: what could go wrong and what you can do about it.

Variables

Descrição do risco Required
Descrição da mitigação Optional

Sources

A Collaborative, Human-Centred Taxonomy of AI, Algorithmic, and Automation HarmsAbercrombie et al. (2024). arXiv:2407.01294. CC BY-SA 4.0.

Perda de autonomiaO risco de que este sistema limite a capacidade de uma pessoa de tomar as próprias decisões, controlar sua identidade ou escolher livremente. Isso inclui riscos de acesso restrito a alternativas, de design enganoso que empurra as decisões para um determinado resultado e de falta de consentimento efetivo. As medidas de mitigação podem incluir mecanismos para optar por não participar, recomendações transparentes, configurações padrão que protejam a autonomia e revisão humana de decisões de grande impacto.

Dano às liberdades civisO risco de que este sistema comprometa direitos humanos fundamentais e liberdades civis — expressão, reunião, circulação, devido processo legal ou proteção contra vigilância arbitrária. Isso inclui riscos decorrentes de reconhecimento facial em massa, policiamento preditivo, censura de expressão lícita e efeitos inibidores sobre protestos. As medidas de mitigação podem incluir limites rígidos de finalidade, supervisão judicial ou independente, retenção de dados restrita e avaliações de impacto sobre direitos humanos antes da implantação.

Dano ambientalO risco de que este sistema cause degradação ambiental por meio do consumo de energia, do uso de água, do lixo eletrônico, das emissões de carbono ou da extração de recursos para hardware. Isso inclui riscos decorrentes da computação usada no treinamento, da inferência sempre ativa, da demanda de resfriamento dos data centers e da troca rápida de hardware. As medidas de mitigação podem incluir metas de eficiência energética e hídrica, relatórios transparentes sobre a pegada computacional, planejamento do ciclo de vida do hardware e contratação de energia renovável para a operação de data centers.

Dano financeiro e comercialO risco de que este sistema cause perdas financeiras a indivíduos ou prejuízos a organizações por meio de preços errados, serviços negados, fraude ou manipulação de mercado. Isso inclui riscos decorrentes de decisões de crédito automatizadas, desigualdades na precificação dinâmica, golpes viabilizados por IA e interrupções na cadeia de suprimentos causadas por uso indevido. As medidas de mitigação podem incluir salvaguardas de acessibilidade financeira, auditorias de equidade dos modelos de precificação, camadas de detecção de fraude e procedimentos claros de reparação.

Dano físicoO risco de que as saídas deste sistema levem a lesões físicas em indivíduos ou a danos a bens. Isso inclui riscos decorrentes de veículos autônomos, de acionamentos robóticos, de orientações de navegação com falhas ou de erros em infraestruturas críticas que colocam pessoas ou bens em perigo. As medidas de mitigação podem incluir testes rigorosos de segurança, configurações padrão à prova de falhas, cercas virtuais que bloqueiem comportamentos perigosos e supervisão humana de ações físicas de alto risco.

Dano político e econômicoO risco de que este sistema manipule o debate político, interfira em eleições, concentre poder de mercado ou prejudique instituições públicas. Isso inclui riscos de mídia sintética direcionada a eleitores, de direcionamento opaco de anúncios, de distorção da concorrência por acesso monopolista a dados e a capacidade computacional e de erosão da confiança nas instituições. As medidas de mitigação podem incluir a identificação de conteúdo sintético, atenção antitruste aos mercados de IA, acesso de auditoria para órgãos reguladores e exigências de transparência para anúncios políticos.

Perda de privacidadeO risco de que este sistema capte, infira ou revele mais sobre as pessoas do que elas esperam ou do que aceitaram. Isso inclui riscos de rastreamento dos deslocamentos das pessoas ao longo do tempo, de reidentificação de dados que deveriam ser anônimos, de cruzamento de registros entre sistemas para montar perfis e de reutilização de dados para finalidades além da declarada. As medidas de mitigação podem incluir coletar apenas o necessário, processar os dados no próprio dispositivo, anonimizar no momento da captação, períodos curtos de retenção e avaliações de impacto sobre a privacidade antes da implantação.

Dano psicológicoO risco de que este sistema cause prejuízo emocional ou à saúde mental, de forma direta ou indireta. Isso inclui riscos decorrentes de ciclos de estímulo viciantes, de sofrimento causado por vigilância, de assédio por meio de conteúdo gerado e de ansiedade provocada por recusas automatizadas. As medidas de mitigação podem incluir avisos de conteúdo, salvaguardas de bem-estar, design adequado à idade, canais de apoio acessíveis e limites de frequência para comportamentos que maximizam o engajamento.

Dano à reputaçãoO risco de que este sistema prejudique a reputação de indivíduos, grupos ou organizações por meio de identificação incorreta, categorização falsa ou rótulos estigmatizantes. Isso inclui riscos de reconhecimento facial impreciso, de conteúdo gerado difamatório e de pontuações públicas injustas que acompanham as pessoas em diferentes contextos. As medidas de mitigação podem incluir limites mínimos de precisão antes da aplicação de rótulos visíveis ao público, revisão humana de identificações de alto impacto, procedimentos de remoção e direitos claros de correção.

Violação de segurança e de dadosO risco de que este sistema ou os dados que ele mantém sejam acessados, roubados, alterados ou controlados por alguém que não deveria ter acesso a eles. Isso inclui riscos decorrentes de câmeras ou sensores invadidos, de bancos de dados vazados, de transmissões interceptadas, de uso indevido por pessoas de dentro da organização e de adulterações que fazem um sistema informar ou agir de forma falsa. As medidas de mitigação podem incluir criptografia no armazenamento e na transmissão, controles rígidos de acesso, testes de segurança regulares, atualizações rápidas de software e a notificação das pessoas afetadas quando ocorre uma violação.

Dano social e culturalO risco de que este sistema prejudique comunidades ou a cultura por meio da erosão da confiança, da perda de diversidade linguística e cultural ou de uma dependência pouco saudável de sistemas opacos. Isso inclui riscos de desinformação em larga escala, de homogeneização da expressão cultural, de substituição do conhecimento local e de degradação dos ecossistemas de informação pública. As medidas de mitigação podem incluir suporte multilíngue, parcerias com as comunidades afetadas, sinais de procedência em conteúdo gerado e investimento em modelos voltados às línguas e aos contextos locais.

Violação de segurança e de dados

O risco de que este sistema ou os dados que ele mantém sejam acessados, roubados, alterados ou controlados por alguém que não deveria ter acesso a eles. Isso inclui riscos decorrentes de câmeras ou sensores invadidos, de bancos de dados vazados, de transmissões interceptadas, de uso indevido por pessoas de dentro da organização e de adulterações que fazem um sistema informar ou agir de forma falsa. As medidas de mitigação podem incluir criptografia no armazenamento e na transmissão, controles rígidos de acesso, testes de segurança regulares, atualizações rápidas de software e a notificação das pessoas afetadas quando ocorre uma violação.

Variables

Descrição do risco Required
Descrição da mitigação Optional