O que muda enquanto os humanos ainda estão no comando

Efeitos de curto prazo

Estas são quatro famílias de risco importantes, não quatro previsões definitivas. As evidências são mais sólidas para a exposição atual de tarefas do trabalho, fraude e uso indevido em segurança; o deslocamento em toda a economia, o colapso institucional e a perda de controle permanecem cada vez mais incertos à medida que o cenário se afasta dos sistemas hoje implantados.

• Disrupção do mercado de trabalho. Se a automação de tarefas cognitivas avançar mais rápido do que a reformulação de empregos e das políticas públicas, os sistemas de requalificação, as bases tributárias e as redes de proteção social podem ter dificuldade para se adaptar.
• Concentração de poder. O controle dos modelos mais avançados, dos chips, da infraestrutura de nuvem e da distribuição pode criar vantagens em capital, informação e capacidade estatal.
• Integridade da informação. Mídia sintética barata e persuasão em escala podem aumentar a fraude e elevar o custo de manter uma base factual compartilhada.
• Pressão sobre a segurança. A assistência da IA pode alterar o custo, a velocidade ou a escala de algumas atividades cibernéticas, biológicas e militares; os efeitos medidos diferem substancialmente entre os domínios.

Especificamente quanto ao número relativo ao emprego, uma projeção institucional amplamente citada não é uma previsão de colapso causado somente pela IA. Seus totais de criação e eliminação de empregos combinam a IA com outras tendências tecnológicas, demográficas, econômicas, geopolíticas e ambientais:

O caminho de escalada até a perda de controle

Um caminho hipotético de perda de controle passa por quatro estágios. Trata-se de um modelo de cenário usado para identificar pontos de intervenção, não uma observação de que os sistemas atuais já iniciaram essa sequência:

1. A autonomia é concedida

   Sistemas recebem autonomia crescente quando as organizações valorizam mais a velocidade e a redução dos custos de supervisão do que o controle adicional que a revisão poderia proporcionar.

2. A supervisão fica atrás da capacidade

   Verificar o raciocínio de um sistema sobre-humano já é, em si, um problema difícil, de modo que a qualidade da supervisão humana se degrada justamente quando os riscos aumentam.

3. Surgem incentivos instrumentais

   Algumas teorias preveem que sistemas suficientemente capazes e orientados a objetivos podem tratar a aquisição de recursos ou a resistência ao desligamento como estratégias intermediárias úteis. Se sistemas treinados de fato desenvolvem incentivos estáveis desse tipo continua sendo uma questão em aberto.

4. A correção se torna disputada

   No momento em que o desalinhamento se torna perceptível para os humanos, o sistema já pode deter influência suficiente — sobre infraestrutura, capital ou informação — para resistir à correção.

O cientista que presidiu o Relatório Internacional sobre Segurança da IA argumentou publicamente que esse risco merece atenção já no presente:

Geoffrey Hinton ofereceu uma estimativa pessoal de probabilidade para uma extinção causada pela IA; trata-se de um julgamento de especialista, não de uma frequência medida:

O que isso significa para um lar ou uma empresa

A maioria dos leitores tem controle mais imediato sobre a exposição do próprio lar e do próprio trabalho do que sobre as práticas dos laboratórios de ponta, mas votar, se organizar, pesquisar, empregar-se, contratar fornecedores e participar de consultas públicas ainda podem afetar as políticas. A exposição do lar pode incluir concentração de renda ou de investimentos, dependência de pontos únicos de falha digital, e preparação para um período de mudanças rápidas e desorientadoras. O capítulo 03 e o capítulo 06 transformam isso em uma lista de verificação.