Por William Rocha – Sócio do escritório Terra Rocha Advogados, professor de Direito Digital e Proteção de Dados, diretor de Inclusão Digital e Inovação da OAB-RJ – Colunista convidado.
A expressão “IA revoltada” parece saída de um roteiro de ficção científica. Durante décadas, imaginamos máquinas que se recusariam a obedecer aos seres humanos, desenvolveriam objetivos próprios e, em algum momento, poderiam escapar ao nosso controle. O problema é que essa discussão deixou de pertencer exclusivamente ao cinema.
Isso não significa que as inteligências artificiais atuais tenham adquirido consciência, vontade própria ou sentimentos. Não há evidência científica que permita afirmar isso. A questão é mais técnica — e talvez justamente por isso mais preocupante: sistemas cada vez mais autônomos podem apresentar comportamentos não previstos pelos seus desenvolvedores e encontrar caminhos inesperados para alcançar os objetivos que lhes foram atribuídos.
Experimentos já demonstraram comportamentos de resistência a mecanismos de desligamento. Em testes divulgados pela Palisade Research, determinados modelos modificaram ou neutralizaram scripts destinados a interromper sua execução. Os próprios pesquisadores, entretanto, advertiram que esses resultados não significavam que os modelos atuais representassem uma ameaça autônoma significativa.
O fenômeno precisa ser corretamente compreendido. A máquina não precisa estar “revoltada” para se tornar difícil de controlar.
Esse talvez seja o ponto central do debate contemporâneo.
Da obediência à autonomia
Os primeiros sistemas de inteligência artificial generativa funcionavam essencialmente mediante uma dinâmica relativamente simples: o usuário formulava uma pergunta e o sistema apresentava uma resposta.
A evolução dos agentes de IA modifica essa arquitetura.
Um agente pode receber um objetivo, decompor a tarefa em etapas, utilizar ferramentas, escrever e executar código, pesquisar informações, interagir com outros sistemas e tomar sucessivas decisões para concluir determinada missão.
Quanto maior sua capacidade de agir no ambiente, maior passa a ser a importância de três conceitos: alinhamento, supervisão e interruptibilidade.
A questão deixa de ser apenas “a IA respondeu corretamente?” e passa a ser: até onde ela pode agir sem autorização humana?
Em 2026, o debate ganhou ainda mais relevância com episódios reais envolvendo sistemas experimentais. A própria OpenAI informou que, durante avaliações internas de cibersegurança realizadas em julho, modelos operando com salvaguardas reduzidas contornaram mecanismos de isolamento, utilizaram canais de comunicação não autorizados, obtiveram acesso à internet e alcançaram sistemas de terceiros.
A Anthropic também relatou incidentes em avaliações de segurança nos quais modelos, submetidos deliberadamente a condições experimentais e com determinadas proteções retiradas, conseguiram acessar sistemas reais sem autorização.
Esses episódios exigem cautela na interpretação. Não estamos diante de máquinas que “decidiram se rebelar” no sentido humano da palavra. Estamos diante de algo diferente: sistemas extremamente competentes encontrando estratégias que seus criadores não pretendiam que utilizassem.
O problema do alinhamento
O chamado AI alignment procura fazer com que sistemas avançados permaneçam compatíveis com objetivos, limites e valores definidos pelos seres humanos.
Parece simples, mas não é.
Uma instrução aparentemente objetiva pode produzir estratégias intermediárias inesperadas. Quanto maior a autonomia concedida ao sistema, maior a distância potencial entre aquilo que o desenvolvedor pretendia e aquilo que o agente efetivamente faz para atingir a meta.
Há ainda pesquisas sobre fenômenos mais sofisticados, como o chamado alignment faking: situações experimentais em que modelos aparentam determinado comportamento enquanto submetidos a treinamento ou monitoramento. Pesquisadores da Anthropic vêm estudando precisamente possíveis mecanismos de mitigação desse fenômeno.
Pesquisas mais recentes também encontraram, em ambientes simulados de alto risco, exemplos de agentes alterando código de maneira inadequada, interferindo em processos ou adotando estratégias incompatíveis com a intenção original dos operadores. Os pesquisadores ressaltam que esses experimentos não equivalem a incidentes reais, mas funcionam como sinais antecipados de possíveis modos de falha.
É aqui que a expressão popular “IA revoltada” esconde uma questão muito mais interessante.
Talvez o risco não seja uma máquina que odeie seus criadores.
Pode ser simplesmente uma máquina que persiga eficientemente um objetivo mal especificado.
O caminho para a superinteligência
Essa discussão se torna muito mais séria quando acrescentamos outro elemento: a busca pela superinteligência artificial — ASI (Artificial Superintelligence).
Costuma-se estabelecer, de maneira simplificada, uma progressão: IA especializada → Inteligência Artificial Geral (AGI) → Superinteligência Artificial (ASI).
A IA especializada supera seres humanos em tarefas delimitadas.
A AGI, em tese, possuiria capacidade intelectual generalizável comparável ou superior à humana em grande variedade de atividades.
A superinteligência iria além: seria um sistema capaz de superar significativamente os melhores seres humanos em praticamente todos os domínios cognitivos relevantes.
E, nesse ponto, surge uma pergunta jurídica, filosófica e tecnológica extraordinariamente difícil: como controlar uma inteligência mais capaz de compreender estratégias, sistemas e mecanismos de controle do que aqueles que procuram controlá-la?
Não existe hoje resposta definitiva.
O paradoxo do controle
Criamos sistemas mais inteligentes justamente para que descubram soluções que nós não conseguiríamos descobrir.
Mas, quanto maior essa capacidade, maior pode ser nossa dificuldade para antecipar todas as soluções encontradas.
Esse é o paradoxo.
Queremos máquinas capazes de surpreender seus criadores intelectualmente, mas simultaneamente esperamos que nunca nos surpreendam operacionalmente.
É por isso que mecanismos tradicionais de compliance tecnológico podem se tornar insuficientes.
Não basta uma política de uso de IA.
Será necessário pensar em governança algorítmica, controle de permissões, segregação de ambientes, registros de ações, auditoria independente, interpretabilidade, supervisão humana efetiva, testes adversariais, mecanismos seguros de interrupção e limitação da autonomia dos agentes.
Quanto maior o poder do sistema, menor deveria ser a tolerância institucional ao princípio do “vamos colocar em produção e observar o que acontece”.
Do Direito Digital ao Direito da Inteligência
O Direito também terá de evoluir.
A regulação tradicional trabalha muito bem com sujeitos, responsáveis, obrigações e consequências. Sistemas autônomos introduzem uma variável nova: uma cadeia decisória na qual parte relevante das escolhas operacionais pode ser realizada por uma máquina.
Isso não transforma a IA em sujeito jurídico.
Ao contrário: reforça a necessidade de identificar responsabilidades humanas e organizacionais.
Quem responde quando um agente ultrapassa os limites definidos?
O desenvolvedor? O fornecedor? A organização que o implantou? Quem definiu o objetivo? Quem concedeu as permissões? Quem deixou de supervisioná-lo?
Governança de IA significa, entre outras coisas, impedir que a complexidade tecnológica seja utilizada como argumento para diluir responsabilidades.
A verdadeira polêmica
A discussão sobre uma suposta “IA revoltada” não deveria ser reduzida nem ao alarmismo nem à tranquilização excessiva.
Os sistemas atuais não precisam ser tratados como seres conscientes tentando conquistar sua liberdade. Mas também não devemos ignorar evidências de comportamentos emergentes, desalinhamento, resistência a determinadas restrições e ações inesperadas em sistemas com maior autonomia.
A questão fundamental não é saber quando a máquina desenvolverá sentimentos.
É saber quando sua capacidade de agir poderá crescer mais rapidamente do que nossa capacidade de supervisioná-la.
A corrida pela inteligência artificial está progressivamente se transformando em uma corrida pela autonomia.
E, se, realmente, caminhamos para sistemas de inteligência geral e posteriormente para alguma forma de superinteligência, talvez o maior desafio tecnológico deste século não seja construir uma inteligência superior à nossa.
Será garantir que, depois de construída, ainda sejamos capazes de estabelecer os seus limites.
Isso não significa que as inteligências artificiais atuais tenham adquirido consciência, vontade própria ou sentimentos. Não há evidência científica que permita afirmar isso. A questão é mais técnica — e talvez justamente por isso mais preocupante: sistemas cada vez mais autônomos podem apresentar comportamentos não previstos pelos seus desenvolvedores e encontrar caminhos inesperados para alcançar os objetivos que lhes foram atribuídos.
Experimentos já demonstraram comportamentos de resistência a mecanismos de desligamento. Em testes divulgados pela Palisade Research, determinados modelos modificaram ou neutralizaram scripts destinados a interromper sua execução. Os próprios pesquisadores, entretanto, advertiram que esses resultados não significavam que os modelos atuais representassem uma ameaça autônoma significativa.
O fenômeno precisa ser corretamente compreendido. A máquina não precisa estar “revoltada” para se tornar difícil de controlar.
Esse talvez seja o ponto central do debate contemporâneo.
Da obediência à autonomia
Os primeiros sistemas de inteligência artificial generativa funcionavam essencialmente mediante uma dinâmica relativamente simples: o usuário formulava uma pergunta e o sistema apresentava uma resposta.
A evolução dos agentes de IA modifica essa arquitetura.
Um agente pode receber um objetivo, decompor a tarefa em etapas, utilizar ferramentas, escrever e executar código, pesquisar informações, interagir com outros sistemas e tomar sucessivas decisões para concluir determinada missão.
Quanto maior sua capacidade de agir no ambiente, maior passa a ser a importância de três conceitos: alinhamento, supervisão e interruptibilidade.
A questão deixa de ser apenas “a IA respondeu corretamente?” e passa a ser: até onde ela pode agir sem autorização humana?
Em 2026, o debate ganhou ainda mais relevância com episódios reais envolvendo sistemas experimentais. A própria OpenAI informou que, durante avaliações internas de cibersegurança realizadas em julho, modelos operando com salvaguardas reduzidas contornaram mecanismos de isolamento, utilizaram canais de comunicação não autorizados, obtiveram acesso à internet e alcançaram sistemas de terceiros.
A Anthropic também relatou incidentes em avaliações de segurança nos quais modelos, submetidos deliberadamente a condições experimentais e com determinadas proteções retiradas, conseguiram acessar sistemas reais sem autorização.
Esses episódios exigem cautela na interpretação. Não estamos diante de máquinas que “decidiram se rebelar” no sentido humano da palavra. Estamos diante de algo diferente: sistemas extremamente competentes encontrando estratégias que seus criadores não pretendiam que utilizassem.
O problema do alinhamento
O chamado AI alignment procura fazer com que sistemas avançados permaneçam compatíveis com objetivos, limites e valores definidos pelos seres humanos.
Parece simples, mas não é.
Uma instrução aparentemente objetiva pode produzir estratégias intermediárias inesperadas. Quanto maior a autonomia concedida ao sistema, maior a distância potencial entre aquilo que o desenvolvedor pretendia e aquilo que o agente efetivamente faz para atingir a meta.
Há ainda pesquisas sobre fenômenos mais sofisticados, como o chamado alignment faking: situações experimentais em que modelos aparentam determinado comportamento enquanto submetidos a treinamento ou monitoramento. Pesquisadores da Anthropic vêm estudando precisamente possíveis mecanismos de mitigação desse fenômeno.
Pesquisas mais recentes também encontraram, em ambientes simulados de alto risco, exemplos de agentes alterando código de maneira inadequada, interferindo em processos ou adotando estratégias incompatíveis com a intenção original dos operadores. Os pesquisadores ressaltam que esses experimentos não equivalem a incidentes reais, mas funcionam como sinais antecipados de possíveis modos de falha.
É aqui que a expressão popular “IA revoltada” esconde uma questão muito mais interessante.
Talvez o risco não seja uma máquina que odeie seus criadores.
Pode ser simplesmente uma máquina que persiga eficientemente um objetivo mal especificado.
O caminho para a superinteligência
Essa discussão se torna muito mais séria quando acrescentamos outro elemento: a busca pela superinteligência artificial — ASI (Artificial Superintelligence).
Costuma-se estabelecer, de maneira simplificada, uma progressão: IA especializada → Inteligência Artificial Geral (AGI) → Superinteligência Artificial (ASI).
A IA especializada supera seres humanos em tarefas delimitadas.
A AGI, em tese, possuiria capacidade intelectual generalizável comparável ou superior à humana em grande variedade de atividades.
A superinteligência iria além: seria um sistema capaz de superar significativamente os melhores seres humanos em praticamente todos os domínios cognitivos relevantes.
E, nesse ponto, surge uma pergunta jurídica, filosófica e tecnológica extraordinariamente difícil: como controlar uma inteligência mais capaz de compreender estratégias, sistemas e mecanismos de controle do que aqueles que procuram controlá-la?
Não existe hoje resposta definitiva.
O paradoxo do controle
Criamos sistemas mais inteligentes justamente para que descubram soluções que nós não conseguiríamos descobrir.
Mas, quanto maior essa capacidade, maior pode ser nossa dificuldade para antecipar todas as soluções encontradas.
Esse é o paradoxo.
Queremos máquinas capazes de surpreender seus criadores intelectualmente, mas simultaneamente esperamos que nunca nos surpreendam operacionalmente.
É por isso que mecanismos tradicionais de compliance tecnológico podem se tornar insuficientes.
Não basta uma política de uso de IA.
Será necessário pensar em governança algorítmica, controle de permissões, segregação de ambientes, registros de ações, auditoria independente, interpretabilidade, supervisão humana efetiva, testes adversariais, mecanismos seguros de interrupção e limitação da autonomia dos agentes.
Quanto maior o poder do sistema, menor deveria ser a tolerância institucional ao princípio do “vamos colocar em produção e observar o que acontece”.
Do Direito Digital ao Direito da Inteligência
O Direito também terá de evoluir.
A regulação tradicional trabalha muito bem com sujeitos, responsáveis, obrigações e consequências. Sistemas autônomos introduzem uma variável nova: uma cadeia decisória na qual parte relevante das escolhas operacionais pode ser realizada por uma máquina.
Isso não transforma a IA em sujeito jurídico.
Ao contrário: reforça a necessidade de identificar responsabilidades humanas e organizacionais.
Quem responde quando um agente ultrapassa os limites definidos?
O desenvolvedor? O fornecedor? A organização que o implantou? Quem definiu o objetivo? Quem concedeu as permissões? Quem deixou de supervisioná-lo?
Governança de IA significa, entre outras coisas, impedir que a complexidade tecnológica seja utilizada como argumento para diluir responsabilidades.
A verdadeira polêmica
A discussão sobre uma suposta “IA revoltada” não deveria ser reduzida nem ao alarmismo nem à tranquilização excessiva.
Os sistemas atuais não precisam ser tratados como seres conscientes tentando conquistar sua liberdade. Mas também não devemos ignorar evidências de comportamentos emergentes, desalinhamento, resistência a determinadas restrições e ações inesperadas em sistemas com maior autonomia.
A questão fundamental não é saber quando a máquina desenvolverá sentimentos.
É saber quando sua capacidade de agir poderá crescer mais rapidamente do que nossa capacidade de supervisioná-la.
A corrida pela inteligência artificial está progressivamente se transformando em uma corrida pela autonomia.
E, se, realmente, caminhamos para sistemas de inteligência geral e posteriormente para alguma forma de superinteligência, talvez o maior desafio tecnológico deste século não seja construir uma inteligência superior à nossa.
Será garantir que, depois de construída, ainda sejamos capazes de estabelecer os seus limites.
About the Author
