A responsabilidade de um criador

“Como te atreves a brincar assim com a vida? Cumpre tua obrigação comigo e cumprirei a minha contigo e com o restante da humanidade.”¹

Frankenstein, de Mary Shelley

Mary Shelley tinha apenas 20 anos quando publicou pela primeira vez o conto que viria a se tornar um dos mais emblemáticos cautionary tales² da literatura: Frankenstein (1818). A influência dessa narrativa no mundo do horror e da ficção científica tem garantido uma vida longuíssima a seus personagens, sobretudo ao monstro, que se cristalizou de tal forma que muitos acreditam que é ele quem dá título ao livro, mas não. O protagonista de Mary Shelley é Victor Frankenstein, um jovem cientista. Sua criatura nem sequer recebe um nome. No cinema, a caracterização do monstro – com pele verde e parafusos no corpo – é tão icônica que foi desdobrada em uma figura da cultura pop. Em várias referências, o monstro esverdeado aparece sozinho – como se pudesse ser separado, isolado, de seu criador, o cientista. Mas não pode.

Para os leitores que não estão familiarizados com a obra, pode ser que a moral do livro soe como: “não devemos interferir nas leis naturais”, “não devemos brincar com a vida e a morte”, ou ainda, que “há um ponto a partir do qual a ciência e a tecnologia não devem passar”. O filósofo Bruno Latour afirmou, em seu ensaio “Love your monsters”, publicado em 2011 no site do centro de pesquisa The Break Through,  que “o crime de Dr. Frankenstein não foi ter inventado uma criatura a partir da combinação de arrogância e alta tecnologia, mas o fato de que ele a abandonou à própria sorte”. Sozinha, descuidada e rejeitada, a criatura sem nome decide tratar a humanidade da forma como foi tratada: com violência e sem misericórdia. Isso motiva uma série de assassinatos e eventos destrutivos, que se tornam o ponto principal da narrativa de Mary Shelley justamente pela responsabilidade e culpa de Victor Frankenstein. Mesmo que a ciência e a tecnologia sejam vistas apenas como meios para um fim, criadores têm a obrigação de cuidar de suas criaturas – além de aceitar que a inovação tecnológica sempre terá consequências – e desenvolver mecanismos para lidar com elas.

Nossa sociedade lida até hoje com os dilemas que vêm da criação, sobretudo com os avanços tecnológicos de alto impacto na sociedade. Nos últimos anos, temos assistido a  –  me desculpe o clichê – uma verdadeira revolução tecnológica com o avanço das Inteligências Artificiais (IA); algo comparável à adoção em massa dos computadores, que alterou significativamente a maneira como as pessoas trabalham e se relacionam socialmente. Apesar do conceito de IA ter mais de 50 anos³, ele abarca uma infinidade de ferramentas e funções. O que têm causado mais buzz recentemente são as IA generativas, não apenas pelo que são capazes de fazer, mas também por estarem se tornando mais e mais acessíveis para o público geral. Aplicações geradoras de imagem (como Midjourney e Dall-E) e de texto (como o ChatGPT) são em sua maioria gratuitas e de acesso relativamente descomplicado, uma vez que não requerem nenhuma habilidade específica de programação e respondem a comandos textuais simples – facilidade que impulsiona sua utilização, seja no ambiente de trabalho, seja por curiosidade⁴.

Ainda é difícil prever as consequências de longo prazo dessa transformação, e as previsões variam em nível de alarmismo: de um futuro livre de tarefas repetitivas e enfadonhas à extinção da humanidade. Mas o fato é que essas tecnologias já foram lançadas e, suas sucessoras, talvez ainda mais potentes e transformadoras, estão em desenvolvimento. A inovação e o avanço da ciência são difíceis de evitar – como nos ensina Frankenstein. Quando um limite da natureza é ultrapassado, pode ser um desafio encontrar o caminho de volta. Mas o que influencia no impacto que isso vai causar nos outros não é se uma tecnologia existe, mas como lidamos com ela. Em um cenário em que Victor Frankenstein não tivesse abandonado sua criatura à própria sorte, mas sim olhado por ela e a tratado com cautela, talvez não haveria destruição e morte. Quando aplicamos essa lógica ao nosso atual contexto tecnológico, surge a pergunta: qual é a responsabilidade dos criadores de ferramentas generativas?

OpenAI

Em maio de 2023, Sam Altman, CEO da OpenAI (empresa estadunidense responsável pelo ChatGPT, gerador de texto, e Dall-E, gerador de imagens) pediu em testemunho ao Congresso estadunidense que o governo regulamentasse as ferramentas que sua empresa disponibiliza para uso do público. Ele expressou sua preocupação com possíveis desdobramentos prejudiciais para a sociedade:

“Acho que se essa tecnologia der errado, pode dar muito errado e queremos ser sinceros sobre isso. Queremos trabalhar com o governo para evitar que isso aconteça. Mas tentamos ser muito claros sobre qual é o caso negativo e o trabalho que temos que fazer para mitigá-lo.”

Em linhas gerais, a OpenAI tem um posicionamento institucional pró-regulamentação das ferramentas de inteligência artificial. No blog da companhia, podem ser encontrados textos sobre boas práticas da plataforma, materiais que reforçam a importância de sempre incluir um humano no processo para revisar o conteúdo gerado por IA, além de um sistema de moderação e termos de uso bem escritos. Mas ainda há uma série de atitudes que a empresa poderia tomar se realmente acredita no potencial negativo das IA. Nenhum dos materiais educativos citados está disponível em português, apesar de o ChatGPT e a Dall-E estarem disponíveis no território brasileiro e responderem a comandos textuais em português. E, ainda que os termos de uso afirmem que você não deve utilizar as ferramentas para fins criminosos, como espalhar informação falsa e praticar discriminação racial, ações desse tipo não são impedidas pelo software em si.

Do ponto de vista do campo do design, isso fere um importante princípio de boas práticas na experiência do usuário: a restrição. Donald Norman, professor de ciência cognitiva e autor do clássico O design do dia a dia (Rocco, 2006), é categórico: “a maneira mais segura de tornar alguma coisa fácil de usar, com poucos erros, é impossibilitar fazê-la de outro modo”.  Em outro livro, O design do futuro (Rocco, 2010), Norman fala mais especificamente sobre projetos de artefatos inteligentes. Para o autor, as empresas de design e de engenharia adotam uma filosofia “culpe e treine” em relação aos usuários, terceirizando a responsabilidade final – o que seria uma forma de mascarar projetos ruins, maus procedimentos e estruturas fracas. Ele pontua que “devemos projetar nossas tecnologias de acordo com o modo como as pessoas realmente se comportam, não como nós gostaríamos que elas se comportassem”. Hoje o principal argumento da OpenAI em relação a isso é que seus produtos ainda não são tão bons assim, ainda faltam melhorias, ajustes. Bom, se eles simplesmente não são capazes de operar sem cometer erros grotescos – como o ChatGPT, que “alucina informações” e reproduz preconceitos de raça e gênero –, será que a plataforma deveria estar disponível?

O pedido de Sam Altman ao Congresso estadunidense me lembrou de outra passagem de Frankenstein. Depois que o monstro assassina seu irmão, seu melhor amigo e sua esposa, Victor Frankenstein implora a um juiz que empenhe todo o seu poder para garantir a captura e punição da criatura, ao que o juiz responde:

“De bom grado concederia toda ajuda à tua missão, mas a criatura da qual falas parece ter poderes que desafiam qualquer esforço da minha parte. Quem poderá perseguir um animal capaz de cruzar o mar de gelo e morar em cavernas e covis onde nenhum homem se aventuraria a entrar?”

O que Sam Altman está dizendo para o mundo sobre os serviços que sua empresa fornece, se, mesmo com uma vasta equipe de desenvolvedores e conselheiros, não se sente capaz de gerir os desdobramentos do uso dessas aplicações? Será que esses produtos deveriam estar por aí, disponíveis, da maneira que estão? É claro que outros atores estão envolvidos nessa equação de redução de danos: desde as  agências reguladoras aos operadores e usuários do ChatGPT e da Dall-E – vou falar deles adiante. Várias frentes devem fazer parte desse tipo de regulamentação justamente para que uma seja capaz de policiar a outra. Mas é evidente que o modus operandi da OpenAI tem sido expandir primeiro, pensar nas consequências depois. Apesar de adotar o discurso do desenvolvimento tecnológico responsável, ao operar de maneira gratuita em um país onde a maioria da população não fala inglês, como o Brasil, enquanto todo o material de diretrizes e boas práticas não é traduzido para a língua nativa, a empresa assume o risco de não passar a mensagem sobre usos potencialmente perigosos de suas aplicações. E ela não é a única.

Midjourney

Enquanto a OpenAI tem um posicionamento de preocupação com as consequências do uso das aplicações que fornece – ao menos em teoria –, a também estadunidense Midjourney adota um tom meio passivo-agressivo. Trata-se de uma empresa com poucos funcionários cujo principal produto foi lançado em julho de 2022, mas que em pouco tempo já protagonizou diversos virais na internet. Sendo um gerador que reproduz imagens consideravelmente realistas, a Midjourney foi a ferramenta utilizada para criar as polêmicas imagens de Donald Trump sendo preso e do Papa Francisco usando uma jaqueta puffer. Após a repercussão do segundo caso citado, a empresa desativou o teste gratuito da ferramenta, que permitia que usuários criassem até 25 imagens, no intuito de evitar a produção de material para fake news. Paralelamente a essa decisão, o CEO David Holz fez um anúncio⁵ no qual sugeriu que usuários não pagantes estavam “abusando” da ferramenta e admitiu que moderar o seu uso está se mostrando um desafio, principalmente no que diz respeito à representação de pessoas à medida que as imagens geradas se tornam mais realistas.

Os termos de serviço da aplicação também fazem o possível para isentar a empresa da responsabilidade sobre qualquer uso prejudicial da ferramenta, adotando até mesmo um tom ameaçador ao se dirigir diretamente ao usuário. Na seção 10, “Limitação de responsabilidade e indenização”, a empresa declara:

Nós fornecemos o serviço como ele é e não fazemos promessas ou damos garantias relacionadas a ele. 

Você entende e concorda que não seremos responsáveis por qualquer perda de lucros, uso, prestígio ou dados Seus ou de terceiros, nem por quaisquer danos incidentais, indiretos, especiais, consequentes ou exemplares, independentemente de sua origem.

Você é responsável pelo Seu uso do serviço. Se você prejudicar outra pessoa ou entrar em uma disputa com outra pessoa, não estaremos envolvidos.

Se você infringir intencionalmente a propriedade intelectual de outra pessoa e isso nos custar dinheiro, iremos procurá-lo e receber esse dinheiro de Você. Também podemos fazer outras coisas, como tentar fazer com que um tribunal obrigue Você a pagar nossos honorários advocatícios. Não faça isso.⁶

O texto deixa claro que a empresa fará o possível para responsabilizar os usuários da ferramenta e se envolverá o mínimo possível em qualquer situação danosa. No que diz respeito ao uso das imagens geradas para a propagação de informações falsas, talvez no lugar de quebrar a cabeça sobre como permitir a retratação de terceiros, a Midjourney pudesse trabalhar para encontrar maneiras de identificar as imagens geradas pela ferramenta de inteligência artificial – através de metadados ou de algum tipo de marca d’água, por exemplo. Iniciativas desse tipo, no entanto,  provavelmente diminuiriam o valor comercial dessas peças, e é claro que a Midjourney não quer perder dinheiro. Então, por enquanto, é o que temos: o usuário é o detentor de toda a responsabilidade do que for feito com a ferramenta. Essa “cultura beta” se tornou uma regra na indústria de produtos digitais. Empresas e desenvolvedores disponibilizam versões declaradamente inacabadas de suas aplicações, se isentam de suas responsabilidades com ajuda dos termos de uso e deixam a culpa de qualquer desdobramento negativo para os usuários.

Os usuários, os governos e as empresas

Em Frankenstein, o criador não é o único alvo do ódio de sua criatura; ela jura vingança contra toda a humanidade. Mais ou menos no meio do livro, o monstro narra a história de como passou a morar próximo ao chalé de uma família e se afeiçoou a ela conforme observava seus integrantes realizando tarefas cotidianas. Mas, quando eles o veem, o julgam por sua aparência horrenda e o atacam. O criador Victor não é o único responsável (apesar de certamente ser o principal) pelas reações da criatura: se ela tivesse sido acolhida e bem tratada por agentes externos, talvez não teria recorrido à violência e à matança. Vários atores contribuíram para que seu potencial destrutivo se concretizasse.

Paralelamente, não é nenhuma solução absurda ou impensável responsabilizar os usuários e operadores de sistemas de inteligência artificial generativa pelo que fazem a partir dessas ferramentas. Se uma pessoa atira em outra, você condena o atirador, e não a fabricante do revólver, certo? Mas essa analogia tem se mostrado insuficiente para ilustrar a nossa relação com a internet e as aplicações que utilizamos no cotidiano.

Tomemos as redes sociais como exemplo: o Marco Civil da Internet, de 2014, institui a partir do Artigo 19 que as empresas de tecnologia não podem ser responsabilizadas pelo conteúdo publicado por terceiros. Acontece que, devido a uma série de fatores – entre eles, a facilidade de ocultar a própria identidade, a moderação de conteúdo insuficiente das  redes sociais e a velocidade com que posts podem se espalhar pelo ecossistema digital –, é muito difícil restringir publicações que contenham discurso de ódio e desinformação no ambiente virtual, mesmo quando elas podem ter consequências prejudiciais até mesmo para a situação política de um país. Por meio da constatação desse cenário, uma das mudanças propostas na regulamentação das redes sociais pelo PL 2630/2020, apelidado de “PL das Fake News”, é justamente a possibilidade de responsabilização das plataformas. Apenas banir ou tentar processar os usuários individualmente por aquilo que publicam não tem se mostrado uma maneira eficiente de mitigar esses problemas, então, seria importante contar com alguma moderação nativa. Mas, como a maioria dessas empresas de tecnologia lucra com anunciantes e, consequentemente, com tráfego, não seria interessante para elas tirar do ar conteúdo prejudicial que traga um grande fluxo de visitantes. Assim, as big techs (com destaque para o Google e o Telegram, que se posicionaram publicamente⁷) têm se colocado contra o projeto, alegando que ele viabiliza atos de censura dentro das plataformas. A votação do PL, que estava marcada para maio de 2023, foi adiada indefinidamente para revisão do texto, a pedido do deputado e relator Orlando Silva.

Quando o assunto é a regulamentação das plataformas e ferramentas de inteligência artificial, percebe-se um cenário semelhante. Em maio de 2023, a MIT Technology Review publicou um resumo dos seis principais modelos de regulamentação de inteligência artificial⁸ mais avançados ao redor do mundo, citando os prós e contras de cada um. Entre eles, está a proposta apresentada pela União Europeia, “EU AI Act”, que é apontada como a mais compreensível e mais avançada em termos de negociação, mas que vem enfrentando uma forte pressão do lobby das empresas de tecnologia, que afirmam que seu conjunto de restrições pode estagnar o desenvolvimento tecnológico.

No mesmo mês, o senador Rodrigo Pacheco apresentou a primeira versão do PL 2338/2023, que institui o marco legal da Inteligência Artificial no Brasil. O texto, que pode ser acessado na íntegra no site do Senado, foi elaborado por uma comissão composta por juristas especialistas em direito civil e direito digital, e posiciona o Brasil na “corrida global” para a regulamentação da tecnologia. Me chamou a atenção que o Artigo 27 do PL responsabiliza diretamente as empresas fornecedoras de IA por quaisquer danos causados – com exceção daqueles que possam provar que a culpa foi exclusivamente da própria vítima (sendo o dano autoinfligido) ou de terceiros. Considerando o histórico do Brasil, com o Marco Civil da Internet e a dificuldade para votar o “PL das Fake News”, essa parece ser uma iniciativa válida, mas que provavelmente será alvo da pressão de grandes empresas da mesma forma que vem ocorrendo na União Europeia.

O desafio

“Refletia sobre o ser que eu atirara à raça humana, dotado de vontade e poder para realizar os intentos mais horrendos.”

Naturalmente, eu não tenho uma solução para o problema exposto aqui. Ferramentas de inteligência artificial já estão sendo utilizadas não apenas por empresas, mas também por pessoas comuns em seus computadores domésticos. Até aqui, os acontecimentos não apontam para nenhum tipo de pausa nesse processo; são ferramentas que estão transformando nossas vidas, nosso consumo de informação e até mesmo nossas relações de trabalho. Assim como os computadores pessoais e a internet, são capazes de gerar impactos positivos ou negativos, mas essa visão instrumentalista pode nos levar a fechar os olhos para seu potencial prejudicial. Nossas experiências enquanto sociedade com a internet deixaram clara a necessidade de regulamentação do meio digital; e no caso da inteligência artificial, talvez haja a possibilidade de usar nossa experiência pregressa para regulamentar o uso ainda cedo, conforme a própria tecnologia se desdobra.

Empresas como a OpenAI dizem que querem regulamentação e que se importam que suas aplicações não sejam utilizadas de maneira criminosa, mas não querem ser responsabilizadas e tentam terceirizar esse trabalho, como quando Frankenstein pede ao juiz que se esforce para conter o monstro que ele mesmo criou e se considera incapaz de controlar. Não é que os governos não devam regular o uso de IA; eles devem, sobretudo no que diz respeito a problemas que já vimos que as IA podem intensificar, como desinformação, violação de privacidade e diversas formas de discriminação. No entanto, esse modelo em que as plataformas só precisam atuar no caso de ilegalidades já é usado nas redes sociais – como o Facebook e o Twitter, que têm a obrigação de moderar conteúdo de acordo com as leis brasileiras – e sabemos que não funciona.

Mesmo que as empresas fornecedoras de aplicações de IA aceitem os termos de cada governo local – o que é improvável, já que pretendem ter atuação global – por que não fortalecem suas próprias diretrizes? Na avaliação das propostas em andamento para regulamentação do uso de IA, a matéria da MIT Technology Review aponta como um ponto fraco da proposta dos Industry Standards – que é a regulamentação interna da própria indústria para o desenvolvimento de uma tecnologia – o fato de engenheiros serem responsabilizados pela elaboração de diretrizes éticas. Por que a matéria considera essa prática negativa? Será que existe engenharia e desenvolvimento tecnológico totalmente desprovido de ética? Não é o dever de um criador – engenheiro, desenvolvedor, designer – considerar as implicações éticas de suas criações?

Há alguns meses, um conjunto de especialistas (Sam Altman está entre eles) assinou uma carta aberta solicitando uma pausa de seis meses no desenvolvimento de tecnologias de IA. De volta a Love your monsters, de Latour – no qual ele fala sobre políticas ecológicas e o avanço tecnológico –, a meta de uma relação saudável entre a humanidade e a tecnologia não deve ser de interromper a inovação, mas de “ter com nossas criações o mesmo tipo de paciência e comprometimento que Deus [tem com suas criaturas]”.

A responsabilização dessas empresas criadoras é um desafio, e não é exclusivo do Brasil. Entre as que se posicionam de maneira mais amigável e aparentemente cautelosa, como a OpenAI, e as que ameaçam seus usuários nos termos de uso, como a Midjourney, nenhuma delas está disposta a perder dinheiro, usuários ou relevância. Se estamos mesmo caminhando para uma realidade em que as ferramentas generativas farão parte do nosso dia a dia (e essa é a visão mais otimista), não podemos ignorar as consequências, mas é importante, desde já, criarmos mecanismos para lidar com elas.