Os sistemas de machine learning [sistema de aprendizado de máquina, essencial ao desenvolvimento da inteligência artificial] estão cada vez mais se infiltrando em nossas vidas cotidianas, desafiando nossos valores morais e sociais e as regras que os governam. Atualmente, os assistentes virtuais ameaçam a privacidade do lar, recomendações de notícias moldam a maneira como entendemos o mundo, sistemas de previsão de risco orientam os assistentes sociais sobre quais crianças devem ser protegidas contra abusos, enquanto as ferramentas de contratação orientadas por dados também classificam suas chances de conseguir um emprego. No entanto, a ética do machine learning permanece obscura para muitos.
Ao pesquisar artigos sobre o assunto para jovens engenheiros do curso de Ética e Tecnologia da Informação e Comunicação da UCLouvain, na Bélgica, fiquei particularmente impressionado com o caso de Joshua Barbeau, um homem de 33 anos que usou um site chamado Project December para criar um robô conversacional – um chatbot – que simularia uma conversa com sua falecida noiva, Jessica.
Os chatbots que imitam pessoas mortas
Conhecido como deadbot, esse tipo de chatbot permitia que Barbeau trocasse mensagens de texto com uma “Jessica” artificial. Apesar da natureza eticamente controversa do caso, raramente encontrei materiais que fossem além do mero aspecto factual e analisassem o caso através de uma lente normativa explícita: por que seria certo ou errado, eticamente desejável ou condenável, desenvolver um deadbot?
Antes de lidar com essas perguntas, vamos contextualizar: o Project December foi criado por Jason Rohrer, um desenvolvedor de jogos, para permitir que as pessoas personalizem chatbots com a personalidade com a qual desejam interagir, desde que paguem por isso. O projeto foi construído com base em uma API do GPT-3, um modelo de linguagem geradora de texto da empresa de pesquisa em inteligência artificial OpenAI. O caso de Barbeau desencadeou um conflito entre Rohrer e a OpenAI porque as diretrizes da empresa proíbem explicitamente que o GPT-3 seja usado para fins sexuais, amorosos, de automutilação ou bullying.
Chamando a posição da OpenAI de hipermoralista e argumentando que pessoas como Barbeau eram “adultos com capacidade de consentir”, Rohrer encerrou a versão GPT-3 do Project December. Embora todos possamos ter intuições sobre se é certo ou errado desenvolver um deadbot através de machine learning, explicar suas implicações dificilmente é uma tarefa fácil. É por isso que é importante abordar as questões éticas levantadas pelo caso, passo a passo.
O consentimento de Barbeau é suficiente para desenvolver o deadbot de Jessica?
Como Jessica era uma pessoa real (embora morta), o fato de Barbeau consentir com a criação de um deadbot imitando-a parece-me insuficiente. Mesmo quando morrem, as pessoas não são meras coisas com as quais os outros podem fazer o que quiserem. É por isso que nossas sociedades consideram errado profanar ou desrespeitar a memória dos mortos. Em outras palavras, temos certas obrigações morais com os mortos, na medida em que a morte não implica necessariamente que as pessoas deixem de existir de maneira moralmente relevante.
Da mesma forma, o debate está aberto sobre se devemos proteger os direitos fundamentais dos mortos (por exemplo, privacidade e dados pessoais). Desenvolver um deadbot replicando a personalidade de alguém requer grandes quantidades de informações pessoais, como dados de redes sociais (veja o que a Microsoft ou a Eternime propõem), algo já provado que pode revelar traços altamente sensíveis sobre as pessoas.
Se concordarmos que não é ético usar os dados das pessoas sem o consentimento delas enquanto estiverem vivas, por que deveria ser ético fazê-lo após a morte? Nesse sentido, ao desenvolver um deadbot, parece razoável solicitar o consentimento daquele cuja personalidade é espelhada – neste caso, Jéssica.
Quando a pessoa imitada permite
Assim, a segunda pergunta é: o consentimento de Jessica seria suficiente para considerar ética a criação de seu deadbot? E se fosse degradante para sua memória?
Os limites do consentimento são, de fato, uma questão controversa. Tomemos como exemplo paradigmático o “Canibal de Rotenburg”, que foi condenado à prisão perpétua apesar de sua vítima ter concordado em ser comida. A esse respeito, tem-se argumentado que é antiético consentir com coisas que podem ser prejudiciais a nós mesmos, seja fisicamente (vender os próprios órgãos vitais) ou abstratamente (alienar os próprios direitos).
Em que termos específicos algo que pode ser prejudicial aos mortos é uma questão particularmente complexa que não analisarei completamente. Vale notar, porém, que mesmo que os mortos não possam ser prejudicados ou ofendidos da mesma forma que os vivos, isso não significa que sejam invulneráveis a maltratos, ainda que sejam (em tese) éticas. Os mortos podem sofrer danos à sua honra, reputação ou dignidade (por exemplo, campanhas de difamação póstuma), e o desrespeito aos mortos também prejudica aqueles próximos a eles. Além disso, desrespeitar os mortos nos leva a uma sociedade mais injusta e menos respeitosa com a dignidade das pessoas em geral.
Por fim, dada a maleabilidade e imprevisibilidade dos sistemas de machine learning, existe o risco de que o consentimento fornecido pela pessoa imitada (em vida) não signifique muito mais do que um cheque em branco sobre seus possíveis caminhos.
Levando tudo isso em consideração, parece razoável concluir que se o desenvolvimento ou uso do deadbot não corresponder ao que a pessoa imitada concordou, seu consentimento deveria ser considerado inválido. Além disso, se de forma clara e intencional fere sua dignidade, mesmo seu consentimento não deve ser suficiente para considerá-lo ético.
Quem assume a responsabilidade?
Uma terceira questão é se os sistemas de inteligência artificial devem aspirar a imitar qualquer tipo de comportamento humano (independentemente do fato disso ser possível).
Essa tem sido uma preocupação de longa data no campo da IA e está intimamente ligada à disputa entre Rohrer e a OpenAI. Devemos desenvolver sistemas artificiais capazes de, por exemplo, cuidar dos outros ou tomar decisões políticas? Parece que há algo nessas habilidades que torna os humanos diferentes dos outros animais e das máquinas. Portanto, é importante notar que instrumentalizar a IA para fins tecno-solucionistas, como substituir entes queridos, pode levar a uma desvalorização do que nos caracteriza como seres humanos.
A quarta questão ética é quem é responsável pelos resultados de um deadbot – especialmente no caso de efeitos nocivos. Imagine que o deadbot de Jessica aprendeu autonomamente a atuar de uma maneira que rebaixava sua memória ou deteriorar irreversivelmente a saúde mental de Barbeau. Quem assumiria a responsabilidade? Os especialistas em IA respondem a essa pergunta escorregadia por meio de duas abordagens principais: primeiro, a responsabilidade recai sobre os envolvidos no projeto e desenvolvimento do sistema, desde que o façam de acordo com seus interesses e visões de mundo particulares; segundo, os sistemas de machine learning são dependentes do contexto, de modo que as responsabilidades morais de suas ações devem ser distribuídas entre todos os agentes que interagem com eles.
Eu me posiciono próximo a primeira posição. Neste caso, como há uma co-criação explícita do deadbot que envolve OpenAI, Jason Rohrer e Joshua Barbeau, considero lógico analisar o nível de responsabilidade de cada parte.
Primeiro, seria difícil responsabilizar o OpenAI depois que eles proibissem explicitamente o uso de seu sistema para fins sexuais, amorosos, de automutilação ou bullying. Parece razoável atribuir um nível significativo de responsabilidade moral a Rohrer porque ele:
- Projetou explicitamente o sistema que possibilitou a criação do deadbot;
- O fez sem antecipar medidas para evitar potenciais resultados adversos;
- Estava ciente de que estava descumprindo as diretrizes da OpenAI; e
- Lucrou com isso. E porque Barbeau personalizou o deadbot com base em características particulares de Jessica, parece legítimo considerá-lo corresponsável no caso de degradar sua memória.
Ético, sob certas condições
Então, voltando à nossa primeira pergunta geral sobre se é ético desenvolver um deadbot de aprendizado de máquina, poderíamos dar uma resposta afirmativa com a condição de que:
- Tanto a pessoa imitada quanto a que personaliza e interage com ele deram seu consentimento livre para uma descrição tão detalhada quanto possível do design, desenvolvimento e usos do sistema;
- São proibidos desenvolvimentos e usos que não respeitem o consentimento do imitado ou que contrariem a sua dignidade;
- As pessoas envolvidas em seu desenvolvimento e aqueles que lucram com isso assumem a responsabilidade por seus potenciais resultados negativos. Tanto retroativamente, para contabilizar eventos que aconteceram, quanto prospectivamente, para prevenir ativamente que eles aconteçam no futuro.
Este caso exemplifica por que a ética no machine learning é importante. Também ilustra por que é essencial abrir um debate público que possa informar melhor os cidadãos e nos ajudar a desenvolver medidas políticas para tornar os sistemas de IA mais abertos, socialmente justos e compatíveis com os direitos fundamentais.
* * * * *
Autora: Sara Suárez-Gonzalo*, publicado originalmente no site OutrasPalavras.
* Pesquisadora de pós-doutoramento no grupo de investigação CNSC-IN3 (Universitat Oberta de Catalunya), escreveu este artigo durante uma estadia de investigação na Chaire Hoover d’éthique économique et sociale (UCLouvain).
Imagem do post por Owen Gent
