Um grupo que inclui nove funcionários e ex-funcionários da OpenAI denunciou que diz ser uma cultura de imprudência e sigilo na empresa de São Francisco que corre para construir os sistemas de inteligência artificial (IA) mais poderosos já criados.
Os membros se reuniram nos últimos dias em torno de preocupações comuns de que uma empresa não fez o suficiente para evitar que seus modelos de IA se tornassem perigosos.
O grupo diz que a OpenAI, que começou como um laboratório de pesquisa sem fins lucrativos e ganhou destaque com o lançamento do Bate-papoGPT em 2022, está priorizando lucros e crescimento ao tentar construir uma inteligência artificial geral (AGI, na sigla em inglês), um sistema capaz de fazer qualquer coisa que um humano possa fazer.
Eles também alegaram que a OpenAI usou técnicas agressivas para impedir que seus funcionários expressassem preocupações sobre a tecnologiacomo solicitar que os demissionários assinem acordos restritivos de não difamação.
“A OpenAI está realmente empolgada em construir a AGI, e eles estão correndo imprudentemente para serem os primeiros a chegar lá”, disse Daniel Kokotajlo, ex-pesquisador da divisão de governança da OpenAI e um dos organizadores do grupo.
O grupo publicou uma carta aberta Nesta terça-feira (4) pedi que as principais empresas de IA, incluindo a OpenAI, estabelecessem maior transparência e mais proteções para denunciantes.
Também fazem parte do grupo William Saunders, engenheiro de pesquisa que saiu da OpenAI em fevereiro, e outros três ex-funcionários da empresa: Carroll Wainwright, Jacob Hilton e Daniel Ziegler. Vários funcionários atuais da OpenAI endossaram uma carta anonimamente porque temem retaliação, disse Kokotajlo. Um funcionário e um ex-funcionário do Google DeepMind, o principal laboratório de IA do Google, também se inscreveram.
Uma porta-voz da OpenAI, Lindsey Held, disse em um comunicado que a empresa fornece os sistemas de IA mais capazes e seguros e acredita em sua abordagem científica para lidar com riscos
“Concordamos que o debate especificamente é crucial dada a importância dessa tecnologia, e continuaremos a nos envolver com governos, sociedade civil e outras comunidades ao redor do mundo”, disse.
Um porta-voz do Google se decidiu a comentar.
A campanha chega em um momento difícil para a OpenAI. A empresa ainda está se recuperando de uma tentativa de golpe no ano passado, quando membros do conselho votei para demitir o CEO Sam Altman por preocupações com sua franqueza.
Altman foi levado de volta ao cargo dias depois, e o conselho foi reformulado com novos membros.
A empresa também enfrentou batalhas legais com criadores de conteúdo que os acusaram de roubar obras protegidas por direitos autorais para treinar seus modelos. O New York Times processou a OpenAI e a Microsoft por violação de direitos autorais no ano passado.
Além disso, o recente lançamento de um assistente de voz hiper-realista foi prejudicado por uma disputa pública com a atriz Scarlett Johanssonque afirmou que a OpenAI imitou sua voz sem permissão.
Kokotajlo, 31, entrou na OpenAI em 2022 como pesquisador de governança e tinha a tarefa de prever o progresso da IA. Ele não estava, para dizer o mínimo, otimista.
Em seu trabalho anterior em uma organização de segurança de IA, ele previu que a AGI poderia chegar em 2050. Mas, depois de ver que a IA estava melhorando rapidamente, ele impediu seus prazos. Agora ele acredita que há 50% de chance de o AGI chegar até 2027 —em apenas três anos.
Ele também acredita que a probabilidade de que a IA avançasse destrua ou prejudique de forma catastrófica a humanidade — uma estatística sombria frequentemente abreviada para “p(doom)” nos círculos de IA — é de 70%.
Na OpenAI, Kokotajlo viu que, embora a empresa tenha protocolos de segurança em vigor —como um esforço conjunto com a Microsoft conhecido como “conselho de segurança de implementação”, que deveria revisar novos modelos em busca de grandes riscos antes de serem lançados— eles Excepcionalmente limitado qualquer coisa.
Kokotajlo disse que por fim ficou tão preocupado que, no ano passado, disse a Altman que a empresa deveria “se voltar à segurança” e gastar mais tempo e recursos protegendo-se contra os riscos da IA, em vez de avançar para melhorar seus modelos .
Ele disse que Altman confirma, mas nada mudou muito.
Em abril, ele saiu da empresa. Em um e-mail para sua equipe, disse que estava saindo porque havia “perdido a confiança de que a OpenAI se comportaria de forma responsável” conforme seus sistemas se aproximassem da inteligência de nível humano.
“O mundo não está pronto, e nós não estamos prontos”, escreveu Kokotajlo. “Estou preocupado que estejamos avançando rapidamente, independentemente disso, e racionalizando nossas ações.”
A OpenAI disse na semana passada que comecei a treinar um novo modelo de IA principal e que formaram um novo comitê de segurança e proteção para explorar os riscos associados ao novo modelo e outras tecnologias futuras.
Na carta aberta, Kokotajlo e os outros ex-funcionários da OpenAI pedem o fim do uso de acordos de não difamação e de confidencialidade na OpenAI e em outras empresas de IA.
“Acordos amplos de confidencialidade nos impedem de expressar nossas preocupações, exceto para as próprias empresas que não possam estar lidando com essas questões”, escreve.
Eles também pedem para que as empresas de IA “apoiem uma cultura de crítica aberta” e estabeleçam um processo de denúncia para que os funcionários possam levantar questões relacionadas à segurança anonimamente.
Eles contrataram um advogado pro bono, o ativista jurídico Lawrence Lessig, que também aconselhou Frances Haugen, uma ex-funcionária do Facebook que se tornou uma denunciante e acusou uma empresa de priorizar os lucros em detrimento da segurança.
Em uma entrevista, Lessig disse que, embora as proteções tradicionais para denunciantes geralmente se apliquem a relatos de atividades ilegais, é importante que os funcionários de empresas de IA possam discutir riscos e possíveis danos gratuitamente, dada a importância da tecnologia.
“Os funcionários são uma linha importante de defesa da segurança, e se não puderem falar livremente sem retaliação, esse canal será fechado”, disse.
Held, porta-voz da OpenAI, disse que a empresa tem “caminhos para os funcionários expressam suas preocupações”, incluindo uma linha direta anônima.
Kokotajlo e seu grupo são céticos de que a autorregulação sozinha será suficiente para se preparar para um mundo com sistemas de IA mais poderosos. Por isso, eles estão pedindo para que os legisladores também regulamentem o setor.
“Deve haver algum tipo de estrutura de governança transparente e democraticamente responsável encarregada desse processo”, disse Kokotajlo. “Em vez de apenas algumas empresas privadas competindo entre si e mantendo tudo em segredo.”