Na semana passada, a OpenAI removeu Aleksander Madry, um dos principais executivos de segurança da OpenAI, de sua função e o transferiu para uma função focada no raciocínio de IA, confirmaram fontes familiarizadas com a situação à CNBC.
Madry era o chefe de preparação da OpenAI, uma equipe que tinha a “tarefa de rastrear, avaliar, prever e ajudar a proteger contra riscos catastróficos relacionados a modelos de IA de fronteira”, de acordo com um biografia para Madry.
Madry ainda trabalhará na segurança básica da IA em sua nova função, disse a OpenAI à CNBC.
Madry também é diretor do Centro de Aprendizado de Máquina Implantável do MIT e co-líder do corpo docente do Fórum de Política de IA do MIT, funções das quais ele está atualmente afastado, de acordo com a universidade. local na rede Internet.
A decisão de realocar Madry ocorreu menos de uma semana antes de um grupo de senadores democratas enviar uma carta ao CEO da OpenAI, Sam Altman, sobre “questões sobre como a OpenAI está lidando com as preocupações emergentes de segurança”.
O cartaenviado na segunda-feira e visto pela CNBC, também declarou: “Buscamos informações adicionais da OpenAI sobre as medidas que a empresa está tomando para cumprir seus compromissos públicos de segurança, como a empresa está avaliando internamente seu progresso nesses compromissos e sobre a identificação e mitigação de ameaças à segurança cibernética pela empresa.”
A OpenAI não respondeu imediatamente a um pedido de comentário.
Os legisladores solicitaram que a OpenAI respondesse com uma série de respostas a perguntas específicas sobre suas práticas de segurança e compromissos financeiros até 13 de agosto.
Tudo isso faz parte de um verão de crescentes preocupações com a segurança e controvérsias em torno da OpenAI, que, juntamente com o Google, a Microsoft, a Meta e outras empresas, está no comando de uma corrida armamentista de IA generativa — um mercado que está previsto para $ 1 trilhão de dólares em receita em uma década — à medida que empresas de praticamente todos os setores correm para adicionar chatbots e agentes com tecnologia de IA para evitar serem deixadas para trás pelos concorrentes.
No início deste mês, a Microsoft abriu mão de seu assento de observadora no conselho da OpenAI, afirmando em uma carta vista pela CNBC que agora pode se afastar porque está satisfeita com a construção do conselho da startup, que foi reformulado nos oito meses desde uma revolta que levou à breve saída do CEO Sam Altman e ameaçou o enorme investimento da Microsoft na OpenAI.
Mas no mês passado, um grupo de funcionários atuais e antigos da OpenAI publicou um carta aberta descrevendo preocupações sobre o rápido avanço da indústria de inteligência artificial, apesar da falta de supervisão e da ausência de proteção aos denunciantes que desejam se manifestar.
“As empresas de IA têm fortes incentivos financeiros para evitar uma supervisão eficaz, e não acreditamos que estruturas personalizadas de governança corporativa sejam suficientes para mudar isso”, escreveram os funcionários na época.
Dias após a publicação da carta, uma fonte familiarizada com o assunto confirmou à CNBC que a FTC e o Departamento de Justiça estavam prestes a abrir investigações antitruste sobre a OpenAI, a Microsoft e a Nvidia, com foco na conduta das empresas.
A presidente da FTC, Lina Khan, descreveu a ação de sua agência como uma “investigação de mercado sobre os investimentos e parcerias que estão sendo formadas entre desenvolvedores de IA e grandes provedores de serviços de nuvem”.
Os funcionários atuais e antigos escreveram na carta de junho que as empresas de IA têm “informações substanciais não públicas” sobre o que sua tecnologia pode fazer, a extensão das medidas de segurança que implementaram e os níveis de risco que a tecnologia apresenta para diferentes tipos de danos.
“Nós também entendemos os sérios riscos representados por essas tecnologias”, eles escreveram, acrescentando que as empresas “atualmente têm apenas obrigações fracas de compartilhar algumas dessas informações com governos, e nenhuma com a sociedade civil. Não achamos que se possa confiar que todas elas as compartilharão voluntariamente.”
Em maio, a OpenAI decidiu dissolver sua equipe focada nos riscos de longo prazo da IA apenas um ano após anunciar o grupo, confirmou à CNBC na época uma pessoa familiarizada com a situação.
A pessoa, que falou sob condição de anonimato, disse que alguns membros da equipe estão sendo transferidos para outras equipes dentro da empresa.
A equipe foi dissolvida depois que seus líderes, o cofundador da OpenAI Ilya Sutskever e Jan Leike, anunciaram suas saídas da startup em maio. Leike escreveu em um post no X que a “cultura e os processos de segurança da OpenAI ficaram em segundo plano em relação aos produtos brilhantes”.
CEO Sam Altman disse na época em X ele estava triste por ver Leike sair e que a empresa tinha mais trabalho a fazer. Logo depois, o cofundador da OpenAI Greg Brockman postou uma declaração atribuída a Brockman e Altman no X, afirmando que a empresa “aumentou a conscientização sobre os riscos e oportunidades da AGI para que o mundo possa se preparar melhor para isso”.
“Entrei porque pensei que a OpenAI seria o melhor lugar do mundo para fazer essa pesquisa”, Leike escreveu em X na época. “No entanto, eu tenho discordado da liderança da OpenAI sobre as principais prioridades da empresa por um bom tempo, até que finalmente chegamos a um ponto de ruptura.”
Leike escreveu que acredita que muito mais da largura de banda da empresa deveria ser focada em segurança, monitoramento, preparação, proteção e impacto social.
“Esses problemas são bem difíceis de resolver, e estou preocupado que não estejamos em uma trajetória para chegar lá”, ele escreveu. “Nos últimos meses, minha equipe tem navegado contra o vento. Às vezes, estávamos lutando por [computing resources] e estava ficando cada vez mais difícil realizar essa pesquisa crucial.”
Leike acrescentou que a OpenAI deve se tornar uma “empresa de AGI que prioriza a segurança”.
“Construir máquinas mais inteligentes que os humanos é um empreendimento inerentemente perigoso”, ele escreveu na época. “A OpenAI está assumindo uma enorme responsabilidade em nome de toda a humanidade. Mas, nos últimos anos, a cultura e os processos de segurança ficaram em segundo plano em relação a produtos brilhantes.”
A informação em primeiro lugar relatado sobre a transferência de Madry.