Antes de Illia Polosukhin partir Google em 2017, ele fez um almoço de brainstorming e depois voltou para sua mesa para construir o que pode ter sido o primeiro transformador, a arquitetura de rede neural que torna possível a inteligência artificial generativa.
Agora, Polosukhin é considerado um dos fundadores da IA moderna.
Polosukhin co-escreveu o agora famoso artigo de 2017, “Atenção é tudo que você precisa” junto com sete colegas do Google, que se tornaram conhecidos coletivamente como o “Transformer 8”. Sete deles apareceram juntos no palco pela primeira vez em Nvidiaconferência anual de desenvolvedores da em março, onde o CEO Jensen Huang disse: “Tudo o que estamos aproveitando hoje pode ser rastreado até aquele momento.”
Sete dos “Transformer 8” juntaram-se ao CEO da Nvidia, Jensen Huang, na GTC, a conferência anual de desenvolvedores da Nvidia em San Jose, em 20 de março de 2024. Da esquerda para a direita: Lukasz Kaiser, Noam Shazeer, Aidan Gomez, Jensen Huang, Llion Jones, Jakob Uszkoreit , Ashish Vaswani e Illia Polosukhin.
Nvidia
Polosukhin disse que o Google começou a utilizar transformadores em 2018 no Google Translate, o que proporcionou uma “grande melhoria”. Mas o uso amplamente popular da tecnologia não ocorreu até que a OpenAI lançou o ChatGPT em novembro de 2022.
“A OpenAI tinha muito pouco a perder ao abrir isso”, disse Polosukhin à CNBC. “Se, por exemplo, qualquer outra empresa, principalmente de capital aberto, abrisse e a primeira pergunta que você fizesse ali fosse como uma resposta inadequada, isso seria notícia.”
Quando o artigo formativo foi publicado no final de 2017, Polosukhin havia saído do Google para iniciar sua própria empresa de IA, Aproximar, com o colega engenheiro de software Alexander Skidanov. Todos os oito autores já deixaram o Google, embora Polosukhin tenha sido o primeiro a sair.
“A pesquisa do Google é um ambiente incrível”, disse Polosukhin. “É ótimo para o aprendizado e para essa pesquisa. Mas se você quiser avançar muito rápido e, o que é mais importante, colocar algo na frente de um usuário, então o Google é uma grande empresa com muitos processos e, com razão, protocolos de segurança, etc., que são necessários.”
Em última análise, disse ele, “para o Google não faz sentido lançar algo que não seja uma ideia de US$ 1 bilhão”.
Enquanto estava no Google, Polosukhin foi um defensor do código aberto.
“Na época, abri-lo e disponibilizá-lo para que todos pudessem construir sobre ele foi a decisão certa”, disse ele.
Com o Near, Polosukhin está focado no que ele chama de IA de propriedade do usuário, “que otimiza a privacidade e a soberania dos usuários”.
Assista ao vídeo para ouvir a conversa completa entre Katie Tarasov e Illia Polosukhin, da CNBC.