O tão esperado modelo Gemini AI do Google finalmente chegou, mas será que ele pode destronar o GPT-4 da OpenAI?
O Google tem prometido consistentemente que seu modelo Gemini AI seria melhor que o GPT-4 da OpenAI, o modelo que alimenta o ChatGPT Plus. Agora que o Google Gemini foi lançado, podemos finalmente testá-lo e ver como o Gemini se compara ao GPT-4.
Quando o Google lançou o Bard em março de 2023, havia muitos motivos para estar animado. Finalmente, o monopólio ChatGPT da OpenAI seria quebrado e teríamos uma concorrência digna.
Mas Bard nunca foi o titã de IA que as pessoas esperavam, e o GPT-4 continua sendo a plataforma de chatbot de IA generativa dominante. Agora, o Gemini do Google está aqui – mas o tão esperado modelo de IA é melhor que o ChatGPT?
O que é o modelo Gemini AI do Google?
Gemini é o modelo de IA generativo mais capaz do Google, capaz de compreender e operar em diferentes formatos de dados, incluindo texto, áudio, imagem e vídeo. É a tentativa do Google de criar um modelo unificado de IA extraindo recursos de suas tecnologias de IA mais capazes. Gemini estará disponível em três variantes:
- Gemini Ultra: A variante maior e mais capaz projetada para lidar com tarefas altamente complexas.
- Gemini Pro: O melhor modelo para dimensionar e fornecer alto desempenho em uma ampla gama de tarefas, mas menos capaz que o Ultra.
- Gemini Nano: o modelo mais eficiente projetado para implantação de tarefas no dispositivo. Por exemplo, os desenvolvedores podem usar o Gemini Nano para criar aplicativos móveis ou sistemas integrados, trazendo IA poderosa para o espaço móvel.
Em seu blog oficial, The Keyword, o Google afirma que o Gemini Ultra supera o que há de mais moderno em diversos benchmarks. O Google afirma que o Gemini Ultra supera o GPT-4, líder do setor, em vários benchmarks importantes.
Com uma pontuação sem precedentes de 90,0% no rigoroso benchmark MMLU, o Google afirma que o Gemini Ultra é o primeiro modelo a superar o desempenho do nível humano neste teste multifacetado abrangendo 57 indivíduos.
Gemini Ultra também pode compreender, explicar e gerar código de alta qualidade em algumas das linguagens de programação mais populares do mundo, incluindo Go, JavaScript, Python, Java e C++. No papel, todos esses resultados são ótimos. Mas estes são todos valores de referência, e os valores de referência nem sempre contam toda a história. Então, qual é o desempenho do Gemini em tarefas do mundo real?
Como usar a IA do Google Gemini
Das três variantes do modelo Gemini AI, você pode começar a usar o Gemini Pro agora mesmo. Gemini Pro está atualmente disponível no chatbot Bard do Google. Para usar o Gemini Pro com Bard, acesse bard.google.com e faça login com sua conta do Google.
O Google diz que o Gemini Ultra será lançado em janeiro de 2024, então tivemos que nos contentar em testar o Gemini Pro contra o ChatGPT por enquanto.
Como o Gemini se compara ao GPT-3.5 e GPT-4
Quando qualquer novo modelo de IA é lançado, ele é testado em relação aos modelos GPT AI da OpenAI, que são geralmente aceitos como o modelo de última geração contra o qual outros modelos deveriam ser comparados. Portanto, usando Bard e ChatGPT, testamos a habilidade do Gemini em matemática, escrita criativa, geração de código e processamento preciso de entradas de imagem.
Começando com a questão matemática mais fácil que pudemos imaginar, pedimos aos dois chatbots que resolvessem: -1 x -1 x -1 .
Bard foi primeiro. Repetimos a pergunta duas vezes, todas retornando com respostas erradas. Conseguimos a resposta na terceira tentativa, mas isso não conta.
Tentamos o ChatGPT rodando em GPT-3.5. O primeiro teste deu certo.
Para testar as habilidades de interpretação de imagens de Gêmeos, nós o encarregamos de interpretar alguns memes populares. Ele recusou, dizendo que não consegue interpretar imagens com pessoas nelas. ChatGPT, executando GPT-4V, estava disposto e era capaz de fazê-lo perfeitamente.
Tentamos outra tentativa de fazê-lo interpretar uma imagem enquanto testamos sua capacidade de resolução de problemas e codificação. Fornecemos a Bard, executando o Gemini Pro, uma captura de tela e pedimos que ele interpretasse e escrevesse código HTML e CSS para replicar a captura de tela.
Aqui está a captura de tela da fonte.
Abaixo está a tentativa do Gemini Pro de interpretar e replicar a captura de tela usando HTML e CSS.
E aqui está a tentativa do GPT-4 de replicar a captura de tela. O resultado não é surpreendente, considerando que o GPT-4 tem sido historicamente forte em codificação. Demonstramos anteriormente o uso do GPT-4 para criar um aplicativo da web do zero.
Pedimos ao Gemini Pro que criasse um poema sobre Tesla (a marca de veículos elétricos). Ele mostrou melhorias marginais em relação aos testes anteriores que fizemos no passado. Aqui está o resultado:
Neste ponto, pensamos que comparar os resultados com o GPT-3.5 em vez do GPT-4 superalimentado seria mais apropriado. Então, pedimos ao ChatGPT executando GPT-3.5 para criar um poema semelhante.
Pode ser uma escolha pessoal, mas a opinião do Gemini Pro sobre isso parece melhor. Mas vamos deixar você ser o juiz.
Gêmeos é melhor que ChatGPT?
Antes de o Google lançar o Bard, pensávamos que seria a competição ChatGPT que esperávamos – não foi. Agora, o Gemini está aqui e, até agora, o Gemini Pro não parece ser o modelo para dar um nocaute ao ChatGPT.
O Google diz que o Gemini Ultra será muito melhor. Nós realmente esperamos que sim e que atenda ou exceda as afirmações feitas no anúncio do Gemini Ultra. Mas até vermos e testarmos a melhor versão da ferramenta generativa de IA do Google, não saberemos se ela poderá derrubar outros concorrentes do modelo de IA. Da forma como está, o GPT-4 continua sendo o campeão indiscutível do modelo de IA.