A vasta gama de ferramentas de IA generativas da OpenAI continua a crescer.
As empresas de pesquisa e implantação de inteligência artificial (IA), como a OpenAI, lançam continuamente recursos para o benefício da humanidade. Além do ChatGPT, DALL-E, Point-E e outras ferramentas de sucesso, a OpenAI lançou o Shap-E, um novo modelo inovador.
Então, o que é o Shap-E da OpenAI e o que ele pode fazer por você?
O que é o Shap-E da OpenAI?
Em maio de 2023, Alex Nichol e Heewon Jun, pesquisadores e colaboradores da OpenAI, divulgaram um artigo anunciando o Shap-E , a mais recente inovação da empresa. Shap-E é uma nova ferramenta treinada em um enorme conjunto de dados de imagens 3D emparelhadas e texto que pode gerar modelos 3D a partir de texto ou imagens. É semelhante ao DALL-E, que pode criar imagens 2D a partir de texto, mas o Shap-E produz ativos 3D.
Shap-E é treinado em um modelo de difusão condicional e mapeamento de ativos 3D. Mapear ativos 3D significa que Shap-E aprende a associar texto ou imagens com modelos 3D correspondentes de um grande conjunto de dados de objetos 3D existentes. Um modelo de difusão condicional é um modelo generativo que começa a partir de uma versão ruidosa da saída de destino e a refina gradualmente removendo o ruído e adicionando detalhes.
Ao combinar esses dois componentes, o Shap-E pode gerar modelos 3D realistas e diversificados que correspondem ao texto ou à imagem fornecida e podem ser visualizados de diferentes ângulos e condições de iluminação.
Como você pode usar o Shap-E do OpenAI
Shap-E não se tornou público como outras ferramentas OpenAI, mas seu peso de modelo, código de inferência e amostras estão disponíveis para download na página Shap-E GitHub.
Você pode baixar o código Shap-E gratuitamente e instalá-lo usando o comando Python pip em seu computador. Você também precisa de uma GPU NVIDIA e uma CPU de alto desempenho, pois o Shap-E consome muitos recursos.
Após a instalação, abra as imagens 3D geradas no Microsoft Paint 3D. Da mesma forma, você pode converter as imagens em arquivos STL se quiser imprimi-los usando impressoras 3D.
Você também pode relatar problemas e encontrar soluções para problemas já levantados por outras pessoas na página Shap-E GitHub.
O que você pode fazer com o Shap-E da OpenAI
O Shap-E permite que você descreva ideias complexas usando uma representação visual de ideias. As aplicações potenciais para esta tecnologia são ilimitadas, especialmente porque os visuais normalmente têm efeitos muito mais abrangentes do que os textos.
Como arquiteto, você pode usar o Shap-E para criar modelos 3D de edifícios e estruturas com base em descrições escritas. Você pode especificar as dimensões, materiais, cores e estilos das estruturas usando frases simples. Por exemplo, você pode solicitá-lo com: “Faça um arranha-céu com 60 andares e balaustradas de vidro” e exportar o (s) resultado (s) para outro software para edição posterior, se gostar dos resultados obtidos.
Os jogadores e artistas de animação podem melhorar os ambientes virtuais e as experiências visuais criando objetos e personagens 3D detalhados. Na engenharia, você pode descrever componentes, especificações e funções de máquinas e equipamentos e obter os resultados em modelos 3D antes de criar protótipos físicos.
Além disso, mesmo em áreas como educação, o Shap-E pode ajudar os educadores a comunicar ideias complexas e abstratas a seus alunos em assuntos como biologia, geometria e física.
Embora ainda seja um trabalho em andamento, o Shap-E está um passo à frente do POINT-E da OpenAI , que produz nuvens de pontos 3D com base em prompts de texto. As nuvens de pontos são limitadas em sua expressividade e resolução, muitas vezes produzindo formas borradas ou incompletas.
Gere modelos 3D usando o Shap-E do OpenAI
Shap-E é uma demonstração impressionante do poder da IA para criar conteúdo 3D a partir de linguagem natural ou imagens. Com ele, você pode criar objetos 3D para jogos de computador, experiências interativas de VR, protótipos e outros propósitos. Embora não haja garantias quanto à qualidade da saída, o modelo AI oferece uma maneira rápida e eficiente de criar um modelo 3D de qualquer coisa.
Além disso, esse modelo de IA é uma contribuição importante no espaço de aprendizado profundo e provavelmente levará a futuras inovações e criações avançadas.