A inteligência artificial (IA) generativa tem se mostrado uma área promissora no desenvolvimento de sistemas capazes de criar conteúdo original e criativo.
Nesse contexto, o surgimento de grandes modelos multimodais (LMM) tem revolucionado a forma como a IA é utilizada, permitindo a geração de texto, imagem e áudio de alta qualidade. No entanto, esses modelos geralmente são proprietários e de difícil acesso, o que limita seu uso e desenvolvimento.
É nesse cenário que o LLaVA 1.5 surge como uma alternativa promissora, sendo um modelo de código aberto que busca democratizar o acesso a IA generativa.
No artigo a seguir, discutiremos o surgimento dos grandes modelos multimodais e sua importância para a IA generativa. Veremos como esses modelos têm sido utilizados em diferentes áreas, como criação de arte, produção de música e até mesmo na geração de roteiros para filmes.
Além disso, abordaremos em detalhes o LLaVA 1.5, um modelo de código aberto que tem se destacado como uma alternativa ao GPT-4 Vision, um dos modelos mais populares atualmente.
O futuro dos LLMs de código aberto também será explorado, analisando as possibilidades de desenvolvimento e colaboração que esses modelos oferecem. Veremos como a comunidade de desenvolvedores tem se engajado na criação e aprimoramento desses modelos, e como isso pode impulsionar ainda mais a IA generativa.
Não perca a oportunidade de conhecer mais sobre o LLaVA 1.5 e descobrir como os modelos de código aberto estão revolucionando a forma como interagimos com a inteligência artificial.
Leia o artigo completo e descubra como o LLaVA 1.5 está transformando a IA generativa e abrindo novas possibilidades para a criação de conteúdo original e criativo.
Acompanhe as tendências e os avanços nessa área em constante evolução e esteja à frente das inovações tecnológicas. Não perca essa oportunidade de se aprofundar no mundo da IA generativa e descobrir como ela pode transformar a forma como interagimos com a tecnologia.
A evolução da inteligência artificial generativa tem sido marcada pelo surgimento de grandes modelos multimodais (LMM). Esses modelos têm revolucionado a forma como interagimos com sistemas de IA, permitindo o uso de imagens e texto como entrada.
Um exemplo líder nessa tecnologia é o GPT-4 Vision da OpenAI. No entanto, seu caráter fechado e comercial pode restringir suas aplicações em certos contextos.
Diante desse desafio, a comunidade de código aberto está respondendo com propostas alternativas, entre elas o LLaVA 1.- Esse modelo emergente promete ser uma alternativa promissora ao GPT-4 Vision, oferecendo um acesso aberto e livre às suas capacidades.
O LLaVA 1.5 é resultado da combinação de diversos componentes de IA generativa e foi otimizado para criar um modelo de computação eficiente capaz de realizar múltiplas tarefas com alta precisão.
Embora não seja o único LMM de código aberto disponível, sua eficiência computacional e alto desempenho podem apontar para uma nova direção na pesquisa desses modelos.
Surgimento de grandes modelos multimodais (LMM)
Os LMMs geralmente são compostos por uma arquitetura que combina vários componentes pré-existentes. Entre eles estão um modelo pré-treinado para codificar recursos visuais, um modelo de linguagem grande (LLM) pré-treinado para compreender instruções do usuário e gerar respostas, além de um conector cruzado de visão-linguagem para alinhar o codificador de visão e o modelo de linguagem.
O treinamento de um LMM que segue instruções normalmente envolve duas etapas. Na primeira etapa, conhecida como pré-treinamento de alinhamento de visão-linguagem, são utilizados pares de imagens e texto para alinhar os recursos visuais com o espaço de incorporação de palavras do modelo de linguagem.
Já a segunda etapa, chamada ajuste de instrução visual, permite que o modelo siga e responda a indicações envolvendo conteúdo visual. Essa etapa apresenta desafios, já que exige muito poder computacional e um conjunto amplo de dados bem selecionados.
O LLaVA 1.5: um promissor modelo de código aberto alternativo ao GPT-4 Vision
O LLaVA 1.5 se destaca por utilizar o modelo CLIP (Contrastive Language-Image Pre-training) como seu codificador visual. Desenvolvido pela OpenAI em 2021, o CLIP aprende a associar imagens e texto por meio do treinamento em um vasto conjunto de pares imagem-descrição. Esse modelo é utilizado em avançados modelos de texto para imagem, como o DALL-E 2.
Já o modelo de linguagem do LLaVA é chamado Vicuna, uma versão ajustada do modelo LLaMA da Meta, voltado para seguir instruções. O LLaVA original utilizava apenas as versões textuais do ChatGPT e do GPT-4 para gerar dados de treinamento para ajuste visual.
Os pesquisadores forneceram ao LLM descrições de imagens e metadados, solicitando que ele criasse diálogos, perguntas, respostas e problemas de raciocínio com base na imagem.
Esse método gerou cerca de 158.000 exemplos de treinamento para o LLaVA se aprimorar no seguimento de instruções visuais, sendo altamente eficaz.
No LLaVA 1.5, houve melhorias em relação à versão original, como a conexão do modelo de linguagem e do codificador visual através de um perceptron de múltiplas camadas (MLP).
Essa é uma rede neural simples em que todos os neurônios estão totalmente conectados. Além disso, foram adicionados conjuntos adicionais de dados de perguntas e respostas visuais de código aberto ao conjunto de treinamento.
A resolução da imagem de entrada também foi aumentada, e dados do ShareGPT – uma plataforma online para compartilhar conversas com o ChatGPT – foram coletados.
O conjunto final de dados de treinamento contou com cerca de 600.000 exemplos e demandou aproximadamente um dia em oito GPUs A100, custando apenas algumas centenas de dólares.
Segundo os pesquisadores, o LLaVA 1.5 supera outros LMMs de código aberto em 11 dos 12 benchmarks multimodais estabelecidos.
O futuro dos LLMs de código aberto
Uma demonstração online do LLaVA 1.5 já está disponível e tem mostrado resultados impressionantes mesmo em um modelo menor, que pode ser treinado e executado com orçamento limitado.
O código e o conjunto de dados também são acessíveis, incentivando o desenvolvimento e a personalização adicionais. Usuários estão compartilhando exemplos interessantes em que o LLaVA 1.5 é capaz de lidar com comandos complexos.
Apesar desses avanços, é importante ressaltar que o LLaVA 1.5 possui algumas limitações. Por ter sido treinado com dados gerados pelo ChatGPT, ele não pode ser utilizado para fins comerciais devido aos termos de uso da ferramenta, que proíbem o uso para treinar modelos comerciais concorrentes.
Criar um produto de IA envolve enfrentar diversos desafios além do treinamento do modelo, e o LLaVA ainda não é um concorrente direto do GPT-4 Vision, que é conveniente, fácil de usar e integrado a outras ferramentas da OpenAI, como o DALL-E 3 e plugins externos.
Contudo, o LLaVA 1.5 possui atributos atrativos, como sua relação custo-efetividade e capacidade de gerar grandes volumes de dados de treinamento para ajuste de instruções visuais com LLMs.
Existem diversas alternativas de código aberto ao ChatGPT que podem servir a esse propósito. É apenas uma questão de tempo até que outros pesquisadores repliquem o sucesso do LLaVA 1.5 e explorem novas possibilidades, incluindo licenciamento permissivo e modelos aplicados a casos específicos.
O LLaVA 1.5 representa apenas um vislumbre do que podemos esperar nos próximos meses no campo dos LMMs de código aberto. À medida que a comunidade de código aberto continua a inovar, podemos antecipar modelos mais eficientes e acessíveis, democratizando ainda mais as novas tecnologias de IA generativa.