Lu Zhang, fundador e sócio-gerente do Fusion Fund, é um renomado investidor baseado no Vale do Silício e um empreendedor em série na área de saúde.
O lançamento do ChatGPT inaugurou na era dos grandes modelos de linguagem. Além das ofertas da OpenAI, outros LLMs incluem a família de LLMs LaMDA do Google (incluindo Bard), o projeto BLOOM (uma colaboração entre grupos da Microsoft, Nvidia e outras organizações), LLaMA da Meta e Claude da Anthropic.
Sem dúvida, mais serão criados. Na verdade, uma pesquisa da Arize de abril de 2023 descobriu que 53% dos entrevistados planejavam implantar LLMs no próximo ano ou antes. Uma abordagem para fazer isso é criar um LLM “vertical” que comece com um LLM existente e o retreine cuidadosamente no conhecimento específico de um domínio específico. Esta tática pode funcionar para ciências da vida, produtos farmacêuticos, seguros, finanças e outros setores empresariais.
A implantação de um LLM pode proporcionar uma vantagem competitiva poderosa — mas apenas se for bem feita.
Os LLMs já levaram a questões de interesse jornalístico, como a tendência de “alucinar” informações incorretas. Este é um problema grave e pode distrair a liderança de preocupações essenciais com os processos que geram esses resultados, que podem ser igualmente problemáticos.
Os desafios de treinar e implantar um LLM
Um problema com o uso de LLMs é seu enorme custo operacional porque a demanda computacional para treiná-los e executá-los é muito intensa (eles não são chamados de modelos de linguagem grandes à toa).
Os LLMs são estimulantes, mas desenvolvê-los e adotá-los exige a superação de vários obstáculos de viabilidade.
Primeiro, o hardware para executar os modelos é caro. A GPU H100 da Nvidia, uma escolha popular para LLMs, foi vendida no mercado secundário por cerca de US$ 40.000 por chip. Uma fonte estimou que seriam necessários cerca de 6.000 chips para treinar um LLM comparável ao ChatGPT-3.5. Isso representa cerca de US$ 240 milhões apenas em GPUs.
Outra despesa significativa é alimentar esses chips. Estima-se que o simples treinamento de um modelo exija cerca de 10 gigawatts-hora (GWh) de energia, o equivalente ao uso anual de eletricidade em 1.000 residências nos EUA. Depois que o modelo for treinado, seu custo de eletricidade irá variar, mas pode ficar exorbitante. Essa fonte estimou que o consumo de energia para executar o ChatGPT-3.5 é de cerca de 1 GWh por dia, ou o uso diário combinado de energia de 33.000 residências.
O consumo de energia também pode ser uma armadilha potencial para a experiência do usuário ao executar LLMs em dispositivos portáteis. Isso ocorre porque o uso intenso de um dispositivo pode esgotar sua bateria muito rapidamente, o que seria uma barreira significativa para a adoção pelo consumidor.
