Sky-T1: IA de Raciocínio Open Source por um Custo Inédito
O desenvolvimento de modelos de inteligência artificial com capacidade de raciocínio está se tornando cada vez mais acessível e econômico. Na última sexta-feira, pesquisadores do Sky Computing Lab da UC Berkeley apresentaram o Sky-T1-32B-Preview, um modelo open source competitivo com versões iniciais do o1 da OpenAI, e que foi treinado por menos de $450.
Este lançamento representa um marco no campo da IA, pois o Sky-T1 é um dos primeiros modelos de raciocínio verdadeiramente open source. Além de disponibilizar o código de treinamento, a equipe da NovaSky também liberou o conjunto de dados utilizado, permitindo que o modelo seja replicado do zero.
“Treinar o Sky-T1 por menos de $450 demonstra que é possível replicar capacidades de raciocínio avançado de maneira acessível e eficiente”, afirmaram os pesquisadores em seu blog oficial.
Desempenho e Comparações
O Sky-T1 apresenta desempenho competitivo em benchmarks como o MATH500, uma coleção de desafios matemáticos de nível avançado, e supera o o1 Preview em problemas do LiveCodeBench, uma avaliação de codificação. No entanto, ele ainda fica atrás do modelo o1 Preview em GPQA-Diamond, que testa conhecimentos avançados de física, biologia e química.
Embora o modelo GA do o1 seja mais forte que a versão Preview, e a OpenAI esteja prestes a lançar o o3, o Sky-T1 marca apenas o início de uma jornada. A NovaSky planeja continuar desenvolvendo modelos mais eficientes e precisos, mantendo o foco na acessibilidade.
Inovação no Treinamento
O treinamento do Sky-T1, com seus 32 bilhões de parâmetros, durou apenas 19 horas em um rack de 8 GPUs Nvidia H100. O uso de dados sintéticos, gerados por outros modelos de IA, desempenhou um papel crucial na redução dos custos. A equipe utilizou o modelo de raciocínio da Alibaba, QwQ-32B-Preview, para gerar dados iniciais e depois refatorou as informações com o GPT-4o-mini da OpenAI.
Para contextualizar, o custo de desenvolvimento de modelos com desempenho comparável ao Sky-T1 costumava ultrapassar milhões de dólares. Por exemplo, o Palmyra X 004, da Writer, treinado quase inteiramente com dados sintéticos, custou $700.000.
IA de Raciocínio: Mais Lenta, Porém Mais Confiável
Diferentemente da maioria dos modelos de IA, os modelos de raciocínio são projetados para “autoverificar” suas respostas, o que reduz erros comuns em áreas como física, ciências e matemática. Apesar de levarem mais tempo para chegar a soluções, sua confiabilidade os torna ideais para problemas complexos.
O Futuro do Sky-T1 e da IA Open Source
A NovaSky acredita que o Sky-T1 é apenas o começo de uma nova era de modelos de raciocínio open source. “Nosso foco é desenvolver modelos mais eficientes, que mantenham alto desempenho de raciocínio, enquanto exploramos técnicas avançadas para melhorar a precisão e a eficiência nos testes”, afirmaram os pesquisadores.
Com iniciativas como o Sky-T1, a democratização do acesso à IA avança significativamente, abrindo portas para novas aplicações em ciência, tecnologia e educação.
