O mais recente carro-chefe da IA ​​da Anthropic pode não ter sido incrivelmente caro para treinar

O mais novo modelo de IA da Anthropic, o Claude 3.7 Sonnet, custou “algumas dezenas de milhões de dólares” para treinar usando menos de 10^26 FLOPs de poder de computação.

Isso é de acordo com o professor da Wharton Ethan Mollick, que em um post no X na segunda-feira retransmitiu um esclarecimento que recebeu do PR da Anthropic. “Fui contatado pela Anthropic, que me disse que o Sonnet 3.7 não seria considerado um modelo 10^26 FLOP e custaria algumas dezenas de milhões de dólares”, ele escreveu , “embora os modelos futuros sejam muito maiores”.

O TechCrunch entrou em contato com a Anthropic para confirmação, mas não recebeu resposta até o momento da publicação.

Supondo que o Claude 3.7 Sonnet realmente custou apenas "algumas dezenas de milhões de dólares" para treinar, sem levar em conta as despesas relacionadas, é um sinal de quão relativamente barato está se tornando lançar modelos de última geração. O predecessor do Claude 3.5 Sonnet, lançado no outono de 2024, também custou algumas dezenas de milhões de dólares para treinar , revelou o CEO da Anthropic, Dario Amodei, em um ensaio recente.

Esses totais se comparam muito favoravelmente aos preços de treinamento dos principais modelos de 2023. Para desenvolver seu modelo GPT-4, a OpenAI gastou mais de US$ 100 milhões, de acordo com o CEO da OpenAI, Sam Altman. Enquanto isso, o Google gastou perto de US$ 200 milhões para treinar seu modelo Gemini Ultra, estimou um estudo de Stanford.

Dito isso, Amodei espera que futuros modelos de IA custem bilhões de dólares . Certamente, os custos de treinamento não capturam trabalhos como testes de segurança e pesquisa fundamental. Além disso, à medida que a indústria de IA adota modelos de “raciocínio” que trabalham em problemas por longos períodos de tempo , os custos de computação de execução de modelos provavelmente continuarão a aumentar.