Het nieuwste vlaggenschip van Anthropic, de AI, was misschien niet zo heel duur om te trainen

Het nieuwste AI-vlaggenschip van Anthropic, Claude 3.7 Sonnet, kostte “enkele tientallen miljoenen dollars” om te trainen met minder dan 10^26 FLOPs aan rekenkracht.

Dat zegt Wharton-professor Ethan Mollick, die in een X-post op maandag een verduidelijking doorgaf die hij van Anthropic's PR had ontvangen. "Ik werd benaderd door Anthropic die me vertelde dat Sonnet 3.7 niet als een 10^26 FLOP-model zou worden beschouwd en enkele tientallen miljoenen dollars zou kosten," schreef hij , "hoewel toekomstige modellen veel groter zullen zijn."

TechCrunch heeft Anthropic om bevestiging gevraagd, maar had op het moment van publicatie nog geen reactie ontvangen.

Ervan uitgaande dat Claude 3.7 Sonnet inderdaad slechts "enkele tientallen miljoenen dollars" kostte om te trainen, zonder de gerelateerde kosten mee te rekenen, is het een teken van hoe relatief goedkoop het wordt om state-of-the-art modellen uit te brengen. De voorganger van Claude 3.5 Sonnet, uitgebracht in de herfst van 2024, kostte op vergelijkbare wijze enkele tientallen miljoenen dollars om te trainen , onthulde Anthropic CEO Dario Amodei in een recent essay.

Die totalen zijn vrij gunstig te vergelijken met de trainingsprijzen van de topmodellen van 2023. Om zijn GPT-4-model te ontwikkelen, spendeerde OpenAI meer dan $ 100 miljoen, volgens OpenAI CEO Sam Altman. Ondertussen spendeerde Google bijna $ 200 miljoen om zijn Gemini Ultra-model te trainen, schatte een Stanford-studie.

Dat gezegd hebbende, verwacht Amodei dat toekomstige AI-modellen miljarden dollars zullen kosten . Trainingskosten omvatten zeker geen werk als veiligheidstesten en fundamenteel onderzoek. Bovendien zullen de computerkosten van het uitvoeren van modellen waarschijnlijk blijven stijgen, aangezien de AI-industrie "redenerings"modellen omarmt die gedurende langere tijd aan problemen werken.