IBM Granite 3.2 maakt gebruik van conditioneel redeneren, tijdreeksvoorspelling en documentvisie om uitdagende zakelijke use cases aan te pakken

Sinds de baanbrekende introductie van DeepSeek-R1 zijn redeneermodellen tot nu toe in 2025 razend populair.

IBM doet nu mee met het feest, met de lancering vandaag van zijn Granite 3.2 large language model (LLM) familie. In tegenstelling tot andere redeneerbenaderingen zoals DeepSeek-R1 of OpenAI's o3, integreert IBM redeneren diep in zijn open-source Granite kernmodellen. Het is een benadering die IBM conditioneel redeneren noemt, waarbij de stapsgewijze gedachteketen (CoT) redenering een optie is binnen de modellen (in plaats van een apart model).

Het is een flexibele aanpak waarbij redeneren voorwaardelijk kan worden geactiveerd met een vlag, waardoor gebruikers kunnen bepalen wanneer ze intensievere verwerking willen gebruiken. De nieuwe redeneermogelijkheid bouwt voort op de prestatieverbeteringen die IBM introduceerde met de release van de Granite 3.1 LLM's in december 2024.

IBM brengt ook een nieuw vision-model uit in de Granite 3.2-familie, speciaal geoptimaliseerd voor documentverwerking. Het model is met name handig voor het digitaliseren van oude documenten, een uitdaging waar veel grote organisaties mee worstelen.

Een andere AI-uitdaging voor bedrijven die IBM wil oplossen met Granite 3.2 is predictieve modellering. Machine learning (ML) wordt al tientallen jaren gebruikt voor voorspellingen, maar het had niet de natuurlijke taalinterface en het gebruiksgemak van moderne generatie AI. Dat is waar de Granite-tijdreeksvoorspellingsmodellen van IBM in passen; ze passen transformatortechnologie toe om toekomstige waarden te voorspellen op basis van tijdgebaseerde gegevens.

"Redeneren is niet iets dat een model is, het is iets dat een model doet", vertelde David Cox, VP voor AI-modellen bij IBM Research, aan VentureBeat.

Hoewel er in 2025 veel enthousiasme en hype zal zijn rondom redeneermodellen, biedt redeneren op zichzelf niet per se waarde voor zakelijke gebruikers.

Het vermogen om in veel opzichten te redeneren is al lang onderdeel van gen AI. Door een LLM eenvoudigweg stapsgewijs te laten antwoorden, wordt een basale CoT-redeneringsoutput geactiveerd. Modern redeneren in modellen zoals DeepSeek-R1 en nu Granite 3.2 gaat een stukje dieper door reinforcement learning te gebruiken om redeneringsmogelijkheden te trainen en mogelijk te maken.

Hoewel CoT-prompts effectief kunnen zijn voor bepaalde taken zoals wiskunde, kunnen de redeneermogelijkheden in Granite 3.2 een breder scala aan bedrijfsapplicaties ten goede komen. Cox merkte op dat door het model aan te moedigen meer tijd te besteden aan nadenken, bedrijven complexe besluitvormingsprocessen kunnen verbeteren. Redeneren kan software engineering-taken, IT-probleemoplossing en andere agentische workflows ten goede komen, waarbij het model problemen kan opsplitsen, betere oordelen kan vellen en beter geïnformeerde oplossingen kan aanbevelen.

IBM beweert bovendien dat Granite 3.2, wanneer de redenering is ingeschakeld, beter presteert dan concurrenten zoals DeepSeek-R1 bij het uitvoeren van instructietaken.

Hoewel Granite 3.2 geavanceerde redeneringsmogelijkheden heeft, benadrukte Cox dat niet elke query daadwerkelijk meer redenering nodig heeft. Sterker nog, veel soorten veelvoorkomende query's kunnen juist negatief worden beïnvloed door meer redenering.

Voor een op kennis gebaseerde query kan een zelfstandig redeneermodel als DeepSeek-R1 bijvoorbeeld tot 50 seconden besteden aan een interne monoloog om een ​​basisvraag als "Waar ligt Rome?" te beantwoorden.

Een van de belangrijkste innovaties in Granite 3.2 is de introductie van een conditionele denkfunctie, waarmee ontwikkelaars de redeneermogelijkheden van het model dynamisch kunnen activeren of deactiveren. Deze flexibiliteit stelt gebruikers in staat om een ​​balans te vinden tussen snelheid en diepte van analyse, afhankelijk van de specifieke taak die voorhanden is.

De Granite 3.2-modellen gaan nog een stap verder en profiteren van een methode die is ontwikkeld door de Red Hat-businessunit van IBM. Deze methode maakt gebruik van een zogenaamd 'deeltjesfilter' om flexibelere redeneringsmogelijkheden mogelijk te maken.

Deze aanpak stelt het model in staat om dynamisch meerdere redeneringsdraden te controleren en beheren, en te evalueren welke het meest veelbelovend zijn om tot het uiteindelijke resultaat te komen. Dit biedt een dynamischer en adaptiever redeneringsproces, in plaats van een lineaire CoT. Cox legde uit dat deze deeltjesfiltertechniek ondernemingen nog meer flexibiliteit biedt in hoe ze de redeneringsmogelijkheden van het model kunnen gebruiken.

In de deeltjesfilterbenadering zijn er veel redeneringen die tegelijkertijd plaatsvinden. Het deeltjesfilter snoeit de minder effectieve benaderingen weg en richt zich op de benaderingen die betere resultaten opleveren. Dus in plaats van alleen CoT-redeneringen te doen, zijn er meerdere benaderingen om een ​​probleem op te lossen. Het model kan op intelligente wijze complexe problemen navigeren en zich selectief richten op de meest veelbelovende redeneringen.

Grote organisaties hebben doorgaans even grote volumes aan documenten, waarvan er veel jaren geleden zijn gescand en nu in archieven liggen. Al die data is moeilijk te gebruiken met moderne systemen.

Het nieuwe Granite 3.2 vision-model is ontworpen om die uitdaging voor bedrijven op te lossen. Terwijl veel multimodale modellen zich richten op algemeen beeldbegrip, zijn de vision-mogelijkheden van Granite 3.2 specifiek ontworpen voor documentverwerking — wat IBM's focus op het oplossen van tastbare problemen voor bedrijven weerspiegelt in plaats van het najagen van benchmarkscores.

Het systeem richt zich op wat Cox beschreef als "irrationele hoeveelheden oude gescande documenten" die in bedrijfsarchieven liggen, met name in financiële instellingen. Deze vertegenwoordigen ondoorzichtige dataopslagplaatsen die grotendeels onbenut zijn gebleven ondanks hun potentiële zakelijke waarde.

Voor organisaties met tientallen jaren aan papieren dossiers is de mogelijkheid om documenten met grafieken, figuren en tabellen op intelligente wijze te verwerken een aanzienlijk operationeel voordeel ten opzichte van algemene multimodale modellen die uitstekend geschikt zijn voor het beschrijven van vakantiefoto's, maar moeite hebben met gestructureerde zakelijke documenten.

In enterprise benchmarks zoals DocVQA en ChartQA laat IBM Granite Vision 3.2 sterke resultaten zien in vergelijking met concurrenten.

Het technisch meest onderscheidende onderdeel van de release zijn wellicht de “tiny time mixers” (TTM) van IBM: gespecialiseerde, op transformatoren gebaseerde modellen die speciaal zijn ontworpen voor tijdreeksvoorspellingen.

Time series forecasting, dat predictieve analyses en modellering mogelijk maakt, is echter niet nieuw. Cox merkte op dat time series-modellen om verschillende redenen zijn blijven hangen in het oudere tijdperk van machine learning (ML) en niet hebben geprofiteerd van dezelfde aandacht als de nieuwere, flitsendere generatie AI-modellen.

De Granite TTM-modellen passen de architecturale innovaties toe die LLM-vooruitgang mogelijk maakten op een geheel ander probleemdomein: het voorspellen van toekomstige waarden op basis van historische patronen. Deze mogelijkheid richt zich op kritieke bedrijfsbehoeften op het gebied van financiële prognoses, planning van apparatuuronderhoud en detectie van anomalieën.

Er is geen gebrek aan hype en alle leveranciers beweren dat ze elkaar op een eindeloze reeks industriële benchmarks overtreffen.

Voor besluitvormers in ondernemingen kan het interessant zijn om benchmarks te noteren, maar dat is niet wat pijnpunten oplost. Cox benadrukte dat IBM de 'suit and tie'-benadering van enterprise AI hanteert, om echte problemen op te lossen.

"Ik denk dat er veel magisch denken gaande is dat we één superintelligent model kunnen hebben dat op de een of andere manier alles doet wat we nodig hebben, en voorlopig zijn we daar nog niet eens in de buurt", aldus Cox. "Onze strategie is 'Laten we echte, praktische tools bouwen met behulp van deze zeer opwindende technologie, en laten we zoveel mogelijk functies inbouwen die het gemakkelijk maken om echt werk te doen.'"