Endlich gibt es ein Entwicklungskit für die Entwicklung mobiler KI-Apps auf Geräten: LEAP von Liquid AI

Liquid AI, das Startup, das von ehemaligen Forschern des Massachusetts Institute of Technology (MIT) gegründet wurde, um neuartige KI-Modellarchitekturen jenseits der weit verbreiteten „ Transformers “ zu entwickeln, gab heute die Veröffentlichung von LEAP bekannt , auch bekannt als „Liquid Edge AI Platform“, ein plattformübergreifendes Software Development Kit (SDK), das Entwicklern die direkte Integration kleiner Sprachmodelle (SLMs) in mobile Anwendungen erleichtern soll.

Neben LEAP hat das Unternehmen auch Apollo eingeführt, eine begleitende iOS-App zum lokalen Testen dieser Modelle. Damit wird die Mission von Liquid AI vorangetrieben, datenschutzfreundliche, effiziente KI auf Verbraucherhardware zu ermöglichen.

Das LEAP SDK kommt zu einem Zeitpunkt, an dem viele Entwickler aufgrund von Bedenken hinsichtlich Latenz, Kosten, Datenschutz und Offline-Verfügbarkeit nach Alternativen zu reinen Cloud-KI-Diensten suchen.

LEAP geht diese Anforderungen direkt an und verwendet dabei einen Local-First-Ansatz, der es ermöglicht, kleine Modelle direkt auf dem Gerät auszuführen und so die Abhängigkeit von der Cloud-Infrastruktur zu verringern.

LEAP ist für Entwickler konzipiert, die mit KI bauen möchten, aber möglicherweise nicht über umfassende Fachkenntnisse im maschinellen Lernen verfügen.

Laut Liquid AI kann das SDK mit nur wenigen Codezeilen zu einem iOS- oder Android-Projekt hinzugefügt werden, und der Aufruf eines lokalen Modells soll sich so vertraut anfühlen wie die Interaktion mit einer herkömmlichen Cloud-API.

„Unsere Untersuchungen zeigen, dass Entwickler über reine Cloud-KI hinausgehen und nach vertrauenswürdigen Partnern suchen, die sie bei der Entwicklung gerätebasierter KI unterstützen“, sagte Ramin Hasani, Mitgründer und CEO von Liquid AI, in einem Blogbeitrag auf der Liquid-Website . „LEAP ist unsere Antwort – eine flexible, durchgängige Bereitstellungsplattform, die von Grund auf entwickelt wurde, um leistungsstarke, effiziente und private Edge-KI wirklich zugänglich zu machen.“

Nach der Integration können Entwickler ein Modell aus der integrierten LEAP-Modellbibliothek auswählen, die kompakte Modelle mit einer Größe von nur 300 MB enthält – leicht genug für moderne Telefone mit nur 4 GB RAM (!!) und mehr.

Das SDK übernimmt lokale Inferenz, Speicheroptimierung und Gerätekompatibilität und vereinfacht so den typischen Edge-Bereitstellungsprozess.

LEAP ist von Haus aus betriebssystem- und modellunabhängig. Zum Start unterstützt es sowohl iOS als auch Android und ist mit den Liquid Foundation Models (LFMs) von Liquid AI sowie vielen beliebten Open-Source-Modellen kompatibel.

Über die Modellausführung hinaus positioniert sich LEAP als All-in-One-Plattform zum Entdecken, Anpassen, Testen und Bereitstellen von SLMs für den Edge-Einsatz.

Entwickler können einen kuratierten Modellkatalog mit verschiedenen Quantisierungs- und Prüfpunktoptionen durchsuchen und so Leistung und Speicherbedarf an die Einschränkungen des Zielgeräts anpassen.

Liquid AI betont, dass große Modelle eher Generalisten sind, während kleine Modelle oft die beste Leistung erbringen, wenn sie für einen begrenzten Aufgabenbereich optimiert sind. Das einheitliche System von LEAP basiert auf diesem Prinzip und bietet Tools für schnelle Iteration und Bereitstellung in realen mobilen Umgebungen.

Zum SDK gehört auch eine auf Discord gehostete Entwickler-Community, wo Liquid AI Sprechstunden, Support, Events und Wettbewerbe anbietet, um Experimente und Feedback zu fördern.

Als Ergänzung zu LEAP hat Liquid AI auch Apollo veröffentlicht, eine kostenlose iOS-App, mit der Entwickler und Benutzer in einer lokalen Offline-Umgebung mit LEAP-kompatiblen Modellen interagieren können.

Apollo war ursprünglich ein separates Startup für mobile Apps, das Benutzern erlaubte, privat mit LLMs auf dem Gerät zu chatten , und wurde Anfang des Jahres von Liquid übernommen. Heute wurde Apollo neu aufgebaut, um die gesamte LEAP-Modellbibliothek zu unterstützen.

Apollo ist für reibungsloses Experimentieren konzipiert – Entwickler können Ton, Latenz und Ausgabeverhalten eines Modells direkt auf ihren Smartphones überprüfen, bevor sie es in eine Produktions-App integrieren. Die App läuft vollständig offline, wodurch die Privatsphäre der Nutzer gewahrt und die Abhängigkeit von Cloud-Computing reduziert wird.

Ob als leichtes Entwicklungstool oder privater KI-Assistent verwendet, Apollo spiegelt Liquid AIs umfassende Bemühungen wider, den Zugriff auf und die Ausführung von KI zu dezentralisieren.

Die Veröffentlichung des LEAP SDK baut auf der Ankündigung von LFM2 durch Liquid AI vom 10. Juli auf, seiner Foundation-Modellfamilie der zweiten Generation, die speziell für geräteinterne Workloads entwickelt wurde.

LFM2-Modelle sind in den Parametergrößen 350M, 700M und 1,2B erhältlich und können bei mehreren Evaluierungsaufgaben hinsichtlich Geschwindigkeit und Genauigkeit mit größeren Modellen mithalten.

Diese Modelle bilden das Rückgrat der LEAP-Modellbibliothek und sind für schnelle Inferenz auf CPUs, GPUs und NPUs optimiert.

LEAP kann derzeit kostenlos unter einer Entwicklerlizenz verwendet werden, die das Kern-SDK und die Modellbibliothek umfasst.

Liquid AI weist darauf hin, dass Premium-Enterprise-Funktionen künftig unter einer separaten kommerziellen Lizenz verfügbar gemacht werden, Anfragen von Unternehmenskunden jedoch bereits über das Kontaktformular auf seiner Website entgegengenommen werden.

LFM2-Modelle sind außerdem für den akademischen Gebrauch und die kommerzielle Nutzung durch Unternehmen mit einem Umsatz von unter 10 Millionen US-Dollar kostenlos. Größere Organisationen müssen sich für die Lizenzierung an das Unternehmen wenden.

Entwickler können loslegen, indem sie die LEAP SDK-Website besuchen, Apollo aus dem App Store herunterladen oder der Liquid AI-Entwickler-Community auf Discord beitreten.