Wreszcie mamy zestaw deweloperski do projektowania aplikacji mobilnych AI na urządzenia: LEAP firmy Liquid AI

Liquid AI, startup założony przez byłych naukowców z Massachusetts Institute of Technology (MIT) w celu opracowania nowatorskiej architektury modeli AI wykraczającej poza powszechnie stosowane „ Transformers ”, ogłosił dziś wydanie LEAP , znanego również jako „Liquid Edge AI Platform”, wieloplatformowego zestawu narzędzi do tworzenia oprogramowania (SDK) zaprojektowanego w celu ułatwienia programistom bezpośredniej integracji małych modeli językowych (SLM) z aplikacjami mobilnymi.

Oprócz LEAP firma wprowadziła również Apollo , towarzyszącą aplikację na iOS, służącą do lokalnego testowania tych modeli, co przyczynia się do realizacji misji Liquid AI, której celem jest zapewnienie wydajnej sztucznej inteligencji chroniącej prywatność na sprzęcie konsumenckim.

Pakiet LEAP SDK pojawia się w momencie, gdy wielu deweloperów poszukuje alternatyw dla usług AI dostępnych wyłącznie w chmurze ze względu na obawy dotyczące opóźnień, kosztów, prywatności i dostępności w trybie offline.

LEAP wychodzi naprzeciw tym potrzebom dzięki podejściu „najpierw lokalne”, które pozwala małym modelom działać bezpośrednio na urządzeniu , zmniejszając zależność od infrastruktury chmurowej.

LEAP został zaprojektowany dla programistów, którzy chcą tworzyć aplikacje z wykorzystaniem sztucznej inteligencji, ale nie mają dużej wiedzy na temat uczenia maszynowego.

Według Liquid AI zestaw SDK można dodać do projektu iOS lub Android za pomocą zaledwie kilku linijek kodu, a wywoływanie modelu lokalnego ma być tak samo intuicyjne, jak interakcja z tradycyjnym interfejsem API w chmurze.

„Nasze badania pokazują, że programiści wychodzą poza sztuczną inteligencję opartą wyłącznie na chmurze i szukają zaufanych partnerów, którzy pomogą im tworzyć aplikacje na urządzeniach” – powiedział Ramin Hasani, współzałożyciel i dyrektor generalny Liquid AI, w poście na blogu, który ogłosił tę nowinę dzisiaj na stronie internetowej Liquid . „LEAP to nasza odpowiedź – elastyczna, kompleksowa platforma wdrożeniowa zbudowana od podstaw, aby zapewnić prawdziwie dostępną, wydajną i prywatną sztuczną inteligencję brzegową”.

Po zintegrowaniu programiści mogą wybrać model z wbudowanej biblioteki modeli LEAP, która obejmuje kompaktowe modele o rozmiarze nawet 300 MB — na tyle lekkie, że nadają się do nowoczesnych telefonów z pamięcią RAM od 4 GB (!!) wzwyż.

Zestaw SDK obsługuje lokalne wnioskowanie, optymalizację pamięci i zgodność urządzeń, upraszczając typowy proces wdrażania na brzegu sieci.

LEAP jest z założenia niezależny od systemu operacyjnego i modelu. W chwili premiery obsługuje zarówno iOS, jak i Androida oraz oferuje zgodność z autorskimi modelami Liquid Foundation Models (LFM) firmy Liquid AI, a także z wieloma popularnymi małymi modelami open source.

Oprócz realizacji modeli LEAP pozycjonuje się jako kompleksowa platforma służąca do odkrywania, dostosowywania, testowania i wdrażania modeli SLM do zastosowań brzegowych.

Programiści mogą przeglądać katalog modeli z różnymi opcjami kwantyzacji i punktów kontrolnych, co pozwala im dostosować wydajność i zużycie pamięci do ograniczeń urządzenia docelowego.

Liquid AI podkreśla, że duże modele mają tendencję do generalizacji, podczas gdy małe modele często działają najlepiej, gdy są zoptymalizowane pod kątem wąskiego zestawu zadań. Zunifikowany system LEAP opiera się na tej zasadzie, oferując narzędzia do szybkiej iteracji i wdrażania w rzeczywistych środowiskach mobilnych.

Zestaw SDK zawiera również społeczność deweloperów działającą na platformie Discord, gdzie Liquid AI oferuje godziny pracy, wsparcie, wydarzenia i konkursy, aby zachęcić do eksperymentowania i przekazywania opinii.

Jako uzupełnienie LEAP, Liquid AI wydało również Apollo , bezpłatną aplikację na iOS, która umożliwia programistom i użytkownikom interakcję z modelami zgodnymi z LEAP lokalnie, w trybie offline.

Pierwotnie Apollo było odrębną aplikacją mobilną, która umożliwiała użytkownikom prywatne czatowanie z LLM-ami na urządzeniach (firma Liquid przejęła ją na początku tego roku). Teraz została przebudowana tak, aby obsługiwać całą bibliotekę modeli LEAP.

Platforma Apollo została zaprojektowana z myślą o eksperymentach o niskim współczynniku tarcia — programiści mogą „sprawdzić” brzmienie, opóźnienie lub zachowanie wyjściowe modelu bezpośrednio na swoich telefonach, zanim zintegrują je z aplikacją produkcyjną. Aplikacja działa całkowicie offline, chroniąc prywatność użytkownika i zmniejszając zależność od chmury obliczeniowej.

Niezależnie od tego, czy jest używany jako lekkie narzędzie deweloperskie, czy prywatny asystent AI, Apollo odzwierciedla szersze dążenie Liquid AI do decentralizacji dostępu do sztucznej inteligencji i jej wykonywania.

Wersja LEAP SDK bazuje na ogłoszonym przez Liquid AI 10 lipca rozwiązaniu LFM2 , czyli rodzinie modeli fundamentowych drugiej generacji zaprojektowanych specjalnie do obciążeń na urządzeniach.

Modele LFM2 są dostępne w rozmiarach parametrów 350M, 700M i 1,2B i wypadają konkurencyjnie w porównaniu z większymi modelami pod względem szybkości i dokładności w wielu zadaniach ewaluacyjnych.

Modele te stanowią podstawę biblioteki modeli LEAP i są zoptymalizowane pod kątem szybkiego wnioskowania na procesorach CPU, GPU i NPU.

Obecnie LEAP można używać bezpłatnie na podstawie licencji deweloperskiej, która obejmuje podstawowy zestaw SDK i bibliotekę modeli.

Liquid AI zaznacza, że funkcje premium dla przedsiębiorstw zostaną w przyszłości udostępnione na podstawie oddzielnej licencji komercyjnej, ale już teraz firma przyjmuje zapytania od klientów korporacyjnych za pośrednictwem formularza kontaktowego na swojej stronie internetowej.

Modele LFM2 są bezpłatne do użytku akademickiego i komercyjnego przez firmy o przychodach poniżej 10 milionów dolarów. Większe organizacje muszą skontaktować się z firmą w celu uzyskania licencji.

Programiści mogą zacząć od odwiedzenia witryny LEAP SDK , pobrania Apollo z App Store lub dołączenia do społeczności programistów Liquid AI na Discordzie.