Google Gemini: все, что вам нужно знать о моделях генеративного ИИ

Google пытается произвести фурор с помощью Gemini, своего флагманского набора моделей, приложений и сервисов генеративного ИИ. Но что такое Gemini? Как его использовать? И как он соотносится с другими инструментами генеративного ИИ, такими как ChatGPT от OpenAI, Llama от Meta и Copilot от Microsoft?

Чтобы вам было проще быть в курсе последних разработок Gemini, мы составили это удобное руководство, которое мы будем обновлять по мере выхода новых моделей Gemini, функций и новостей о планах Google относительно Gemini.

Gemini — это давно обещанное семейство моделей генеративного ИИ следующего поколения от Google. Разработанное исследовательскими лабораториями ИИ DeepMind и Google Research, оно представлено в четырех вариантах:

• Gemini Ultra , очень большая модель.
• Gemini Pro , большая модель – хотя и меньше, чем Ultra. Последняя версия, Gemini 2.0 Pro Experimental, является флагманом Google.
• Gemini Flash , более быстрая, «дистиллированная» версия Pro. Она также поставляется в немного меньшей и более быстрой версии, называемой Gemini Flash-Lite, и версии с возможностями рассуждения, называемой Gemini Flash Thinking Experimental.
• Gemini Nano , две небольшие модели: Nano-1 и немного более производительная Nano-2 , которая предназначена для работы в автономном режиме

Все модели Gemini были обучены быть изначально мультимодальными — то есть, способными работать и анализировать не только текст. Google утверждает, что они были предварительно обучены и настроены на различных общедоступных, фирменных и лицензированных аудио, изображениях и видео; наборе кодовых баз; и тексте на разных языках.

Это отличает Gemini от таких моделей, как LaMDA от Google , которая была обучена исключительно на текстовых данных. LaMDA не может понимать или генерировать что-либо, выходящее за рамки текста (например, эссе, электронные письма и т. д.), но это не обязательно относится к моделям Gemini.

Отметим, что этика и законность обучения моделей на публичных данных, в некоторых случаях без ведома или согласия владельцев данных, неясны. У Google есть политика возмещения ущерба ИИ , чтобы защитить определенных клиентов Google Cloud от судебных исков, если они с ними столкнутся, но эта политика содержит исключения. Действуйте осторожно — особенно если вы собираетесь использовать Gemini в коммерческих целях.

Gemini — это отдельное приложение, отличное от веб-приложений Gemini и мобильных устройств ( ранее Bard ).

Приложения Gemini — это клиенты, которые подключаются к различным моделям Gemini и накладывают поверх интерфейс, подобный чатботу. Подумайте о них как о фронтендах для генеративного ИИ Google, аналогичных ChatGPT и семейству приложений Claude от Anthropic.

Gemini в сети живет здесь . На Android приложение Gemini заменяет существующее приложение Google Assistant. А на iOS приложения Google и Google Search служат клиентами Gemini этой платформы.

На Android также недавно стало возможным вызывать наложение Gemini поверх любого приложения, чтобы задавать вопросы о том, что находится на экране (например, видео YouTube). Просто нажмите и удерживайте кнопку питания поддерживаемого смартфона или скажите «Привет, Google»; вы увидите всплывающее наложение.

Приложения Gemini могут принимать изображения, а также голосовые команды и текст — включая файлы, такие как PDF-файлы и вскоре видео, загруженные или импортированные из Google Диска — и генерировать изображения. Как и следовало ожидать, разговоры с приложениями Gemini на мобильных устройствах переносятся в Gemini в Интернете и наоборот, если вы вошли в одну и ту же учетную запись Google в обоих местах.

Приложения Gemini — не единственный способ привлечения помощи моделей Gemini в выполнении задач. Медленно, но верно функции Gemini проникают в основные приложения и сервисы Google, такие как Gmail и Google Docs.

Чтобы воспользоваться большинством из них, вам понадобится Google One AI Premium Plan. Технически являясь частью Google One , AI Premium Plan стоит 20 долларов и обеспечивает доступ к Gemini в приложениях Google Workspace, таких как Docs, Maps, Slides, Sheets, Drive и Meet. Он также включает то, что Google называет Gemini Advanced, что переносит более сложные модели Gemini компании в приложения Gemini.

Пользователи Gemini Advanced также получают дополнительные возможности здесь и там, например, приоритетный доступ к новым функциям, возможность запускать и редактировать код Python непосредственно в Gemini и большее «окно контекста». Gemini Advanced может запомнить содержание — и рассуждать — примерно 750 000 слов в разговоре (или 1500 страниц документов). Это по сравнению с 24 000 словами (или 48 страницами), которые может обработать ванильное приложение Gemini.

Gemini Advanced также предоставляет пользователям доступ к функции Deep Research от Google, которая использует «расширенные рассуждения» и «возможности длинного контекста» для создания исследовательских брифингов. После того, как вы попросите чат-бота, он создаст многошаговый план исследования, попросит вас одобрить его, а затем Gemini тратит несколько минут на поиск в Интернете и создание обширного отчета на основе вашего запроса. Он предназначен для ответа на более сложные вопросы, такие как «Можете ли вы помочь мне переделать мою кухню?»

Google также предлагает пользователям Gemini Advanced функцию памяти , которая позволяет чат-боту использовать ваши старые разговоры с Gemini в качестве контекста для вашего текущего разговора. Пользователи Gemini Advanced также получают более широкое использование NotebookLM, продукта компании, который превращает PDF-файлы в подкасты, сгенерированные ИИ.

Пользователи Gemini Advanced также получают доступ к экспериментальной версии Gemini 2.0 Pro от Google — флагманской модели компании, оптимизированной для решения сложных задач по программированию и математике.

Еще одним эксклюзивом Gemini Advanced является планирование поездок в Google Search, которое создает индивидуальные маршруты путешествий из подсказок. Принимая во внимание такие вещи, как время полета (из писем в почтовом ящике Gmail пользователя), предпочтения в еде и информацию о местных достопримечательностях (из данных Google Search и Maps), а также расстояния между этими достопримечательностями, Gemini сгенерирует маршрут, который автоматически обновляется для отражения любых изменений.

Gemini для сервисов Google также доступен корпоративным клиентам через два плана: Gemini Business (надстройка для Google Workspace) и Gemini Enterprise. Gemini Business стоит всего 6 долларов США за пользователя в месяц, в то время как Gemini Enterprise — который добавляет ведение заметок на встречах и перевод субтитров, а также классификацию и маркировку документов — обычно стоит дороже, но его цена зависит от потребностей бизнеса. (Оба плана требуют ежегодной подписки.)

В Gmail Gemini находится на боковой панели , где можно писать электронные письма и резюмировать цепочки сообщений. Вы найдете ту же панель в Docs, где она помогает вам писать и улучшать свой контент и проводить мозговой штурм новых идей. Gemini в Slides генерирует слайды и пользовательские изображения. А Gemini в Google Sheets отслеживает и организует данные, создавая таблицы и формулы.

Недавно в Картах появился чат-бот на основе искусственного интеллекта от Google, где Gemini может обобщать отзывы о кофейнях или давать рекомендации о том, как провести день в чужом городе.

Охват Gemini распространяется также на Drive, где он может суммировать файлы и папки и предоставлять краткие сведения о проекте. В то же время в Meet Gemini переводит субтитры на дополнительные языки.

Недавно Gemini появился в браузере Chrome от Google в виде инструмента для написания текстов на основе искусственного интеллекта. Вы можете использовать его, чтобы написать что-то совершенно новое или переписать существующий текст; Google утверждает, что он будет учитывать веб-страницу, на которой вы находитесь, чтобы давать рекомендации.

В других местах вы найдете намеки на Gemini в продуктах Google для работы с базами данных , инструментах облачной безопасности и платформах разработки приложений (включая Firebase и Project IDX ), а также в таких приложениях, как Google Photos (где Gemini обрабатывает поисковые запросы на естественном языке), YouTube (где он помогает проводить мозговой штурм при создании идей для видео) и помощнике для создания заметок NotebookLM .

Code Assist (ранее Duet AI for Developers ), набор инструментов Google для помощи с использованием ИИ для завершения и генерации кода, перекладывает тяжелую вычислительную работу на Gemini. То же самое касается и продуктов безопасности Google, основанных на Gemini , таких как Gemini in Threat Intelligence, которые могут анализировать большие части потенциально вредоносного кода и позволяют пользователям выполнять поиск на естественном языке для текущих угроз или индикаторов компрометации.

Анонсированная на Google I/O 2024, Gemini Advanced пользователи могут создавать Gems , пользовательские чат-боты на основе моделей Gemini. Gems можно генерировать из описаний на естественном языке — например, «Вы мой тренер по бегу. Дайте мне ежедневный план бега» — и делиться ими с другими или хранить в тайне.

Gems доступны на ПК и мобильных устройствах в 150 странах и на большинстве языков. В конечном итоге они смогут использовать расширенный набор интеграций с сервисами Google, включая Google Calendar, Tasks, Keep и YouTube Music, для выполнения пользовательских задач.

Говоря об интеграции, приложения Gemini в Интернете и на мобильных устройствах могут подключаться к сервисам Google через то, что Google называет «расширениями Gemini». Сегодня Gemini интегрируется с Google Drive, Gmail и YouTube, чтобы отвечать на такие запросы, как «Не могли бы вы перечислить мои последние три письма?». Позже в этом году Gemini сможет выполнять дополнительные действия с Google Calendar, Keep, Tasks, YouTube Music и Utilities — эксклюзивными приложениями Android, которые управляют такими функциями устройства, как таймеры и будильники, элементы управления мультимедиа, фонарик, громкость, Wi-Fi, Bluetooth и т. д.

Опыт под названием Gemini Live позволяет пользователям вести «глубокие» голосовые чаты с Gemini. Он доступен в приложениях Gemini на мобильных устройствах и Pixel Buds Pro 2 , где он доступен даже при заблокированном телефоне.

При включении Gemini Live вы можете прерывать Gemini, пока чат-бот говорит (одним из нескольких новых голосов), чтобы задать уточняющий вопрос, и он будет адаптироваться к вашим речевым моделям в реальном времени. В какой-то момент Gemini должен получить визуальное понимание, что позволит ему видеть и реагировать на ваше окружение, либо с помощью фотографий или видео, снятых камерами ваших смартфонов.

Live также разработан как своего рода виртуальный тренер, помогающий вам репетировать мероприятия, проводить мозговой штурм идей и т. д. Например, Live может подсказать, какие навыки следует подчеркнуть на предстоящем собеседовании при приеме на работу или стажировке, а также может дать советы по публичным выступлениям.

Вы можете прочитать наш обзор Gemini Live здесь . Внимание, спойлер: мы думаем, что эта функция еще долго будет развиваться, прежде чем станет суперполезной — но, надо признать, это только начало.

Пользователи Gemini могут создавать художественные работы и изображения, используя встроенную модель Imagen 3 от Google.

Google утверждает, что Imagen 3 может точнее понимать текстовые подсказки, которые он переводит в изображения, по сравнению со своим предшественником Imagen 2 , и является более «креативным и подробным» в своих поколениях. Кроме того, модель производит меньше артефактов и визуальных ошибок (по крайней мере, по данным Google), и является лучшей моделью Imagen для рендеринга текста.

Еще в феврале 2024 года Google был вынужден приостановить возможность Gemini генерировать изображения людей после того, как пользователи пожаловались на исторические неточности . Но в августе компания снова ввела генерацию людей для определенных пользователей, в частности, англоязычных пользователей, подписавшихся на один из платных планов Gemini от Google (например, Gemini Advanced ) в рамках пилотной программы.

В июне Google представила ориентированную на подростков платформу Gemini , позволяющую учащимся регистрироваться через свои школьные учетные записи Google Workspace for Education.

Gemini, ориентированный на подростков, имеет «дополнительные политики и гарантии», включая индивидуальный процесс адаптации и «руководство по грамотности в области ИИ», чтобы (как его называет Google) «помочь подросткам использовать ИИ ответственно». В остальном он почти идентичен стандартному опыту Gemini, вплоть до функции «двойной проверки», которая просматривает сеть, чтобы убедиться в точности ответов Gemini.

Все больше устройств, произведенных Google, используют Gemini для расширения функциональных возможностей: от Google TV Streamer до Pixel 9 и 9 Pro и новейшего обучаемого термостата Nest .

В Google TV Streamer Gemini использует ваши предпочтения для подбора контента для ваших подписок, а также для составления обзоров и даже целых сезонов телепередач.

В новейшем термостате Nest (а также в колонках, камерах и интеллектуальных дисплеях Nest) Gemini вскоре расширит разговорные и аналитические возможности Google Assistant.

Подписчики плана Nest Aware от Google в этом году получат предварительный просмотр новых возможностей Gemini, таких как описания ИИ для кадров с камер Nest, поиск видео на естественном языке и рекомендуемые автоматизации. Камеры Nest будут понимать, что происходит в видеопотоках в реальном времени (например, когда собака копается в саду), в то время как сопутствующее приложение Google Home будет показывать видео и создавать автоматизации устройств по описанию (например, «Дети оставили свои велосипеды на подъездной дорожке?», «Пусть мой термостат Nest включает отопление, когда я возвращаюсь с работы каждый вторник»).

Также в этом году Google Assistant получит несколько обновлений на устройствах под брендом Nest и других умных домашних устройствах, чтобы сделать разговоры более естественными. Улучшенные голоса уже в пути, в дополнение к возможности задавать уточняющие вопросы и «[более] легко переходить туда и обратно».

Поскольку модели Gemini являются мультимодальными, они могут выполнять ряд мультимодальных задач, от транскрибирования речи до субтитров изображений и видео в реальном времени. Многие из этих возможностей достигли стадии продукта (как упоминалось в предыдущем разделе), и Google обещает гораздо больше в не столь отдаленном будущем.

Конечно, немного сложно поверить компании на слово. Google серьезно недоработала с первоначальным запуском Bard. Совсем недавно она взъерошила перья видео, якобы демонстрирующим возможности Gemini, которое было более или менее амбициозным — не вживую.

Кроме того, Google не предлагает решения некоторых основных проблем с технологией генеративного ИИ сегодня, таких как закодированные предубеждения и склонность к выдумыванию (т. е. галлюцинациям ). Его конкуренты тоже, но это следует иметь в виду, рассматривая возможность использования или оплаты Gemini.

Если в данной статье предположить, что последние заявления Google верны, то вот что могут делать различные уровни Gemini сейчас и что они смогут делать, когда раскроют весь свой потенциал:

Google утверждает, что Gemini Ultra — благодаря своей мультимодальности — может использоваться для помощи в выполнении домашних заданий по физике, пошагового решения задач на рабочем листе и указания на возможные ошибки в уже заполненных ответах.

Однако в последние месяцы мы не видели многого от Gemini Ultra. Модель не отображается в приложении Gemini и не указана на странице цен на API Google Gemini. Однако это не значит, что Google не вернет Gemini Ultra на передовые позиции своих предложений в будущем.

Ultra также можно применять для таких задач, как выявление научных статей, относящихся к проблеме, говорит Google. Модель может извлекать информацию из нескольких статей, например, и обновлять диаграмму из одной, генерируя формулы, необходимые для повторного создания диаграммы с более актуальными данными.

Gemini Ultra технически поддерживает генерацию изображений. Но эта возможность пока не вошла в продуктивную версию модели — возможно, потому, что механизм сложнее, чем то, как приложения вроде ChatGPT генерируют изображения. Вместо того, чтобы отправлять запросы генератору изображений (например, DALL-E 3 в случае ChatGPT), Gemini выводит изображения «в исходном виде», без промежуточного шага.

Ultra доступен в виде API через Vertex AI, полностью управляемую платформу разработки искусственного интеллекта от Google, и AI Studio, веб-инструмент Google для разработчиков приложений и платформ.

Google утверждает, что ее последняя модель Pro, Gemini 2.0 Pro , является лучшей моделью для производительности кодирования и сложных подсказок. В настоящее время она доступна в качестве экспериментальной версии, что означает, что у нее могут возникнуть неожиданные проблемы.

Gemini 2.0 Pro превосходит своего предшественника Gemini 1.5 Pro в тестах, измеряющих кодирование, рассуждение, математику и фактическую точность. Модель может воспринимать до 1,4 миллиона слов, два часа видео или 22 часа аудио и может рассуждать или отвечать на вопросы об этих данных ( более или менее ).

Однако Gemini 1.5 Pro по-прежнему поддерживает функцию глубокого исследования Google.

Gemini 2.0 Pro работает вместе с функцией, называемой выполнением кода, выпущенной в июне вместе с Gemini 1.5 Pro , которая направлена ​​на сокращение количества ошибок в коде, генерируемом моделью, путем итеративного уточнения этого кода на нескольких этапах. (Выполнение кода также поддерживает Gemini Flash.)

В Vertex AI разработчики могут настраивать Gemini Pro под конкретные контексты и варианты использования с помощью процесса тонкой настройки или «заземления». Например, Pro (вместе с другими моделями Gemini) можно поручить использовать данные от сторонних поставщиков, таких как Moody's, Thomson Reuters, ZoomInfo и MSCI, или исходную информацию из корпоративных наборов данных или Google Search вместо своего более широкого банка знаний. Gemini Pro также можно подключить к внешним сторонним API для выполнения определенных действий, таких как автоматизация рабочего процесса бэк-офиса.

AI Studio предлагает шаблоны для создания структурированных чат-подсказок с Pro. Разработчики могут контролировать творческий диапазон модели и предоставлять примеры для указания тона и стиля — а также настраивать параметры безопасности Pro.

Vertex AI Agent Builder позволяет людям создавать «агентов» на базе Gemini в Vertex AI. Например, компания может создать агента, который анализирует предыдущие маркетинговые кампании, чтобы понять стиль бренда, а затем применить эти знания для генерации новых идей, соответствующих этому стилю.

Google называет Gemini 2.0 Flash своей моделью ИИ для агентской эры. Модель может изначально генерировать изображения и аудио, в дополнение к тексту, и может использовать такие инструменты, как Google Search, и взаимодействовать с внешними API.

Модель 2.0 Flash быстрее предыдущего поколения моделей Gemini и даже превосходит некоторые из более крупных моделей Gemini 1.5 по показателям производительности кодирования и анализа изображений. Вы можете попробовать Gemini 2.0 Flash в веб-приложении Gemini или мобильном приложении, а также через платформы Google для разработчиков AI.

В декабре Google выпустила «думающую» версию Gemini 2.0 Flash , способную «рассуждать»: модели искусственного интеллекта требуется несколько секунд, чтобы обдумать проблему в обратном порядке, прежде чем она даст ответ.

В феврале Google сделал Gemini 2.0 Flash thinking доступным в приложении Gemini. В том же месяце Google также выпустила уменьшенную версию под названием Gemini 2.0 Flash-Lite. Компания утверждает, что эта модель превосходит модель Gemini 1.5 Flash, но работает по той же цене и скорости.

Flash — ответвление Gemini Pro, небольшое и эффективное, созданное для узких, высокочастотных генеративных рабочих нагрузок ИИ, и мультимодальное, как Gemini Pro, то есть оно может анализировать аудио, видео, изображения и текст (но может генерировать только текст). Google утверждает, что Flash особенно хорошо подходит для таких задач, как реферирование и чат-приложения, а также субтитры к изображениям и видео и извлечение данных из длинных документов и таблиц.

Разработчики, использующие Flash и Pro, могут опционально использовать кэширование контекста, что позволяет им хранить большие объемы информации (например, базу знаний или базу данных исследовательских работ) в кэше, к которому модели Gemini могут быстро и относительно дешево получить доступ. Однако кэширование контекста является дополнительной платой сверх других сборов за использование модели Gemini.

Gemini Nano — это гораздо меньшая версия моделей Gemini Pro и Ultra, и она достаточно эффективна, чтобы работать непосредственно на (некоторых) устройствах, а не отправлять задачу на сервер. Пока что Nano поддерживает несколько функций на Pixel 8 Pro, Pixel 8 , Pixel 9 Pro, Pixel 9 и Samsung Galaxy S24 , включая Summarize в Recorder и Smart Reply в Gboard.

Приложение Recorder, позволяющее пользователям нажатием кнопки записывать и расшифровывать аудио, включает в себя сводку записанных разговоров, интервью, презентаций и других аудиофрагментов на базе Gemini. Пользователи получают сводки, даже если у них нет сигнала или подключения к Wi-Fi — и в знак уважения к конфиденциальности никакие данные не покидают их телефон в процессе обработки.

Nano также есть в Gboard, замене клавиатуры Google. Там он поддерживает функцию Smart Reply, которая помогает подсказать, что вы хотите сказать в следующий раз, когда ведете разговор в приложении для обмена сообщениями, таком как WhatsApp.

В приложении Google Сообщения на поддерживаемых устройствах Nano управляет функцией Magic Compose, которая может создавать сообщения в таких стилях, как «взволнованное», «официальное» и «лирическое».

Google заявляет, что будущая версия Android будет использовать Nano для оповещения пользователей о потенциальном мошенничестве во время звонков. Новое приложение погоды на телефонах Pixel использует Gemini Nano для создания индивидуальных прогнозов погоды. А TalkBack, служба доступности Google, использует Nano для создания звуковых описаний объектов для слабовидящих и слепых пользователей.

Gemini 1.5 Pro, 1.5 Flash, 2.0 Flash и 2.0 Flash-Lite доступны через Gemini API от Google для создания приложений и сервисов — все с бесплатными опциями. Но бесплатные опции накладывают ограничения на использование и не включают некоторые функции, такие как кэширование контекста и пакетирование .

В остальном модели Gemini — это модели с оплатой по мере использования. Вот базовая цена — без учета дополнительных услуг, таких как кэширование контекста — по состоянию на сентябрь 2024 г.:

• Gemini 1.5 Pro: 1,25 долл. США за 1 миллион входных токенов (для подсказок длиной до 128 тыс. токенов) или 2,50 долл. США за 1 миллион входных токенов (для подсказок длиной более 128 тыс. токенов); 5 долл. США за 1 миллион выходных токенов (для подсказок длиной до 128 тыс. токенов) или 10 долл. США за 1 миллион выходных токенов (для подсказок длиной более 128 тыс. токенов)
• Gemini 1.5 Flash: 7,5 центов за 1 миллион входных токенов (для подсказок длиной до 128 тыс. токенов), 15 центов за 1 миллион входных токенов (для подсказок длиной более 128 тыс. токенов), 30 центов за 1 миллион выходных токенов (для подсказок длиной до 128 тыс. токенов), 60 центов за 1 миллион выходных токенов (для подсказок длиной более 128 тыс. токенов)
• Gemini 2.0 Flash: 10 центов за 1 миллион входных токенов, 40 центов за 1 миллион выходных токенов. Для аудио это стоит 70 центов за 1 миллион входных токенов, а также 40 центов за 1 миллион выходных токенов.
• Gemini 2.0 Flash-Lite: 7,5 центов за 1 миллион входных токенов, 30 центов за 1 миллион выходных токенов.

Токены — это подразделенные биты необработанных данных, например, слоги «fan», «tas» и «tic» в слове «fantastic»; 1 миллион токенов эквивалентен примерно 700 000 слов. Входные данные относятся к токенам, подаваемым в модель, а выходные данные относятся к токенам, которые генерирует модель.

Цены на 2.0 Pro пока не объявлены, а Nano все еще находится в стадии раннего доступа .

Project Astra — это попытка Google DeepMind создать приложения и «агенты» на базе ИИ для мультимодального понимания в реальном времени. В демонстрациях Google показал, как модель ИИ может одновременно обрабатывать живое видео и аудио. Google выпустила версию приложения Project Astra для небольшого числа доверенных тестировщиков в декабре, но пока не планирует более широкий релиз.

Компания хотела бы поместить Project Astra в пару умных очков . Google также предоставила прототип некоторых очков с Project Astra и возможностями дополненной реальности нескольким доверенным тестировщикам в декабре. Однако на данный момент нет четкого продукта, и неясно, когда Google действительно выпустит что-то подобное.

Project Astra — это пока только проект, а не продукт. Однако демонстрации Astra показывают, что Google хотел бы, чтобы его продукты ИИ делали в будущем.

Это может быть.

Apple заявила, что ведет переговоры о том, чтобы использовать Gemini и другие сторонние модели для ряда функций в своем наборе Apple Intelligence . После ключевой презентации на WWDC 2024 старший вице-президент Apple Крейг Федериги подтвердил планы по работе с моделями , включая Gemini, но он не разгласил никаких дополнительных подробностей.

Эта публикация была первоначально опубликована 16 февраля 2024 года и регулярно обновляется.