Масштабное сокращение облачных отходов: Akamai экономит 70% с помощью агентов ИИ, организованных Kubernetes

В частности, в эту зарождающуюся эпоху генеративного ИИ расходы на облачные вычисления достигли рекордно высокого уровня. Но это не просто потому, что предприятия используют больше вычислений — они используют их неэффективно. Фактически, только в этом году ожидается, что предприятия потратят 44,5 млрд долларов на ненужные расходы на облачные вычисления.

Это представляет собой еще более серьезную проблему для Akamai Technologies : у компании имеется большая и сложная облачная инфраструктура, размещенная в нескольких облаках, не говоря уже о многочисленных строгих требованиях к безопасности.

Чтобы решить эту проблему, поставщик услуг кибербезопасности и доставки контента обратился к платформе автоматизации Kubernetes Cast AI , чьи агенты ИИ помогают оптимизировать затраты, безопасность и скорость в облачных средах.

В конечном итоге платформа помогла Akamai сократить расходы на облако на 40–70 % в зависимости от рабочей нагрузки.

«Нам нужен был непрерывный способ оптимизации нашей инфраструктуры и снижения расходов на облако без ущерба для производительности», — сказал VentureBeat Декель Шавит, старший директор по облачной инженерии в Akamai. «Мы те, кто обрабатывает события безопасности. Задержка невозможна. Если мы не можем отреагировать на атаку безопасности в режиме реального времени, мы потерпели неудачу».

Kubernetes управляет инфраструктурой, на которой работают приложения, что упрощает их развертывание, масштабирование и управление, особенно в облачных и микросервисных архитектурах.

Cast AI интегрировался в экосистему Kubernetes, чтобы помочь клиентам масштабировать свои кластеры и рабочие нагрузки, выбирать лучшую инфраструктуру и управлять жизненными циклами вычислений, объяснил основатель и генеральный директор Лоран Жиль. Его основная платформа — Application Performance Automation (APA), которая работает через команду специализированных агентов, которые постоянно отслеживают, анализируют и принимают меры для улучшения производительности приложений, безопасности, эффективности и стоимости. Компании предоставляют только необходимые им вычисления от AWS, Microsoft, Google или других.

APA работает на основе нескольких моделей машинного обучения (ML) с обучением с подкреплением (RL) на основе исторических данных и изученных шаблонов, улучшенных стеком наблюдаемости и эвристикой. Он связан с инструментами инфраструктуры как кода (IaC) в нескольких облаках, что делает его полностью автоматизированной платформой.

Gil объяснил, что APA был построен на принципе, что наблюдаемость — это всего лишь отправная точка; как он это назвал, наблюдаемость — это «фундамент, а не цель». Cast AI также поддерживает постепенное внедрение, поэтому клиентам не нужно вырывать и заменять; они могут интегрироваться в существующие инструменты и рабочие процессы. Кроме того, ничто никогда не покидает инфраструктуру клиента; весь анализ и действия происходят в их выделенных кластерах Kubernetes, что обеспечивает большую безопасность и контроль.

Гил также подчеркнул важность человекоцентричности. «Автоматизация дополняет человеческое принятие решений», — сказал он, при этом APA поддерживает рабочие процессы с участием человека.

Шавит пояснил, что крупная и сложная облачная инфраструктура Akamai обеспечивает работу сети доставки контента (CDN) и услуг кибербезопасности, предоставляемых «некоторым из самых требовательных клиентов и отраслей в мире», соблюдая при этом строгие соглашения об уровне обслуживания (SLA) и требования к производительности.

Он отметил, что по некоторым из потребляемых ими услуг они, вероятно, являются крупнейшими клиентами своего поставщика, добавив, что они провели «тонны основных инженерных и реинжиниринговых работ» со своим гиперскейлером для поддержки своих потребностей.

Кроме того, Akamai обслуживает клиентов различных размеров и отраслей, включая крупные финансовые учреждения и компании кредитных карт. Услуги компании напрямую связаны с состоянием безопасности ее клиентов.

В конечном итоге Akamai необходимо было сбалансировать всю эту сложность со стоимостью. Шавит отметил, что реальные атаки на клиентов могут привести к увеличению емкости в 100 или 1000 раз на определенных компонентах его инфраструктуры. Но «масштабирование нашей облачной емкости в 1000 раз заранее просто нецелесообразно с финансовой точки зрения», — сказал он.

Его команда рассматривала возможность оптимизации кода, но сложность их бизнес-модели требовала сосредоточиться на самой базовой инфраструктуре.

Что действительно было нужно Akamai, так это платформа автоматизации Kubernetes, которая могла бы оптимизировать затраты на работу всей ее базовой инфраструктуры в режиме реального времени в нескольких облаках, объяснил Шавит, и масштабировать приложения вверх и вниз на основе постоянно меняющегося спроса. Но все это нужно было сделать, не жертвуя производительностью приложений.

Перед внедрением Cast Шавит отметил, что команда DevOps компании Akamai вручную настраивала все рабочие нагрузки Kubernetes всего несколько раз в месяц. Учитывая масштаб и сложность инфраструктуры, это было сложно и затратно. Анализируя рабочие нагрузки лишь спорадически, они явно упустили потенциал оптимизации в реальном времени.

«Теперь сотни агентов Cast выполняют ту же настройку, за исключением того, что они делают это каждую секунду каждого дня», — сказал Шавит.

Основные функции APA, которые использует Akamai, включают автоматическое масштабирование, глубокую автоматизацию Kubernetes с упаковкой бинов (минимизацией количества используемых бинов), автоматический выбор наиболее экономичных вычислительных экземпляров, оптимизацию рабочей нагрузки, автоматизацию точечных экземпляров на протяжении всего жизненного цикла экземпляра и возможности анализа затрат.

«Мы получили представление об аналитике затрат через две минуты после интеграции, чего мы никогда раньше не видели», — сказал Шавит. «После развертывания активных агентов оптимизация включилась автоматически, и экономия начала приходить».

Spot-инстансы — где предприятия могут получить доступ к неиспользуемой облачной емкости по сниженным ценам — очевидно, имели смысл для бизнеса, но они оказались сложными из-за сложных рабочих нагрузок Akamai, особенно Apache Spark, отметил Шавит. Это означало, что им нужно было либо перепроектировать рабочие нагрузки, либо наделить их большим количеством рабочих рук, что оказалось финансово нелогичным.

С Cast AI они смогли использовать точечные экземпляры на Spark с «нулевыми инвестициями» со стороны инженерной команды или операций. Ценность точечных экземпляров была «совершенно очевидна»; им просто нужно было найти правильный инструмент, чтобы иметь возможность их использовать. Это была одна из причин, по которой они продвинулись вперед с Cast, отметил Шавит.

Хотя экономия в 2 или 3 раза на счетах за облачные вычисления — это здорово, Шавит отметил, что автоматизация без ручного вмешательства «бесценна». Она привела к «огромной» экономии времени.

До внедрения Cast AI его команда «постоянно крутила ручки и переключатели», чтобы гарантировать, что их производственные среды и клиенты соответствуют уровню сервиса, в который им нужно было инвестировать.

«Безусловно, самым большим преимуществом стало то, что нам больше не нужно управлять нашей инфраструктурой», — сказал Шавит. «Теперь это делает за нас команда агентов Cast. Это освободило нашу команду, чтобы сосредоточиться на самом важном: более быстром выпуске функций для наших клиентов».

Примечание редактора: на конференции VB Transform этого месяца технический директор Google Cloud Уилл Грэннис и старший вице-президент и главный аналитик Highmark Health Ричард Кларк обсудят новый стек ИИ в здравоохранении и реальные проблемы развертывания многомодельных систем ИИ в сложной регулируемой среде. Зарегистрируйтесь сегодня .