Джерело: aws.amazon.com/blogs

Моделі, на яких базуються сучасні агенти, надзвичайно потужні. Вони здатні аналізувати складні проблеми, планувати багатоетапні робочі процеси та генерувати деталізовані відповіді. Проте більшість агентів працюють значно нижче свого потенціалу. Справа не в інтелекті, а в доступі до потрібного контексту та зворотного зв’язку.

Агент служби підтримки, завдання якого — відповісти на запитання щодо політики повернення коштів компанії, не зможе допомогти, якщо не має доступу до документа в SharePoint, де ця політика описана. Дослідницький агент, що складає огляд ринку, надасть неповну картину, якщо не зможе отримати актуальну інформацію за межами своїх навчальних даних. Фінансовий агент-консультант видасть не найкращу рекомендацію, якщо ринкові дані в реальному часі, необхідні йому, приховані за пейволом, який він не може подолати. Крім того, у більшості команд немає систематичного способу дізнатися, чи стають їхні агенти кращими, чи гіршими після розгортання.

Потужна модель — це лише відправна точка. Те, що змушує агента ефективно працювати у продакшені, — це доступ до всього необхідного для виконання повної роботи: потрібних знань, ресурсів для дій та циклів зворотного зв’язку для постійного вдосконалення.

17 червня компанія AWS представила нові можливості на Amazon Bedrock AgentCore — платформі для створення, підключення та оптимізації агентів. У цьому матеріалі експерти AWS розповідають, як ці можливості заповнюють кожну прогалину: підключення агентів до організаційних, веб- та платних знань; допомога командам у пошуку та виправленні помилок у продакшені, а також впровадження засобів контролю, що масштабуються разом із розвитком здібностей агентів. Разом вони допоможуть розробникам швидше створювати потужніших агентів, керувати ними за допомогою масштабованих засобів контролю, та постійно їх вдосконалювати.

Агенти, які знають та охоплюють більше

AI-агенти на AgentCore мають вбудований доступ до трьох рівнів знань, кожен з яких розширює можливості того, що агенти можуть охопити та досягти.

Рівень організаційних знань: Amazon Bedrock Managed Knowledge Base

Найцінніша корпоративна інформація розсіяна по SharePoint, Google Drive, Confluence, S3 та внутрішніх вікі-системах. Щоб зробити її доступною для агентів, традиційно потрібно було створювати кастомні ingestion pipelines, налаштовувати retrieval та підтримувати актуальність даних. Це місяці інженерної роботи, перш ніж агент зможе відповісти на базове запитання про бізнес.

Bedrock Managed Knowledge Base відтепер доступна на AgentCore для того щоб звільнити час фахівців від цієї роботи. Користувачі підключають свої неструктуровані джерела даних, а AgentCore бере на себе решту. Фахівці AWS керують векторним сховищем, ембеддингами та моделями переранжування (re-ranking models), що використовуються під час пошуку, а також питаннями масштабованості, як-от обмеження запитів, щоб команди розробників могли зосередитися на створенні агентів, а не на обслуговуванні пайплайнів. У її основі — агентний ретривер (agentic retriever), який значно виходить за межі традиційного RAG. Замість того, щоб просто шукати найближчі до запиту фрагменти тексту, він планує запити до корпоративних баз знань, поєднує пов’язані концепції в різних документах, оцінює проміжні результати та виконує переранжування перед наданням відповіді. Для складних багатокомпонентних запитів, що охоплюють кілька тем одночасно, агентний ретривер забезпечує помітно ширше та повніше охоплення, ніж базовий пошук. Агент переходить від відповіді “У мене немає доступу до цього” до синтезованої відповіді, сформованої на основі реальних бізнес-знань, без необхідності будувати пайплайни чи налаштовувати пошук.

Рівень світових знань: Веб-пошук на AgentCore

Внутрішні знання мають прогалини. Регуляції змінюються, ринки коливаються, конкуренти постійно випускають нові продукти. Щоб працювати якнайкраще, агентам потрібно розуміти, що відбувається у світі за межами організації — для досліджень, перевірки фактів, обслуговування клієнтів та ринкової аналітики.

Команда AWS представила Web Search — новий інструмент для розробників, що створюють AI-агентів. Він надає інформацію з інтернету, зберігаючи дані в захищеному середовищі AWS клієнта. Побудований на тій самій інфраструктурі пошуку Amazon, що забезпечує роботу Alexa+, Amazon Quick Suite та Kiro, Web Search оптимізований для агентного пошуку, повертаючи високоцінні уривки, які забезпечують високу інформативність на кожен токен. Він також використовує підхід багатоджерельного граундингу (grounding), поєднуючи публічну веб-інформацію з власним графом знань Amazon. Цей граф додає структуровані дані про сутності, перевірені факти та інформацію в реальному часі, як-от курси акцій або результати спортивних змагань. Web Search на AgentCore тримає запити в межах безпеки та комплаєнсу (compliance) AWS, без необхідності підключати сторонніх вендорів, а також без зайвих завдань з оркестрації, аутентифікації та білінгу. Незалежно від того, чи створюють розробники дослідницьких агентів, що перевіряють публічні джерела, чи агентів з комплаєнсу, що відстежують зміни в регуляціях, або ж забезпечують актуальність відповідей моделей, штучний інтелект тепер може аналізувати живий інтернет так само, як він звертається до внутрішніх знань.

“У Sony ми будуємо платформу корпоративних AI-агентів на AgentCore, де команди з різних бізнес-підрозділів можуть розробляти, ділитися та повторно використовувати AI-агентів — від асистентів із питань знань до агентів з автоматизації робочих процесів — кожен адаптований до своїх потреб. Наші корпоративні знання розподілені між такими сховищами, як SharePoint, Confluence та Amazon S3, і включають складні документи: PDF, презентації та електронні таблиці з діаграмами й графіками. Тепер, коли Bedrock Managed Knowledge Base і Web Search доступні в AgentCore, ми можемо оснастити агентів передовими інструментами пошуку та граундингом на основі живих веб-даних з єдиною моделлю управління, не будуючи ці можливості з нуля. Це прискорює наше бачення трансформації того, як люди працюють, використовуючи AI як каталізатор у масштабах усієї компанії.”
— Масахіро Оба, старший генеральний менеджер, Sony Group Corporation

Рівень платних знань: Платежі AgentCore та монетизація AI-трафіку через AWS WAF

Найкраща інформація не завжди безкоштовна. Стріми фінансових ринків, ліцензовані дослідження, пропрієтарні набори даних, преміальні API. Якщо агент не має доступу до платних ресурсів, він повертає неоптимальну відповідь, а користувач ніколи не дізнається, що було пропущено.

Доступ до платного контенту має дві сторони: агентам потрібен спосіб платити, а провайдерам — спосіб отримувати оплату. Платежі AgentCore, анонсовані в прев’ю минулого місяця, вирішують завдання з боку агента, дозволяючи агентам знаходити платні сервіси та контент, отримувати до них доступ і здійснювати оплату безпосередньо під час виконання завдання. Монетизація AI-трафіку через WAF, доступна для загального використання, вирішує завдання з боку провайдера, надаючи власникам контенту можливість контролювати доступ агентів: блокувати його, дозволяти або отримувати оплату. Оскільки обидві можливості працюють на одній платформі, провайдери, що використовують WAF, автоматично розпізнають агентів, верифікованих на AgentCore. Результатом є довірений канал: менше перешкод для верифікованих агентів і компенсація для провайдерів. Разом ці можливості будують інфраструктуру для обох сторін економіки агентів, щоб вони могли дістатися всього, а не лише того, що є безкоштовним.

Бажаєте впровадити сучасну AI-інфраструктуру в екосистемі AWS? Звертайтесь за безкоштовною консультацією фахівців Wise IT, офіційного партнера AWS:

Отримати консультацію

Агенти, які вчаться на кожній взаємодії

Надання агентам кращого доступу до знань — це лише частина рівняння. Розробникам також потрібно знати, чи справді агент досягає своєї мети, і вчасно помічати, коли це не так.

Це складніше, ніж здається. Найнебезпечніші збої агентів — це не ті, що видають помилки. Це ті, що виглядають нормально на дашбордах: агент, який підтверджує зміну замовлення, яку він ніколи не виконував; агент, який вигадує наявність товару, коли API видає тайм-аут; або агент, який пропускає крок погодження, поки дашборди показують 99% успішних операцій. Ці збої не генерують сигналів про помилки. Вони виявляються через скарги клієнтів тижнями пізніше, часто після того, як постраждали тисячі сесій. І навіть коли команди розуміють, що щось не так, виправлення — це здебільшого вгадування. Фахівці змінюють промпт, коригують опис інструменту, підправляють логіку оркестрації й сподіваються, що це допоможе, не маючи структурованого способу дізнатися, чи справді зміни покращили ситуацію, чи тихенько зламали щось інше.

Компанія AWS анонсувала нові можливості оптимізації в AgentCore, які перетворюють трейси (traces) продуктивного середовища на безперервне вдосконалення. Разом вони формують цикл: розуміння того, що насправді роблять агенти, генерація виправлень на основі даних, їх валідація перед випуском та підтвердження ефективності.

Розуміння того, що роблять агенти: Доступні в прев’ю відсьогодні, інструменти AgentCore надають багаті інсайти щодо збоїв, намірів (intent) та траєкторій виконання завдань (trajectory) на сотнях сесій, виявляючи патерни, які не показав би жоден дашборд чи перегляд трейсів “по одному”. Аналіз збоїв виявляє повторювані патерни невдач, включаючи “тихі” поведінкові збої, що не видають сигналу про помилку, детально пояснює корінні причини кожного та ранжує їх за масштабністю, щоб розробники могли одразу побачити, які проблеми найбільше шкодять користувачам, і виправити їх першочергово. Інсайти щодо намірів групують запити відповідно до того, що користувачі насправді намагалися зробити, щоб фахівці бачили реальну картину використання агента. Інсайти щодо траєкторій групують шляхи, якими агенти йдуть під час виконання завдання, допомагаючи виявити типові патерни та відхилення. Користувачі можуть увімкнути постійний моніторинг із щоденними або щотижневими звітами або провести цілеспрямоване розслідування після розгортання чи сплеску скарг, отримавши результати за лічені хвилини.

Виправлення з упевненістю: Як тільки стає відомо, що потрібно змінити, рекомендації та A/B-тестування (вже доступні для загального використання) допоможуть діяти. Рекомендації аналізують трейси та результати оцінки, пропонуючи конкретні покращення системних промптів та описів інструментів, базуючись на тому, як насправді поводиться агент. Пакетне оцінювання (batch evaluation) тестує ці рекомендації на визначеному наборі тестових даних і видає агреговані бали, щоб розробники могли виявити регресії до того, як зміни потраплять у продакшен. A/B-тестування проводиться як контрольоване порівняння між версіями агентів із розподілом реального трафіку, що дає чіткі докази того, що зміна працює в умовах продуктивного середовища, перш ніж її затвердять. Все це працює незалежно від того, де запущені агенти: на рантаймі AgentCore, AWS Lambda, Amazon EKS або середовищах поза AWS.

Так виглядає схема безперервного вдосконалення, коли воно вбудоване в платформу.

“У FUJISOFT ми будуємо AI-агентів для прискорення розробки програмного забезпечення та операцій. Наш фреймворк Character Capsule пакує ролі, навички та процедури агентів як багаторазові капсули, що працюють на локальних інструментах кодування, таких як Copilot та Kiro, або масштабуються до мультиагентної оркестрації на AgentCore. Коли ми розгортали більше агентів, найбільшою проблемою були “тихі” збої, які виглядали нормально, але спливали пізніше, і їх виправлення було ворожінням. Можливості оптимізації в AgentCore змінили це. Вони аналізують наші трейси в продакшені, щоб виявляти патерни збоїв, пояснюють, чому вони трапляються, і ранжують їх за впливом. Потім ми отримуємо рекомендації щодо покращення наших промптів та описів інструментів, а також A/B-тестуємо їх на живому трафіку перед комітом. Покращення агентів тепер — це безперервний цикл, оснований на даних, а не спроби та помилки.”
— Казумі Мацуда, старший менеджер, Відділ просування AI, FUJISOFT

Сильніший контроль у міру зростання можливостей агентів: Нові вдосконалення політик

Більш здібні агенти означають більшу поверхню атаки. І агенти вносять виклик безпеці, якого ніколи не було в традиційному програмному забезпеченні: вони ймовірнісні (probabilistic). Агенти роблять судження, а на судження може вплинути контекст. Нова точка вразливості — це не корпоративна мережа, це контекст агента, де ін’єкції промптів (prompt injection) та отруєння пам’яті (memory poisoning) не потребують зламу, а лише переконання агента зробити хибне судження.

Спосіб захистити щось ймовірнісне — це використати щось детерміноване (deterministic): не як мозок, а як захисні бар’єри (guardrails) навколо нього. Можливості політик в AgentCore вже забезпечують детерміновані елементи контролю в реальному часі, які визначають, що агент може, а що не може робити з інструментами та даними на рівні шлюзу. Фахівці AWS розширюють їх інтеграцією з Bedrock Guardrails (доступно для загального використання), яка оцінює кожну дію агента на предмет спроб ін’єкції промптів, шкідливого контенту та витоку конфіденційних даних. Ці перевірки виконуються на рівні шлюзу, поза кодом агента, де агент їх не бачить у своєму контексті, не може обійти їх через логічні міркування і не може переконати себе, що вони до нього не застосовуються.

Guardrails — це перший із багатьох сигналів виявлення, на які можуть реагувати політики AgentCore, і це будуть не лише власні сигнали платформи. Незабаром AgentCore дозволить розробникам передавати сигнали виявлення від провідних провайдерів безпеки, включаючи Check Point, Zscaler, Rubrik, Netskope та SentinelOne, у ті самі політики. Принцип залишається незмінним незалежно від того, звідки надходить сигнал: виявлення може бути ймовірнісним, але примусове застосування політики завжди детерміноване і приймає остаточне рішення “дозволити” чи “заборонити” на основі встановлених порогів. Оскільки кожен інструмент і джерело контексту на AgentCore проходять через шлюз, нові можливості, які отримує агент, автоматично керуються на тому ж самому рівні безпеки.

Від ідеї до працюючого агента за хвилини: AgentCore harness вже доступний

Агент — це більше, ніж модель. Якщо модель — це мозок, то харнес (harness) — це тіло: усе, що потрібно мозку для виконання роботи. Він запускає цикл оркестрації, використовує інструменти, керує вікном контексту, зберігає стан між кроками, відновлюється після збоїв та ізолює кожну сесію. Харнес формує ефективність роботи агента не менше, ніж сама модель. Створення надійного харнеса — це те, на що сьогодні витрачають час більшість команд.

Харнес AgentCore, який відсьогодні став загальнодоступним, надає всю цю базову інфраструктуру у вигляді готового керованого сервісу. Замість написання коду циклу користувачі визначають агента через конфігурацію: модель, яку він використовує; інструменти, які він викликає; навички, до яких має доступ; інструкції, яких дотримується. AgentCore збирає та запускає цей цикл для користувачів. З цього єдиного визначення можна отримати працюючого агента за хвилини, що функціонує у власному ізольованому середовищі. Він постачається з файловою системою та оболонкою (shell), пам’яттю між сесіями, навичками (включаючи каталог, курований AWS) та веб-браузингом. Це не просто інструмент для старту, який ваша організація швидко переросте. Початкова конфігурація в даному випадку — це саме те, що ви зможете масштабувати для повноцінної роботи. А коли вам знадобиться кастомна оркестрація, ви зможете експортувати свій харнес у код і залишатися на тій самій платформі, нічого не перебудовуючи з нуля.

Окрім швидкості, це відкриває реальний вибір, якого ринок ще не пропонує. Варіанти харнесів, доступні сьогодні, прив’язують розробників до певного рішення. Open-source варіанти змушують команди самостійно хостити й обслуговувати харнес; керовані сервіси (managed services) замикають користувачів у власному середовищі; харнеси від лабораторій моделей оптимізовані лише для їхніх моделей. Розробники AWS відокремили харнес від моделі, тому можна вибрати будь-яку модель і перемикатися між ними під час сесії, не торкаючись логіки агента. Оскільки кордони технологій рухаються і найкраща модель для завдання змінюється, фундамент агента залишається незмінним.

Вибір — це лише частина справи. Оскільки харнес є частиною єдиної платформи, а не шаром хостингу, обгорнутим навколо фреймворку, він доходить до інструментів через той самий шлюз, який застосовує політики безпеки та підключає агента до організаційних знань, веб-пошуку та платних послуг. Ідентичність, пам’ять та спостережуваність (observability) походять від тієї ж платформи, тому кожна дія, яку виконує агент, регулюється та відстежується з першого виклику без додаткового налаштування зв’язків. Агент, якого задекларували в перший день, — це агент, якого запускають на тисячний день, на тому самому фундаменті протягом усього часу.

“Клієнти Twilio створюють AI-агентів, які працюють через голосові, текстові та цифрові канали, з інтелектом у реальному часі та постійною пам’яттю, що робить кожну взаємодію схожою на розмову. Поєднуючи AgentCore harness із Twilio Conversations, розробники можуть пройти шлях від ідеї до живого агента без переробки інфраструктури. Найкращий клієнтський досвід виникає тоді, коли чудовий AI та чудова інфраструктура комунікацій створюються разом.”
— Омар Пол, віцепрезидент із продукту, Twilio

Початок роботи

Наступні можливості доступні для загального використання вже сьогодні: AgentCore harness, Bedrock Managed Knowledge Base, Web Search, інтеграція Guardrail, рекомендації та A/B-тестування. Інсайти та платежі доступні в прев’ю.

Отримати консультацію