Gambaran umum arsitektur

Dasbor Deployment - Dasbor Deployment adalah antarmuka web yang berfungsi sebagai konsol manajemen bagi pengguna admin untuk melihat, mengelola, dan membuat kasus penggunaannya. Dasbor ini memungkinkan pelanggan untuk dengan cepat bereksperimen, mengulangi, dan memproduksi berbagai AI/ML beban kerja dengan memanfaatkan. LLMs

Kasus penggunaan teks - Kasus penggunaan Teks memungkinkan pengguna untuk mengalami antarmuka bahasa alami menggunakan AI generatif. Kasus penggunaan ini dapat diintegrasikan ke dalam aplikasi baru atau yang sudah ada, dan dapat disebarkan melalui dasbor Deployment atau secara independen melalui URL yang disediakan.

Kasus penggunaan Agen Batuan Dasar - Kasus penggunaan Agen Batuan Dasar memungkinkan penggunaan Agen Batuan Dasar yang ada untuk menyelesaikan tugas atau mengotomatiskan alur kerja berulang.

MCP Server - Kasus penggunaan MCP Server memungkinkan penyebaran dan pengelolaan server Protokol Konteks Model yang menyediakan akses alat dan sumber daya standar ke aplikasi AI. Mendukung kedua metode gateway untuk membungkus fungsi Lambda yang ada APIs, dan server MCP eksternal, dan metode runtime untuk menyebarkan server MCP kontainer kustom.

Agent Builder - Agent Builder memungkinkan pembuatan dan penyebaran agen AI siap produksi di Amazon Bedrock AgentCore dengan kontrol konfigurasi penuh, integrasi server MCP, dan kemampuan manajemen memori.

Workflow Builder - Workflow Builder memungkinkan pembuatan agen supervisor yang mengatur beberapa agen Agen Builder menggunakan pola delegasi Agen sebagai Alat untuk alur kerja multi-agen yang kompleks.

Pengguna admin masuk ke antarmuka pengguna Deployment Dashboard (UI).

Amazon CloudFront menghadirkan UI web, yang di-host di bucket Amazon Simple Storage Service (Amazon S3).

AWS WAF melindungi APIs dari serangan. Solusi ini mengonfigurasi seperangkat aturan yang disebut daftar kontrol akses web (web ACL) yang memungkinkan, memblokir, atau menghitung permintaan web berdasarkan aturan dan kondisi keamanan web yang dapat dikonfigurasi dan ditentukan pengguna.

UI web memanfaatkan satu set REST APIs yang diekspos menggunakan Amazon API Gateway.

Amazon Cognito mengautentikasi pengguna dan mendukung UI CloudFront web dan API Gateway.

AWS Lambda menyediakan logika bisnis untuk titik akhir REST. Fungsi Lambda pendukung ini mengelola dan membuat sumber daya yang diperlukan untuk melakukan penerapan kasus penggunaan menggunakan AWS. CloudFormation

Amazon DynamoDB menyimpan daftar penerapan.

Saat kasus penggunaan baru dibuat oleh pengguna admin, fungsi Lambda yang mendukung memulai acara pembuatan tumpukan untuk kasus penggunaan CloudFormation yang diminta.

Semua opsi konfigurasi LLM yang disediakan oleh pengguna admin di wizard penerapan disimpan di DynamoDB. Penerapan menggunakan tabel DynamoDB ini untuk mengkonfigurasi LLM saat runtime.

Menggunakan Amazon CloudWatch, solusi ini mengumpulkan metrik operasional dari berbagai layanan untuk menghasilkan dasbor khusus yang memungkinkan Anda memantau kinerja solusi dan kesehatan operasional.

Pengguna admin menerapkan kasus penggunaan menggunakan Dasbor Deployment. Pengguna bisnis masuk ke UI kasus penggunaan.

CloudFront memberikan UI web yang di-host di bucket S3.

UI web memanfaatkan WebSocket integrasi yang dibangun menggunakan API Gateway. API Gateway didukung oleh fungsi otorisasi Lambda khusus, yang menampilkan kebijakan AWS Identity and Access Management (IAM) yang sesuai berdasarkan grup Amazon Cognito tempat pengguna autentikasi berada. Kebijakan ini disimpan di DynamoDB.

Amazon Cognito mengautentikasi pengguna dan mendukung UI CloudFront web dan API Gateway.

Permintaan masuk dari pengguna bisnis diteruskan dari API Gateway ke antrean Amazon SQS dan kemudian ke Orchestrator. LangChain LangChain Orchestrator adalah kumpulan fungsi dan lapisan Lambda yang menyediakan logika bisnis untuk memenuhi permintaan yang berasal dari pengguna bisnis. Antrian memungkinkan operasi asinkron dari API Gateway ke integrasi Lambda. Antrian meneruskan informasi koneksi ke fungsi Lambda yang kemudian akan memposting hasil langsung kembali ke koneksi websocket API Gateway untuk mendukung panggilan inferensi yang berjalan lama.

LangChain Orchestrator menggunakan Amazon DynamoDB untuk mendapatkan opsi LLM yang dikonfigurasi dan informasi sesi yang diperlukan (seperti riwayat obrolan).

Jika penerapan memiliki basis pengetahuan yang diaktifkan, maka LangChain Orchestrator memanfaatkan Amazon Kendra atau Pangkalan Pengetahuan untuk Amazon Bedrock untuk menjalankan kueri penelusuran guna mengambil kutipan dokumen.

Menggunakan riwayat obrolan, kueri, dan konteks dari basis pengetahuan, LangChain Orchestrator membuat prompt terakhir dan mengirimkan permintaan ke LLM yang dihosting di Amazon Bedrock atau Amazon AI. SageMaker

Ketika respons kembali dari LLM, LangChain Orchestrator mengalirkan respons kembali melalui API Gateway WebSocket untuk dikonsumsi oleh aplikasi klien.

Menggunakan Amazon CloudWatch, solusi ini mengumpulkan metrik operasional dari berbagai layanan untuk menghasilkan dasbor khusus yang memungkinkan Anda memantau kinerja penerapan dan kesehatan operasional.

Jika pengumpulan umpan balik diaktifkan, titik akhir REST API, memanfaatkan Amazon API Gateway akan tersedia untuk pengumpulan umpan balik pengguna.

Umpan balik yang mendukung lambda, menambah umpan balik yang dikirimkan dengan metadata khusus kasus penggunaan tambahan (misalnya model yang digunakan) dan menyimpan data di Amazon S3 untuk analisis dan pelaporan selanjutnya oleh pengguna. DevOps

Pengguna admin menerapkan kasus penggunaan menggunakan Dasbor Deployment. Pengguna bisnis masuk ke UI kasus penggunaan.

CloudFront memberikan UI web yang di-host di bucket S3.

UI web memanfaatkan WebSocket integrasi yang dibangun menggunakan API Gateway. API Gateway didukung oleh fungsi otorisasi Lambda khusus, yang menampilkan kebijakan AWS Identity and Access Management (IAM) yang sesuai berdasarkan grup Amazon Cognito tempat pengguna autentikasi berada. Kebijakan ini disimpan di DynamoDB.

Amazon Cognito mengautentikasi pengguna dan mendukung UI CloudFront web dan API Gateway.

Permintaan masuk dari pengguna bisnis diteruskan dari API Gateway ke antrean Amazon SQS dan kemudian ke fungsi AWS Lambda. Antrian memungkinkan operasi asinkron dari API Gateway ke integrasi Lambda. Antrian meneruskan informasi koneksi ke fungsi Lambda yang kemudian akan memposting hasil langsung kembali ke koneksi websocket API Gateway untuk mendukung panggilan inferensi yang berjalan lama.

Fungsi AWS Lambda menggunakan Amazon DynamoDB untuk mendapatkan konfigurasi kasus penggunaan sesuai kebutuhan

Menggunakan input pengguna dan konfigurasi kasus penggunaan yang relevan, fungsi AWS Lambda membangun dan mengirimkan payload permintaan ke Agen Bedrock Amazon yang dikonfigurasi untuk memenuhi maksud pengguna.

Ketika respons kembali dari Amazon Bedrock Agent, fungsi Lambda mengalirkan respons kembali melalui API WebSocket Gateway untuk dikonsumsi oleh aplikasi klien.

Menggunakan Amazon CloudWatch, solusi ini mengumpulkan metrik operasional dari berbagai layanan untuk menghasilkan dasbor khusus yang memungkinkan Anda memantau kinerja penerapan dan kesehatan operasional.

Jika pengumpulan umpan balik diaktifkan, titik akhir REST API, memanfaatkan Amazon API Gateway akan tersedia untuk pengumpulan umpan balik pengguna.

Umpan balik yang mendukung lambda, menambah umpan balik yang dikirimkan dengan metadata khusus kasus penggunaan tambahan dan menyimpan data di Amazon S3 untuk analisis dan pelaporan selanjutnya oleh pengguna. DevOps

Pengguna admin menerapkan kasus penggunaan MCP Server menggunakan Dasbor Deployment, memilih metode penerapan Gateway atau Runtime.

Tindakan ini diautentikasi dengan Amazon Cognito.

Untuk penerapan Gateway, solusinya membuat Amazon Bedrock AgentCore Gateway yang mengubah fungsi Lambda yang ada APIs, atau server MCP eksternal menjadi alat yang sesuai dengan MCP. Untuk penerapan Runtime, solusinya menerapkan server MCP kontainer di Amazon Bedrock AgentCore Runtime menggunakan gambar ECR yang disediakan.

Penerapan gateway mengambil API/Lambda/Smithy skema yang diperlukan dari lokasi yang diunggah di Amazon S3, atau terhubung langsung ke titik akhir URL Server MCP.

Penerapan runtime mengambil server MCP kontainer yang disediakan oleh pengguna dari Amazon Elastic Container Registry (ECR)

Server MCP diinstrumentasi dengan klien Amazon Bedrock AgentCore Identity OAuth

MCP Server membuat alat terkait tersedia di endpoint /mcp untuk ditemukan Agen.

Amazon CloudWatch mengumpulkan metrik dan log operasional dari penerapan server MCP untuk pemantauan dan pemecahan masalah.

Pengguna admin menerapkan kasus penggunaan menggunakan Dasbor Deployment. Pengguna bisnis masuk ke UI kasus penggunaan.

CloudFront memberikan UI web yang di-host di bucket S3.

UI web memanfaatkan WebSocket integrasi yang dibangun menggunakan API Gateway. API Gateway didukung oleh fungsi otorisasi Lambda khusus, yang menampilkan kebijakan AWS Identity and Access Management (IAM) yang sesuai berdasarkan grup Amazon Cognito tempat pengguna autentikasi berada. Kebijakan ini disimpan di DynamoDB.

Amazon Cognito mengautentikasi pengguna dan mendukung UI CloudFront web dan API Gateway.

Permintaan masuk dari pengguna bisnis diteruskan dari API Gateway ke antrean Amazon SQS dan kemudian ke fungsi AWS Lambda. Antrian memungkinkan operasi asinkron dari API Gateway ke integrasi Lambda. Antrian meneruskan informasi koneksi ke fungsi Lambda yang kemudian akan memposting hasil langsung kembali ke koneksi websocket API Gateway untuk mendukung panggilan inferensi yang berjalan lama.

Fungsi AWS Lambda mengambil konfigurasi agen dari DynamoDB.

Menggunakan input pengguna dan konfigurasi kasus penggunaan yang relevan, fungsi AWS Lambda membangun dan mengirimkan payload permintaan ke agen, berjalan di Amazon Bedrock Runtime. AgentCore

Agen terhubung ke server MCP terkait dan mendaftarkan alat ke instance agen untaian. Agen kemudian secara mandiri memilih dan melakukan tindakan berdasarkan deskripsi alat dan persyaratan tugas.

Saat respons kembali dari AgentCore runtime Amazon Bedrock, fungsi Lambda mengalirkan respons kembali melalui API Gateway WebSocket untuk dikonsumsi oleh aplikasi klien.

Pengguna admin menerapkan alur kerja menggunakan Dasbor Deployment, memilih agen Pembuat Agen untuk disertakan sebagai agen khusus.

CloudFront memberikan UI web yang di-host di bucket S3.

UI web memanfaatkan WebSocket integrasi yang dibangun menggunakan API Gateway. API Gateway didukung oleh fungsi otorisasi Lambda khusus, yang menampilkan kebijakan AWS Identity and Access Management (IAM) yang sesuai berdasarkan grup Amazon Cognito tempat pengguna autentikasi berada. Kebijakan ini disimpan di DynamoDB.

Amazon Cognito mengautentikasi pengguna dan mendukung UI CloudFront web dan API Gateway.

Permintaan masuk dari pengguna bisnis diteruskan dari API Gateway ke antrean Amazon SQS dan kemudian ke fungsi AWS Lambda. Antrian memungkinkan operasi asinkron dari API Gateway ke integrasi Lambda.

Fungsi AWS Lambda mengambil konfigurasi alur kerja dari DynamoDB, termasuk daftar agen Pembuat Agen khusus.

Menggunakan input pengguna dan konfigurasi alur kerja, Lambda mengirimkan permintaan ke Amazon AgentCore Bedrock Runtime yang menghosting agen supervisor.

Agen supervisor membuat instance lokal dari semua agen Agen Builder khusus dalam lingkungan AgentCore Runtime. Agen khusus ini terdaftar sebagai alat menggunakan pola Agen sebagai Alat. Supervisor kemudian secara mandiri memilih dan mendelegasikan bekerja ke agen khusus berdasarkan deskripsi agen dan persyaratan tugas.

Agen supervisor mengumpulkan hasil dari agen khusus dan merumuskan respons akhir, mengembalikannya ke Lambda untuk dialirkan kembali ke aplikasi klien melalui Websocket API Gateway.