Visão geral da arquitetura

Painel de implantação - O painel de implantação é uma interface web que serve como um console de gerenciamento para usuários administradores visualizarem, gerenciarem e criarem seus casos de uso. Esse painel permite que os clientes experimentem, iterem e produzam rapidamente várias AI/ML cargas de trabalho aproveitando. LLMs

Caso de uso de texto - O caso de uso de texto permite que os usuários experimentem uma interface de linguagem natural usando IA generativa. Esse caso de uso pode ser integrado a aplicativos novos ou existentes e pode ser implantado por meio do painel de implantação ou de forma independente por meio de uma URL fornecida.

Caso de uso do Bedrock Agent - O caso de uso do Bedrock Agent permite o uso dos Bedrock Agents existentes para concluir tarefas ou automatizar fluxos de trabalho repetidos.

Servidor MCP - O caso de uso do MCP Server permite a implantação e o gerenciamento de servidores do Model Context Protocol que fornecem ferramentas padronizadas e acesso a recursos para aplicativos de IA. Suporta métodos de gateway para agrupar funções APIs Lambda existentes e servidores MCP externos e métodos de tempo de execução para implantar servidores MCP em contêineres personalizados.

Agent Builder — O Agent Builder permite a criação e a implantação de agentes de IA prontos para produção no Amazon Bedrock AgentCore com controle total de configuração, integração de servidores MCP e recursos de gerenciamento de memória.

Construtor de fluxo de trabalho - O criador de fluxo de trabalho permite a criação de agentes supervisores que orquestram vários agentes do Agent Builder usando o padrão de delegação de Agentes como Ferramentas para fluxos de trabalho complexos com vários agentes.

Os usuários administradores fazem login na interface de usuário (UI) do Deployment Dashboard.

A Amazon CloudFront fornece a interface web, que é hospedada em um bucket do Amazon Simple Storage Service (Amazon S3).

O AWS WAF os APIs protege contra ataques. Essa solução configura um conjunto de regras chamado lista de controle de acesso à web (Web ACL) que permite, bloqueia ou conta solicitações da web com base em regras e condições de segurança da web configuráveis e definidas pelo usuário.

A interface web utiliza um conjunto de REST APIs que são expostos usando o Amazon API Gateway.

O Amazon Cognito autentica usuários e faz backup tanto CloudFront da interface de usuário da web quanto do API Gateway.

O AWS Lambda fornece a lógica de negócios para os endpoints REST. Essa função de apoio do Lambda gerencia e cria os recursos necessários para realizar implantações de casos de uso usando a AWS. CloudFormation

O Amazon DynamoDB armazena a lista de implantações.

Quando um novo caso de uso é criado pelo usuário administrador, a função Lambda de apoio inicia CloudFormation um evento de criação de pilha para o caso de uso solicitado.

Todas as opções de configuração do LLM fornecidas pelo usuário administrador no assistente de implantação são salvas no DynamoDB. A implantação usa essa tabela do DynamoDB para configurar o LLM em tempo de execução.

Usando a Amazon CloudWatch, essa solução coleta métricas operacionais de vários serviços para gerar painéis personalizados que permitem monitorar o desempenho e a integridade operacional da solução.

Os usuários administradores implantam o caso de uso usando o Painel de Implantação. Os usuários corporativos fazem login na interface do usuário do caso de uso.

CloudFront fornece a interface do usuário da web que está hospedada em um bucket S3.

A interface de usuário da web aproveita uma WebSocket integração criada usando o API Gateway. O API Gateway é apoiado por uma função autorizadora personalizada do Lambda, que retorna a política apropriada do AWS Identity and Access Management (IAM) com base no grupo Amazon Cognito ao qual o usuário autenticador pertence. A política é armazenada no DynamoDB.

O Amazon Cognito autentica usuários e faz backup tanto CloudFront da interface de usuário da web quanto do API Gateway.

As solicitações recebidas do usuário corporativo são passadas do API Gateway para uma fila do Amazon SQS e, em seguida, para o orquestrador. LangChain O LangChain orquestrador é uma coleção de funções e camadas do Lambda que fornecem a lógica de negócios para atender às solicitações provenientes do usuário corporativo. A fila permite a operação assíncrona da integração do API Gateway com o Lambda. A fila passa as informações de conexão para as funções do Lambda, que então publicam os resultados diretamente na conexão websocket do API Gateway para suportar chamadas de inferência de longa duração.

O LangChain orquestrador usa o Amazon DynamoDB para obter as opções configuradas do LLM e as informações necessárias da sessão (como o histórico do bate-papo).

Se a implantação tiver uma base de conhecimento habilitada, o LangChain orquestrador aproveita o Amazon Kendra ou as bases de conhecimento do Amazon Bedrock para executar uma consulta de pesquisa para recuperar trechos de documentos.

Usando o histórico de bate-papo, a consulta e o contexto da base de conhecimento, o LangChain orquestrador cria a solicitação final e envia a solicitação para o LLM hospedado no Amazon Bedrock ou no Amazon AI. SageMaker

Quando a resposta volta do LLM, o LangChain orquestrador transmite a resposta de volta pelo API Gateway WebSocket para ser consumida pelo aplicativo cliente.

Usando a Amazon CloudWatch, essa solução coleta métricas operacionais de vários serviços para gerar painéis personalizados que permitem monitorar o desempenho e a integridade operacional da implantação.

Se a coleta de feedback estiver ativada, um endpoint da API REST, utilizando o Amazon API Gateway, será disponibilizado para a coleta de feedback do usuário.

O feedback de apoio lambda aumenta o feedback enviado com metadados adicionais específicos do caso de uso (por exemplo, modelo usado) e armazena os dados no Amazon S3 para análise e geração de relatórios posteriores pelos usuários. DevOps

Os usuários administradores implantam o caso de uso usando o Painel de Implantação. Os usuários corporativos fazem login na interface do usuário do caso de uso.

CloudFront fornece a interface do usuário da web que está hospedada em um bucket S3.

A interface de usuário da web aproveita uma WebSocket integração criada usando o API Gateway. O API Gateway é apoiado por uma função autorizadora personalizada do Lambda, que retorna a política apropriada do AWS Identity and Access Management (IAM) com base no grupo Amazon Cognito ao qual o usuário autenticador pertence. A política é armazenada no DynamoDB.

O Amazon Cognito autentica usuários e faz backup tanto CloudFront da interface de usuário da web quanto do API Gateway.

As solicitações recebidas do usuário corporativo são passadas do API Gateway para uma fila do Amazon SQS e, em seguida, para a função AWS Lambda. A fila permite a operação assíncrona da integração do API Gateway com o Lambda. A fila passa as informações de conexão para a função Lambda, que então publicará os resultados diretamente na conexão websocket do API Gateway para suportar chamadas de inferência de longa duração.

A função AWS Lambda usa o Amazon DynamoDB para obter as configurações do caso de uso conforme necessário.

Usando a entrada do usuário e qualquer configuração de caso de uso relevante, a função AWS Lambda cria e envia uma carga de solicitação para o Amazon Bedrock Agent configurado para cumprir a intenção do usuário.

Quando a resposta volta do Amazon Bedrock Agent, a função Lambda transmite a resposta de volta por meio do API WebSocket Gateway para ser consumida pelo aplicativo cliente.

Usando a Amazon CloudWatch, essa solução coleta métricas operacionais de vários serviços para gerar painéis personalizados que permitem monitorar o desempenho e a integridade operacional da implantação.

Se a coleta de feedback estiver ativada, um endpoint da API REST, utilizando o Amazon API Gateway, será disponibilizado para a coleta de feedback do usuário.

O feedback de apoio lambda aumenta o feedback enviado com metadados adicionais específicos do caso de uso e armazena os dados no Amazon S3 para análise e geração de relatórios posteriores pelos usuários. DevOps

Os usuários administradores implantam o caso de uso do MCP Server usando o Deployment Dashboard, selecionando o método de implantação Gateway ou Runtime.

Essa ação é autenticada com o Amazon Cognito.

Para a implantação do Gateway, a solução cria um Amazon Bedrock AgentCore Gateway que transforma funções Lambda existentes ou servidores MCP externos em APIs ferramentas compatíveis com MCP. Para a implantação do Runtime, a solução implanta servidores MCP em contêineres no Amazon Bedrock AgentCore Runtime usando imagens ECR fornecidas.

As implantações de gateway recuperam os API/Lambda/Smithy esquemas necessários de seu local de upload no Amazon S3 ou se conectam diretamente aos endpoints de URL do servidor MCP.

As implantações em tempo de execução recuperam o servidor MCP em contêineres fornecido pelo usuário do Amazon Elastic Container Registry (ECR)

O MCP Server é instrumentado com um cliente Amazon Bedrock Identity AgentCore OAuth

O MCP Server disponibiliza as ferramentas associadas no endpoint /mcp para que os agentes as descubram.

A Amazon CloudWatch coleta métricas e registros operacionais de implantações de servidores MCP para monitoramento e solução de problemas.

Os usuários administradores implantam o caso de uso usando o Painel de Implantação. Os usuários corporativos fazem login na interface do usuário do caso de uso.

CloudFront fornece a interface do usuário da web que está hospedada em um bucket S3.

A interface de usuário da web aproveita uma WebSocket integração criada usando o API Gateway. O API Gateway é apoiado por uma função autorizadora personalizada do Lambda, que retorna a política apropriada do AWS Identity and Access Management (IAM) com base no grupo Amazon Cognito ao qual o usuário autenticador pertence. A política é armazenada no DynamoDB.

O Amazon Cognito autentica usuários e faz backup tanto CloudFront da interface de usuário da web quanto do API Gateway.

As solicitações recebidas do usuário corporativo são passadas do API Gateway para uma fila do Amazon SQS e, em seguida, para a função AWS Lambda. A fila permite a operação assíncrona da integração do API Gateway com o Lambda. A fila passa as informações de conexão para a função Lambda, que então publicará os resultados diretamente na conexão websocket do API Gateway para suportar chamadas de inferência de longa duração.

A função AWS Lambda recupera a configuração do agente do DynamoDB.

Usando a entrada do usuário e qualquer configuração de caso de uso relevante, a função AWS Lambda cria e envia uma carga de solicitação ao agente, executada no Amazon Bedrock Runtime. AgentCore

O agente se conecta aos servidores MCP associados e registra as ferramentas na instância do agente de strings. O agente então seleciona e executa ações de forma autônoma com base nas descrições das ferramentas e nos requisitos da tarefa.

Quando a resposta volta do tempo de AgentCore execução do Amazon Bedrock, a função Lambda transmite a resposta de volta por meio do API WebSocket Gateway para ser consumida pelo aplicativo cliente.

Os usuários administradores implantam o fluxo de trabalho usando o Painel de Implantação, selecionando agentes do Agent Builder para incluir como agentes especializados.

CloudFront fornece a interface do usuário da web que está hospedada em um bucket S3.

A interface de usuário da web aproveita uma WebSocket integração criada usando o API Gateway. O API Gateway é apoiado por uma função autorizadora personalizada do Lambda, que retorna a política apropriada do AWS Identity and Access Management (IAM) com base no grupo Amazon Cognito ao qual o usuário autenticador pertence. A política é armazenada no DynamoDB.

O Amazon Cognito autentica usuários e faz backup tanto CloudFront da interface de usuário da web quanto do API Gateway.

As solicitações recebidas do usuário corporativo são passadas do API Gateway para uma fila do Amazon SQS e, em seguida, para a função AWS Lambda. A fila permite a operação assíncrona da integração do API Gateway com o Lambda.

A função AWS Lambda recupera a configuração do fluxo de trabalho do DynamoDB, incluindo a lista de agentes especializados do Agent Builder.

Usando a entrada do usuário e a configuração do fluxo de trabalho, o Lambda envia solicitações para o Amazon Bedrock AgentCore Runtime que hospeda o agente supervisor.

O agente supervisor cria instâncias locais de todos os agentes especializados do Agent Builder no ambiente AgentCore Runtime. Esses agentes especializados são registrados como ferramentas usando o padrão Agents as Tools. O supervisor então seleciona e delega de forma autônoma o trabalho a agentes especializados com base nas descrições dos agentes e nos requisitos da tarefa.

O agente supervisor agrega resultados de agentes especializados e formula a resposta final, devolvendo-a ao Lambda para ser transmitida de volta ao aplicativo cliente por meio do Websocket do API Gateway.