아키텍처 개요

배포 대시보드 - 배포 대시보드는 관리자 사용자가 사용 사례를 보고 관리하고 생성할 수 있는 관리 콘솔 역할을 하는 웹 인터페이스입니다. 이 대시보드를 통해 고객은 LLMs.

텍스트 사용 사례 - 텍스트 사용 사례를 통해 사용자는 생성형 AI를 사용하여 자연어 인터페이스를 경험할 수 있습니다. 이 사용 사례는 신규 또는 기존 애플리케이션에 통합할 수 있으며 배포 대시보드를 통해 배포하거나 제공된 URL을 통해 독립적으로 배포할 수 있습니다.

Bedrock 에이전트 사용 사례 - Bedrock 에이전트 사용 사례를 사용하면 기존 Bedrock 에이전트를 사용하여 작업을 완료하거나 반복 워크플로를 자동화할 수 있습니다.

MCP 서버 - MCP 서버 사용 사례를 통해 AI 애플리케이션에 대한 표준화된 도구 및 리소스 액세스를 제공하는 모델 컨텍스트 프로토콜 서버를 배포하고 관리할 수 있습니다. 기존 Lambda 함수, APIs와 사용자 지정 컨테이너화된 MCP 서버를 배포하기 위한 런타임 메서드를 모두 지원합니다.

에이전트 빌더 - 에이전트 빌더를 사용하면 전체 구성 제어, MCP 서버 통합 및 메모리 관리 기능을 통해 Amazon Bedrock AgentCore에서 프로덕션 지원 AI 에이전트를 생성하고 배포할 수 있습니다.

Workflow Builder - Workflow Builder를 사용하면 복잡한 다중 에이전트 워크플로에서 에이전트를 도구 위임 패턴으로 사용하여 여러 에이전트를 오케스트레이션하는 감독자 에이전트를 생성할 수 있습니다.

관리자 사용자는 배포 대시보드 사용자 인터페이스(UI)에 로그인합니다.

Amazon CloudFront는 Amazon Simple Storage Service(Amazon S3) 버킷에서 호스팅되는 웹 UI를 제공합니다.

AWS WAF는 공격으로부터 APIs 보호합니다. 이 솔루션은 구성 가능한 사용자 정의 웹 보안 규칙 및 조건을 기반으로 웹 요청을 허용, 차단 또는 계산하는 웹 액세스 제어 목록(웹 ACL)이라는 규칙 세트를 구성합니다.

웹 UI는 Amazon APIs Gateway를 사용하여 노출되는 REST API 세트를 활용합니다. Amazon API Gateway

Amazon Cognito는 사용자를 인증하고 CloudFront 웹 UI와 API Gateway를 모두 지원합니다.

AWS Lambda는 REST 엔드포인트에 대한 비즈니스 로직을 제공합니다. 이 백업 Lambda 함수는 AWS CloudFormation을 사용하여 사용 사례 배포를 수행하는 데 필요한 리소스를 관리하고 생성합니다.

Amazon DynamoDB는 배포 목록을 저장합니다.

관리자 사용자가 새 사용 사례를 생성하면 백업 Lambda 함수가 요청된 사용 사례에 대한 CloudFormation 스택 생성 이벤트를 시작합니다.

배포 마법사에서 관리자 사용자가 제공하는 모든 LLM 구성 옵션은 DynamoDB에 저장됩니다. 배포는이 DynamoDB 테이블을 사용하여 런타임 시 LLM을 구성합니다.

이 솔루션은 Amazon CloudWatch를 사용하여 다양한 서비스에서 운영 지표를 수집하여 솔루션의 성능 및 운영 상태를 모니터링할 수 있는 사용자 지정 대시보드를 생성합니다.

관리자 사용자는 배포 대시보드를 사용하여 사용 사례를 배포합니다. 비즈니스 사용자는 사용 사례 UI에 로그인합니다.

CloudFront는 S3 버킷에서 호스팅되는 웹 UI를 제공합니다.

웹 UI는 API Gateway를 사용하여 구축된 WebSocket 통합을 활용합니다. API Gateway는 인증 사용자가 속한 Amazon Cognito 그룹을 기반으로 적절한 AWS Identity and Access Management(IAM) 정책을 반환하는 사용자 지정 Lambda 권한 부여자 함수의 지원을 받습니다. 정책은 DynamoDB에 저장됩니다.

Amazon Cognito는 사용자를 인증하고 CloudFront 웹 UI와 API Gateway를 모두 지원합니다.

비즈니스 사용자의 수신 요청은 API Gateway에서 Amazon SQS 대기열로 전달된 다음 LangChain Orchestrator로 전달됩니다. LangChain 오케스트레이터는 비즈니스 사용자의 요청을 이행하기 위한 비즈니스 로직을 제공하는 Lambda 함수 및 계층의 모음입니다. 대기열은 API Gateway와 Lambda 통합의 비동기 작업을 활성화합니다. 대기열은 연결 정보를 Lambda 함수에 전달한 다음 결과를 API Gateway 웹 소켓 연결에 직접 게시하여 장기 실행 추론 호출을 지원합니다.

LangChain Orchestrator는 Amazon DynamoDB를 사용하여 구성된 LLM 옵션과 필요한 세션 정보(예: 채팅 기록)를 가져옵니다.

배포에 지식 기반이 활성화된 경우 LangChain Orchestrator는 Amazon Kendra 또는 Amazon Bedrock용 지식 기반을 활용하여 검색 쿼리를 실행하여 문서 발췌문을 검색합니다.

LangChain Orchestrator는 지식 기반의 채팅 기록, 쿼리 및 컨텍스트를 사용하여 최종 프롬프트를 생성하고 Amazon Bedrock 또는 Amazon Amazon SageMaker AI에서 호스팅되는 LLM으로 요청을 보냅니다.

LLM에서 응답이 반환되면 LangChain Orchestrator는 클라이언트 애플리케이션에서 사용할 API Gateway WebSocket을 통해 응답을 다시 스트리밍합니다.

이 솔루션은 Amazon CloudWatch를 사용하여 다양한 서비스에서 운영 지표를 수집하여 배포의 성능 및 운영 상태를 모니터링할 수 있는 사용자 지정 대시보드를 생성합니다.

피드백 수집이 활성화된 경우 Amazon API Gateway를 활용하는 REST API 엔드포인트를 사용자 피드백 수집에 사용할 수 있습니다.

피드백 지원 Lambda는 추가 사용 사례별 메타데이터(예: 사용된 모델)로 제출된 피드백을 보강하고 이후 DevOps 사용자의 분석 및 보고를 위해 Amazon S3에 데이터를 저장합니다.

관리자 사용자는 배포 대시보드를 사용하여 사용 사례를 배포합니다. 비즈니스 사용자는 사용 사례 UI에 로그인합니다.

CloudFront는 S3 버킷에서 호스팅되는 웹 UI를 제공합니다.

웹 UI는 API Gateway를 사용하여 구축된 WebSocket 통합을 활용합니다. API Gateway는 인증 사용자가 속한 Amazon Cognito 그룹을 기반으로 적절한 AWS Identity and Access Management(IAM) 정책을 반환하는 사용자 지정 Lambda 권한 부여자 함수의 지원을 받습니다. 정책은 DynamoDB에 저장됩니다.

Amazon Cognito는 사용자를 인증하고 CloudFront 웹 UI와 API Gateway를 모두 지원합니다.

비즈니스 사용자의 수신 요청은 API Gateway에서 Amazon SQS 대기열로 전달된 다음 AWS Lambda 함수로 전달됩니다. 대기열은 API Gateway와 Lambda 통합의 비동기 작업을 활성화합니다. 대기열은 연결 정보를 Lambda 함수에 전달한 다음 결과를 API Gateway 웹 소켓 연결에 직접 게시하여 장기 실행 추론 호출을 지원합니다.

AWS Lambda 함수는 Amazon DynamoDB를 사용하여 필요에 따라 사용 사례 구성을 가져옵니다.

AWS Lambda 함수는 사용자 입력 및 관련 사용 사례 구성을 사용하여 구성된 Amazon Bedrock Agent에 요청 페이로드를 빌드하고 전송하여 사용자 의도를 이행합니다.

Amazon Bedrock Agent에서 응답이 반환되면 Lambda 함수는 클라이언트 애플리케이션에서 사용할 API Gateway WebSocket을 통해 응답을 다시 스트리밍합니다.

이 솔루션은 Amazon CloudWatch를 사용하여 다양한 서비스에서 운영 지표를 수집하여 배포의 성능 및 운영 상태를 모니터링할 수 있는 사용자 지정 대시보드를 생성합니다.

피드백 수집이 활성화된 경우 Amazon API Gateway를 활용하는 REST API 엔드포인트를 사용자 피드백 수집에 사용할 수 있습니다.

피드백 지원 Lambda는 추가 사용 사례별 메타데이터로 제출된 피드백을 보강하고 이후 DevOps 사용자의 분석 및 보고를 위해 Amazon S3에 데이터를 저장합니다.

관리자 사용자는 배포 대시보드를 사용하여 게이트웨이 또는 런타임 배포 방법을 선택하여 MCP 서버 사용 사례를 배포합니다.

이 작업은 Amazon Cognito로 인증됩니다.

게이트웨이 배포의 경우 솔루션은 기존 Lambda 함수, APIs 또는 외부 MCP 서버를 MCP 호환 도구로 변환하는 Amazon Bedrock AgentCore Gateway를 생성합니다. 런타임 배포의 경우 솔루션은 제공된 ECR 이미지를 사용하여 Amazon Bedrock AgentCore 런타임에 컨테이너화된 MCP 서버를 배포합니다.

게이트웨이 배포는 Amazon S3에 업로드된 위치에서 필요한 API/Lambda/Smithy 스키마를 검색하거나 MCP 서버 URL 엔드포인트에 직접 연결합니다.

런타임 배포는 Amazon Elastic Container Registry(ECR)에서 사용자가 제공한 컨테이너화된 MCP 서버를 검색합니다.

MCP 서버는 Amazon Bedrock AgentCore Identity OAuth 클라이언트로 계측됩니다.

MCP 서버를 사용하면 에이전트가 검색할 수 있도록 /mcp 엔드포인트에서 관련 도구를 사용할 수 있습니다.

Amazon CloudWatch는 모니터링 및 문제 해결을 위해 MCP 서버 배포에서 운영 지표와 로그를 수집합니다.

관리자 사용자는 배포 대시보드를 사용하여 사용 사례를 배포합니다. 비즈니스 사용자는 사용 사례 UI에 로그인합니다.

CloudFront는 S3 버킷에서 호스팅되는 웹 UI를 제공합니다.

웹 UI는 API Gateway를 사용하여 구축된 WebSocket 통합을 활용합니다. API Gateway는 인증 사용자가 속한 Amazon Cognito 그룹을 기반으로 적절한 AWS Identity and Access Management(IAM) 정책을 반환하는 사용자 지정 Lambda 권한 부여자 함수의 지원을 받습니다. 정책은 DynamoDB에 저장됩니다.

Amazon Cognito는 사용자를 인증하고 CloudFront 웹 UI와 API Gateway를 모두 지원합니다.

비즈니스 사용자의 수신 요청은 API Gateway에서 Amazon SQS 대기열로 전달된 다음 AWS Lambda 함수로 전달됩니다. 대기열은 API Gateway와 Lambda 통합의 비동기 작업을 활성화합니다. 대기열은 연결 정보를 Lambda 함수에 전달한 다음 결과를 API Gateway 웹 소켓 연결에 직접 게시하여 장기 실행 추론 호출을 지원합니다.

AWS Lambda 함수는 DynamoDB에서 에이전트 구성을 검색합니다.

AWS Lambda 함수는 사용자 입력 및 관련 사용 사례 구성을 사용하여 Amazon Bedrock AgentCore 런타임에서 실행되는 요청 페이로드를 빌드하고 에이전트에 전송합니다.

에이전트는 연결된 MCP 서버에 연결하고 도구를 스트랜드 에이전트 인스턴스에 등록합니다. 그런 다음 에이전트는 도구 설명 및 작업 요구 사항에 따라 작업을 자율적으로 선택하고 수행합니다.

Amazon Bedrock AgentCore 런타임에서 응답이 반환되면 Lambda 함수는 클라이언트 애플리케이션에서 사용할 API Gateway WebSocket을 통해 응답을 다시 스트리밍합니다.

관리자 사용자는 배포 대시보드를 사용하여 워크플로를 배포하고 특수 에이전트로 포함할 에이전트 빌더 에이전트를 선택합니다.

CloudFront는 S3 버킷에서 호스팅되는 웹 UI를 제공합니다.

웹 UI는 API Gateway를 사용하여 구축된 WebSocket 통합을 활용합니다. API Gateway는 인증 사용자가 속한 Amazon Cognito 그룹을 기반으로 적절한 AWS Identity and Access Management(IAM) 정책을 반환하는 사용자 지정 Lambda 권한 부여자 함수의 지원을 받습니다. 정책은 DynamoDB에 저장됩니다.

Amazon Cognito는 사용자를 인증하고 CloudFront 웹 UI와 API Gateway를 모두 지원합니다.

비즈니스 사용자의 수신 요청은 API Gateway에서 Amazon SQS 대기열로 전달된 다음 AWS Lambda 함수로 전달됩니다. 대기열은 API Gateway와 Lambda 통합의 비동기 작업을 활성화합니다.

AWS Lambda 함수는 특수 에이전트 빌더 에이전트 목록을 포함하여 DynamoDB에서 워크플로 구성을 검색합니다.

Lambda는 사용자 입력 및 워크플로 구성을 사용하여 감독자 에이전트를 호스팅하는 Amazon Bedrock AgentCore 런타임에 요청을 보냅니다.

감독자 에이전트는 AgentCore 런타임 환경 내에 모든 특수 에이전트 빌더 에이전트의 로컬 인스턴스를 생성합니다. 이러한 특수 에이전트는 에이전트를 도구 패턴으로 사용하여 도구로 등록됩니다. 그런 다음 감독자는 에이전트 설명 및 작업 요구 사항에 따라 작업을 자율적으로 선택하고 전문 에이전트에게 위임합니다.

감독자 에이전트는 특수 에이전트의 결과를 집계하고 최종 응답을 공식화하여 Lambda로 반환하고 API Gateway Websocket을 통해 클라이언트 애플리케이션으로 다시 스트리밍합니다.