AWS Bedrock 이란?

AWS Bedrock이란?

---

Amazon Bedrock이란 통합 API를 통해 선도적인 AI 스타트업과 Amazon의 기반 LLM 모델(FM)을 사용할 수 있도록 하는 완전관리형 서비스입니다.

 

특징 * 장점

---

Amazon Bedrock을 사용하면 다양한 기본 모델 중에서 사용 사례에 가장 적합한 모델을 쉽게 실험 및 평가하고, 파인 튜닝 및 RAG(검색 증강 생성)와 같은 기술을 사용하여 원하는 데이터를 실행시키고, 

엔터프라이즈 시스템을 사용하여 작업을 실행하는 에이전트를 구축할 수 있습니다. 

 

프롬프트 및 구성 실험

    * 다양한 구성 및 기반 LLM 모델을 사용하여 프롬프트를 보내 응답을 생성함으로써 모델 추론을 실행합니다 . 
    * API나 콘솔의 텍스트, 이미지, 채팅 Playground를 사용하여 그래픽 인터페이스에서 실험할 수 있습니다.


데이터 소스의 정보로 응답 생성 강화 (RAG 적용 가능)
    * 기초 모델의 응답 생성을 강화(RAG, 검생 증강 생성)하기 위해 쿼리할 데이터 소스를 업로드하여 지식 기반을 생성합니다 .


고객을 돕는 방법을 통해 추론하는 애플리케이션 만들기 (Bedrock Agent를 통한 API 호출 및 Action 수행)
    * 고객을 위한 작업을 추론하고 수행하기 위해 기초 모델을 사용하고, API를 호출하고, (선택적으로) 지식 기반을 쿼리하는 에이전트를 구축합니다.


훈련 데이터를 사용하여 모델을 특정 작업 및 도메인에 맞게 조정 (Fine Tuning을 통한 LLM 기반 커스터마이징)
    * 모델의 매개 변수를 조정하고 특정 작업 또는 특정 도메인에서 성능을 향상시키기 위해 미세 조정 또는 지속적인 사전 훈련을 위한 훈련 데이터를 제공하여 Amazon Bedrock 기반 모델 을 사용자 정의합니다.


FM 기반 애플리케이션의 효율성과 출력 향상 
    * 모델에 대한 추론을 보다 효율적이고 할인된 가격으로 실행하려면 기반 모델에 대한 프로비저닝된 처리량을 구매하세요 .


사용 사례에 가장 적합한 모델 결정 (Model Evaluation 기능)
    * 기본 제공 또는 사용자 정의 프롬프트 데이터 세트를 사용하여 다양한 모델의 출력을 평가하여 애플리케이션에 가장 적합한 모델을 결정합니다.
    * 참고
모델 평가는 Amazon Bedrock의 미리 보기 릴리스에 있으며 변경될 수 있습니다. 모델 평가 작업을 사용하려면 미국 동부(버지니아 북부) 지역 또는 미국 서부(오레곤) 지역에 있어야 합니다

부적절하거나 원치 않는 콘텐츠 방지 (Amazon Bedrock용 Guardrails)
    * Amazon Bedrock용 Guardrails를 사용하여 생성 AI 애플리케이션에 대한 보호 장치를 구현합니다.
    * 참고
Amazon Bedrock용 Guardrails는 제한된 미리 보기 릴리스로 제공됩니다. 액세스를 요청하려면 AWS 계정 관리자에게 문의하세요

 

AMAZON Bedrock에서 지원되는 LLM 모델

---

 

 

• AI21 Labs : Jurassic LLM 모델 제공
• Amazon : Titan LLM 모델 제공
• Anthropic : Claud LLM 모델 제공
• Cohere : Cohere Command? LLM 모델 제공
• Meta : 라마 LLM 모델 제공
• Stability.ai : Stabel Diffusion 이미지 생성 모델 제공

기본 모델을 사용하려면 먼저 해당 모델에 대한 액세스 권한을 요청해야 합니다. 모델에 대한 액세스를 요청하기 전에 API를 사용하여 또는 콘솔 내에서 모델을 사용하려고 하면 오류 메시지가 표시됩니다. 자세한 내용은 모델 액세스 를 참조하세요 .

 

비용

---

기본적으로 사용하는 모델별로 token당 비용이 발생합니다. (Fine Tuning 훈련 비용도 발생)

https://aws.amazon.com/ko/bedrock/pricing/

반면, 모델에 대해 프로비저닝된 처리량을 구성하면 고정 비용으로 일정 수준의 처리량을 받게 됩니다.

 

적용하기

---

 

SDK 가이드 참조

https://docs.aws.amazon.com/bedrock/latest/APIReference/welcome.html

 

 

참고

---

• Knowledge Base(RAG)와 Agent 기능을 제공하는 모델은 Claude Model만 지원(23.01.16 기준)
• Fine Tuning 기능을 제공하는 모델은 Titan, Cohere Command, Meta Llama만 지원

 

출처

---

https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html