[AWS] Amazon Bedrock이란?

Bedrock 서울 리전이 생기면서 AWS에서 홍보도 많이 하고, 주변 사람들도 많이 쓰기 시작한 것 같다.

(얼마 전 열린 AWS Community Day 두 번째 날에도 Bedrock 실습 세션이 있었는데 실습 내용이 정말 도움이 많이 됐다.)

또, 이번 여름에는 자바 문서가 많이 없었는데, 얼마 전에 converse API 관련 자바 문서도 생기는 걸 봐서 AWS에서 미는 서비스인 것 같다. (비싸니까 ..ㅠㅠ)

https://community.aws/content/2hUiEkO83hpoGF5nm3FWrdfYvPt/amazon-bedrock-converse-api-java-developer-guide

A Java developer's guide to Bedrock's new Converse API

 

아직은 서울 리전에서 Titan과 Claude만 사용할 수 있으니, 다른 모델을 사용하려면 다른 리전을 선택해야 한다.

 

Amazon Bedrock이란?

AWS 공식문서에서는 Amazon Bedrock을 아래와 같이 소개하고 있다.

AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI 및 Amazon과 같은 선도적인 AI 회사의 다양한 고성능 파운데이션 모델(FM)을 단일 API를 통해 제공하는 완전 관리형 서비스 

https://aws.amazon.com/ko/bedrock/

파운데이션 모델(FM)을 사용하여 생성형 AI 애플리케이션을 구축 - Amazon Bedrock - AWS

 

Foundation Model

그렇다면, 파운데이션 모델이란 무엇일까?

파운데이션 모델(Foundation Model)은 대규모 데이터셋을 바탕으로 학습된 인공지능 모델로, 다양한 태스크에 일반적으로 활용될 수 있는 범용적인 AI 모델 을 말한다.

 

https://aws.amazon.com/ko/what-is/foundation-models/

파운데이션 모델이란?- 생성형 AI의 파운데이션 모델 설명 - AWS

파운데이션 모델의 가장 뚜렷한 특징은 '적응성'이다. 이미 학습되어 있는 모델을 이용해 다양한 애플리케이션에 재활용할 수 있어 AI 개발 과정에서 시간과 자원을 절약할 수 있다.

Bedrock은 Amazon Titan, Anthropic의 Claude 등의 파운데이션 모델을 쉽게 이용하고 특정 요구에 맞게 커스터마이징할 수 있도록 단일 API를 제공한다.

 

Bedrock이 제공하는 Foundation Models

현재, 7개 회사의 모델들을 제공하고 있다.

• AI21 Labs - Jurassic-2: 엔터프라이즈용으로 구축되어 텍스트 생성, 질문 응답, 요약 등 다양한 작업에 활용할 수 있는 대규모 언어 모델
• Amazon - Titan: 텍스트 및 이미지 생성, 요약, 분류, 개방형 Q&A, 정보 추출 등의 작업에 적합한 모델
• Anthropic - Claude: AI 안전성에 중점을 두고 설계된 언어 모델로, 심층 대화, 콘텐츠 제작, 복잡한 추론, 창의적인 글쓰기 및 코딩 등 다양한 작업을 지원
• Cohere - Command: 텍스트 생성, 요약, 검색, 클러스터링, 분류 등을 지원하며, RAG(Retrieval-Augmented Generation)를 사용하는 텍스트 생성 및 표현 모델
• Meta - LLaMA: 대화 사용 사례와 Q&A, 독해와 같은 자연어 작업에 최적화된 Meta의 대규모 언어 모델
• Mistral AI - Mistral: 텍스트 요약, 분류, 텍스트 완성, 코드 생성 및 코드 완성에 이르는 다양한 사용 사례를 지원하는 오픈 모델로, 고품질의 성능을 제공
• Stability AI - Stable Diffusion: 독특하고 사실적인 고품질 비주얼, 아트, 로고, 디자인을 생성하는 이미지 생성 모델

https://aws.amazon.com/ko/bedrock/?trk=24a8f13a-f5db-4127-bcb7-8b2876aa4265&sc_channel=ps&ef_id=Cj0KCQiA0MG5BhD1ARIsAEcZtwTckadxLuZuFrJ1z5z_gFKeObPCue8k6ug9QPcdMyHi7t3o5r7P3SUaAioTEALw_wcB:G:s&s_kwcid=AL!4422!3!692062155749!e!!g!!amazon%20bedrock!21058131112!157173586057&gclid=Cj0KCQiA0MG5BhD1ARIsAEcZtwTckadxLuZuFrJ1z5z_gFKeObPCue8k6ug9QPcdMyHi7t3o5r7P3SUaAioTEALw_wcB

파운데이션 모델(FM)을 사용하여 생성형 AI 애플리케이션을 구축 - Amazon Bedrock - AWS

 

Converse API

Bedrock에서 주로 LLM을 많이 쓰는 것 같은데, Amazon Bedrock ConverseAPI를 사용하면 일관되게 Amazon Bedrock 모델과 메시지를 주고 받는 대화형 애플리케이션을 생성할 수 있다.

일관되게 쓸 수가 있다는 의미가, conver API를 안 쓰고 InvokeModel을 사용해서 API를 호출하면 모델 별로 다른 구조로 요청하고 응답받게 된다.

 

반면, ConverseAI를 사용하면 모든 Bedrock 모델에서 일관되게 코드를 작성할 수 있으므로, 다른 모델을 같이 사용할 때 이점이 있다. 또, 모델에 고유한 파라미터가 있는 경우에도 모델별 구조에서 파라미터를 전달할 수도 있다.

https://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/conversation-inference.html

Converse API 작업과 대화 수행 - Amazon Bedrock

 

 

Guardrails

Bedrock의 Guardrails는 AI 모델의 출력을 제어하고 모니터링할 수 있는 기능이다. 

가드레일은 거부된 주제와 콘텐츠 필터를 정의해서 사용자와 애플리케이션 간의 상호 작용에서 바람직하지 않은 유해 콘텐츠를 제거하는 데 도움이 된다.

또한, 사용자가 서비스의 의도에 맞지 않고 프롬프트를 수정하려고 하는 행동이 있을 때 이를 막을 수 있다.

https://aws.amazon.com/ko/blogs/korea/guardrails-for-amazon-bedrock-helps-implement-safeguards-customized-to-your-use-cases-and-responsible-ai-policies-preview/

Amazon Bedrock Guardrails – 책임 있는 AI 정책에 맞춘 맞춤화된 보호 장치 구현 (미리 보기) | Amazon Web S

 

욕설, 개인정보 보호 등의 기능도 제공하고 전세계 욕설 리스트도 제공한다고 한다ㅎㅎ

 

Bedrock Playground에 가면 여러 모델을 미세 조정한 후 테스트할 수도 있고, 빠르게 서비스와 연동할 수도 있어서 너무 좋은 서비스인 것 같다. Claude 3.5 sonnet이 얼마 전 업데이트 되면서 ChatGPT 성능을 이겼다고 하는데 Claude API를 사용할 의향이 있다면 Bedrock을 강력 추천한다..!