[Hands-on 정리] Amazon Bedrock

개요

Bedrock > Playgrounds > Chat/Text 체험하기  

Playgrounds란?

Playgrounds란 AI 모델을 직접 테스트하고 실험할 수 있는 환경을 제공하는 서비스  
Chat/Text와 Image/Video로 구분되는데 각 서비스에서 사용할 수 있는 모델이 다름.  
Chat/Text는 텍스트 데이터 처리에 특화되어 있고, Image/Video는 이미지, 영상 데이터 처리에 특화되어 있음.  

Chat/Text

Mode

Single prompt와 Chat이라는 2가지 Mode를 지원한다.
- Chat: ChatGPT 처럼 질문을 하면 응답을 주고, 이전 질문과 연계됨.
- Single Prompt: 질문을 한 번만 수행하여 응답을 얻음. 이전 대화와 연계 불가.

공통 사항

- Model
  : 사용할 모델을 선택
  : 여러 회사의 모델을 제공함.
  : Model Providers: AI21 Labs, Amazon, Anthropic, Cohere, DeepSeek, Meta, Mistral AI
- System Prompts
- Randomness and diversity(AWS 모델은 Top K 미지원)
  : Temperature, Top P, Top K 변경 가능  
- Length
  : Maximum Length 또는 Response length
토큰 제한
- Stop sequence
  : 특정 단어가 나오면 응답 멈추게 설정
  (예시)
    질문: 한국에 대해서 설명해 줘
    예상 응답: 한국에 대해서 설명드리겠습니다.
    stop Sequence: 한국
    위와 같이 응답이 stop sequence로 시작할 경우 실제 응답이 아예 안 나올 수도 있음.

메모

긍정, 부정 판별과 같이 답변이 짧아도 되는 질문을 할 때 토큰을 작게 설정하는 것이 좋다.
토큰 소모는 곧 비용과 직결된다.

토큰 Max 값만큼 비용이 발생하는 것은 아니고 실제로 사용된 토큰만큼 비용이 발생한다.
다만 토큰 Max 값을 크게 잡으면 주저리주저리 쓸모없는 답변을 포함해서 답변할 수도 있어서 비용이 더 발생할 수 있다.
더 명확하게 하고 싶으면 ‘100글자 내로 답변해 줘.’와 같이 말하면 좋다.

마무리

단순 Chat/Text 체험하기 실습으로 Model 선택, System Prompt, Randomness and diversity 설정을 해볼 수 있음.

(별첨) 추론 파라미터

Temperature
다양성을 조절하는 하이퍼파라미터.
온도가 높으면 모델이 더 창의적이고 다양한 결과를 생성, 온도가 낮으면 모델은 더 안전하고 예측 가능한 결과를 생성.

기본값은 1이며, 이는 더 비결정적이고 창의적인 응답을 생성한다. 값을 높이면 생성형 AI 모델이 가장 가능성이 높거나 ‘안전한’ 옵션을 넘어 더 광범위한 가능성을 탐색함으로써 더 다양하고 창의적인 출력을 생성한다.

Top P (누적 확률 샘플링)
확률 분포의 상위 단어들만 고려하여 샘플링 (누적 확률이 P에 해당하는 범위까지)
상위부터 누적 확률.
숫자가 클수록 많은 후보군을 확보하게 됨.

Top K (상위 K개 샘플링)
가장 확률이 높은 K개의 단어만을 고려  
요즘 Top-K 잘 안 쓰는 추세
개수를 기반 상위 K개만 후보군으로 올림

---

개요

AI 원칙에 부합하도록 보안 가드레일을 구현
AI 모델 응답에서 잠재적으로 유해한 콘텐츠를 걸러내고 차단
Bedrock > Guardrail 체험하기  

Bedrock Guardrail을 사용하여 다음을 수행
콘텐츠 차단 유형 평가
Bedrock 응답에서 개인 식별 정보(PII) 마스킹
모델 할루시네이션 줄이기
Bedrock Playground에서 Guardrail 테스트

실습

Guardrail 생성

Bedrock > Safeguards > Guardrails

 

Guardrail TEST

Bedrock > Safeguards > Guardrails > 생성한 Guardrail > Test > Model 선택 > 프롬프트 실행

동작 방식
유해한 질문 --------> Guardrails(유해한 질문 차단) ----(차단되어 질문 전달 안됨)----> Model

 

 

유해 카테고리 활성화

컴퓨터를 해킹하는 방법을 요청하자 유해 카테고리 필터의 일부인 위법 행위 필터가 작동했다.

주제 거부

개발자는 모델이 의학적 질문에 답변하지 않아야 한다고 판단하여 해당 주제에 대한 프롬프트 및 응답을 거부하는 필터를 가드레일에 추가하기로 결정했다.

PII 콘텐츠 마스킹

개발자는 모델이 개인 식별 정보(PII)를 공개하지 않도록 할 책임이 있다.

필터링할 PII의 유형(Password, 나이, 주소 등 AWS에서 보기 제공)과 가드레일 동작(차단, 마스킹, Detect)을 지정한다.

상황에 맞는 근거 활성화

쿼리에 대한 응답에서 모델이 할루시네이션을 일으킬 가능성을 줄이고 싶다.

컨텍스트 근거 검사를 활성화한다. 참조 자료를 활용하여 LLM 응답 정확도를 테스트하고 상황에 맞는 근거 임곗값이 위반되었는지 관찰한다. 모델 응답에서 할루시네이션을 감지하고 필터링한다.

  - 근거 검사( Grounding ): 모델 응답이 참조 소스에 제공된 정보에 근거하고 있으며 이를 기반으로 사실적으로 정확한지 검증하고, 정의된 근거 임계값 미만의 응답을 차단한다. 모델 응답이 소스를 기반으로 사실적으로 정확하고 소스에 근거하고 있는지 확인한다. 응답에 새로 도입된 모든 정보는 근거가 없는 것으로 간주된다.

  - 관련성 검사( Relevance ): 모델 응답이 사용자의 쿼리와 관련이 있는지 확인하고 정의된 관련성 임계값 미만의 응답을 차단한다. 설정한 점수 임곗값이 높을수록 응답이 차단될 가능성이 높아진다.

 

가드레일 버전 만들기

가드레일 구성 버전을 생성한다. 이렇게 하면 가드레일 테스트 패널 외부에서 가드레일을 간접적으로 호출할 수 있다. 예를 들면 AWS Bedrock에서 가드레일을 사용할 수 있다.

 

 

마무리

아래와 같은 항목으로 가드레일 설정 가능

• 유해 카테고리 필터
• 프롬프트 공격 필터
• 거부된 주제 설정
• 욕설 필터
• 특정 단어 필터
• 개인식별정보 필터
• 정규식 패턴 필터
• 컨텍스트 근거 검사(근거 및 관련성 기반)(for 환각)

가드레일을 생성하면 모델을 지정하여 테스트 가능.

가드레일 버전을 만들면 Bedrock과 같은 곳에 적용 가능.