Task 3.4: Responsible AI Principles

Task 3.4: Responsible AI principles

Skill 3.4.1: Transparent AI systems

Kiến thức cần nắm:

• Reasoning displays cho user-facing explanations
• CloudWatch cho confidence metrics
• Evidence presentation cho source attribution
• Amazon Bedrock agent tracing cho reasoning traces

Giải thích chi tiết:

Transparency trong GenAI:

Bedrock Agent Tracing:

• Hiển thị từng bước reasoning của agent
• Cho thấy tools nào được gọi và tại sao
• Useful cho debugging và audit
• Enable qua enableTrace: true trong API call

Skill 3.4.2: Fairness evaluations

Kiến thức cần nắm:

• Predefined fairness metrics trong CloudWatch
• Bedrock Prompt Management cho systematic A/B testing
• LLM-as-a-judge solutions cho automated model evaluations

Giải thích chi tiết:

Fairness Testing Approaches:

1. A/B Testing với Prompt Management:

   • Tạo multiple prompt variants
   • Test với diverse demographic inputs
   • So sánh response quality across groups

2. LLM-as-a-Judge:

   • Sử dụng một FM để evaluate output của FM khác
   • Amazon Bedrock Model Evaluations hỗ trợ built-in
   • Metrics: relevance, coherence, harmfulness, fairness

3. SageMaker Clarify:

   • Bias detection trong training data
   • Model explainability (SHAP values)
   • Fairness metrics across protected attributes

Skill 3.4.3: Policy-compliant AI systems

Kiến thức cần nắm:

• Bedrock Guardrails based on policy requirements
• Model cards cho FM limitations documentation
• Lambda cho automated compliance checks

Giải thích chi tiết:

Compliance Checklist cho GenAI:

Automated Compliance Checks:

# Lambda function cho automated compliance
def check_compliance(event, context):
    # Check 1: Guardrails enabled?
    guardrails = bedrock.list_guardrails()
    
    # Check 2: Model invocation logging enabled?
    logging_config = bedrock.get_model_invocation_logging_configuration()
    
    # Check 3: VPC endpoints configured?
    vpc_endpoints = ec2.describe_vpc_endpoints(
        Filters=[{'Name': 'service-name', 'Values': ['*bedrock*']}]
    )
    
    # Report findings
    return {
        'guardrails_enabled': len(guardrails['guardrails']) > 0,
        'logging_enabled': logging_config.get('loggingConfig') is not None,
        'vpc_endpoints': len(vpc_endpoints['VpcEndpoints']) > 0
    }

Tài liệu tham khảo

• AWS Responsible AI
• Amazon Bedrock Model Evaluations
• SageMaker Clarify
• AWS Blog - LLM-as-a-Judge