Skip to content

Latest commit

 

History

History
301 lines (210 loc) · 14.3 KB

README_ja.md

File metadata and controls

301 lines (210 loc) · 14.3 KB
Raw

Bedrock Claude Chat

Tip

🔔Claude3 Opus をサポートしました。 2024/04/17 現在、Bedrock はus-west-2のみサポートしています。このリポジトリでは Bedrock はデフォルトでus-east-1リージョンを利用します。このため、ご利用される場合はデプロイ前にbedrockRegionの値を変更してください。詳細はこちら

Warning

現在のバージョン(v0.4.x)は、DynamoDB テーブルスキーマの変更のため、過去バージョン(~v0.3.0)とは互換性がありません。以前のバージョンから v0.4.x へアップデートすると、既存の対話記録は全て破棄されますので注意が必要です。

このリポジトリは、生成系 AI を提供するAmazon Bedrockの基盤モデルの一つである、Anthropic 社製 LLM Claudeを利用したチャットボットのサンプルです。

基本的な会話

Claude 3によるテキストと画像の両方を利用したチャットが可能です。現在HaikuおよびSonnet、またはOpusをサポートしています。

ボットのカスタマイズ

外部のナレッジおよび具体的なインストラクションを組み合わせ、ボットをカスタマイズすることが可能です（外部のナレッジを利用した方法はRAGとして知られています）。なお、作成したボットはアプリケーションのユーザー間で共有することができます。カスタマイズされたボットはスタンドアロンの API として公開できます (詳細はこちらをご覧ください)。

管理者ダッシュボード

管理者ダッシュボードで各ユーザー/ボットの使用状況を分析できます。詳細

🚀 まずはお試し

  • us-east-1 リージョンにて、Bedrock Model access > Manage model access > Anthropic / Claude 3 Haiku, Anthropic / Claude 3 Sonnet Cohere / Embed Multilingualをチェックし、Save changesをクリックします
スクリーンショット

  • CloudShellをデプロイしたいリージョン (ap-northeast-1 など) で開きます

  • 下記のコマンドでデプロイ実行します

git clone https://github.com/aws-samples/bedrock-claude-chat.git
cd bedrock-claude-chat
chmod +x bin.sh
./bin.sh
  • 30 分ほど経過後、下記の出力が得られるのでブラウザからアクセスします
Frontend URL: https://xxxxxxxxx.cloudfront.net

上記のようなサインアップ画面が現れますので、E メールを登録・ログインしご利用ください。

Important

このデプロイ方法では、URL を知っている誰でもサインアップできてしまいます。本番運用で使用する場合は、セキュリティリスクを軽減するために IP アドレス制限やセルフサインアップの無効化を強くお勧めします。設定方法は、IP アドレス制限の場合はDeploy using CDK、セルフサインアップの無効化の場合はセルフサインアップを無効化するをご覧ください。

アーキテクチャ

AWS のマネージドサービスで構成した、インフラストラクチャ管理の不要なアーキテクチャとなっています。Amazon Bedrock の活用により、 AWS 外部の API と通信する必要がありません。スケーラブルで信頼性が高く、安全なアプリケーションをデプロイすることが可能です。

機能・ロードマップ

基本的なチャット機能
  • 認証 (サインアップ、サインイン)
  • 会話の作成、保存、削除
  • チャットボットの返答のコピー
  • 会話のための自動的なトピックの提案
  • コードの構文強調表示
  • Markdown の表示
  • ストリーミング応答
  • IP アドレスの制限
  • メッセージの編集と再送信
  • 国際化
  • モデルの切り替え
カスタマイズされたボットの機能
  • カスタマイズされたボットの作成
  • カスタマイズされたボットの共有
  • 独立した API として公開
RAG機能
  • Web (html)
  • テキストデータ (txt、csv、markdown など)
  • PDF
  • Microsoft Office ファイル (pptx、docx、xlsx)
  • YouTube の字幕
  • S3 バケットからのインポート
  • 既存の Kendra / OpenSearch / KnowledgeBase からのインポート
管理者機能
  • ボットごとの使用料の追跡
  • 公開されたボットの一覧表示

Deploy using CDK

上記 Easy Deployment はAWS CodeBuildを利用し、内部で CDK によるデプロイを実行しています。ここでは直接 CDK によりデプロイする手順を記載します。

  • お手元に UNIX コマンドおよび Node.js, Docker 実行環境を用意してください。もし無い場合、Cloud9をご利用いただくことも可能です。

Note

デプロイ時にローカル環境のストレージ容量が不足すると CDK のブートストラップがエラーとなってしまう可能性があります。Cloud9 等で実行される場合は、インスタンスのボリュームサイズを拡張のうえデプロイ実施されることをお勧めします。

  • このリポジトリをクローンします
git clone https://github.com/aws-samples/bedrock-claude-chat
  • npm パッケージをインストールします
cd bedrock-claude-chat
cd cdk
npm ci
  • AWS CDKをインストールします
npm i -g aws-cdk
  • CDK デプロイ前に、デプロイ先リージョンに対して 1 度だけ Bootstrap の作業が必要となります。ここでは東京リージョンへデプロイするものとします。なお<account id>はアカウント ID に置換してください。
cdk bootstrap aws://<account id>/ap-northeast-1

  • 必要に応じてcdk.jsonの下記項目を編集します

    • bedrockRegion: Bedrock が利用できるリージョン
    • allowedIpV4AddressRanges, allowedIpV6AddressRanges: 許可する IP アドレス範囲の指定

  • プロジェクトをデプロイします

cdk deploy --require-approval never --all
  • 下記のような出力が得られれば成功です。BedrockChatStack.FrontendURLに WEB アプリの URL が出力されますので、ブラウザからアクセスしてください。
 ✅  BedrockChatStack

✨  Deployment time: 78.57s

Outputs:
BedrockChatStack.AuthUserPoolClientIdXXXXX = xxxxxxx
BedrockChatStack.AuthUserPoolIdXXXXXX = ap-northeast-1_XXXX
BedrockChatStack.BackendApiBackendApiUrlXXXXX = https://xxxxx.execute-api.ap-northeast-1.amazonaws.com
BedrockChatStack.FrontendURL = https://xxxxx.cloudfront.net

その他

Mistral を利用する

cdk.json 内のenableMistralをtrueに更新し、cdk deployを実行します。

...
  "enableMistral": true,

Important

このプロジェクトは Anthropic の Claude モデルを中心としており、Mistral モデルはサポートが限定的です。例えば、プロンプトの例は Claude モデルを基準としています。これは Mistral モデル専用のオプションです。一度 Mistral モデルを有効にすると、すべてのチャット機能で Mistral モデルのみを使用できます。Claude モデルと Mistral モデルの両方を使用することはできません。

テキスト生成パラメータの設定

config.pyを編集後、cdk deployを実行してください。

GENERATION_CONFIG = {
    "max_tokens_to_sample": 500,
    "temperature": 0.6,
    "top_k": 250,
    "top_p": 0.999,
    "stop_sequences": ["Human: ", "Assistant: "],
}

サインアップ可能なメールアドレスのドメインを制限

このサンプルはデフォルトではサインアップ可能なメールアドレスのドメインに制限がありません。特定のドメインのみに限定してサインアップを可能にするには、 cdk.json を開き、allowedSignUpEmailDomains にリスト形式でドメインを指定してください。

"allowedSignUpEmailDomains": ["example.com"],

リソースの削除

cli および CDK を利用されている場合、cdk destroyを実行してください。そうでない場合はCloudFormationへアクセスし、手動でBedrockChatStackおよびFrontendWafStackを削除してください。なおFrontendWafStackは us-east-1 リージョンにあります。

RAG 用ベクトル DB の停止

cdk.json を以下のように CRON 形式で設定することで、VectorStore コンストラクトで作成される Aurora Serverless リソースを停止・再起動できます。この設定を適用することで運用コストの削減が見込めます。なお、デフォルト設定で Aurora Serverless は常時起動状態になっています。なお UTC で実行される点に留意ください。

...
"rdbSchedules": {
  "stop": {
    "minute": "50",
    "hour": "10",
    "day": "*",
    "month": "*",
    "year": "*"
  },
  "start": {
    "minute": "40",
    "hour": "2",
    "day": "*",
    "month": "*",
    "year": "*"
  }
}

言語設定について

このアセットは、i18next-browser-languageDetector を用いて自動で言語を検出します。もし任意の言語へ変更されたい場合はアプリケーション左下のメニューから切り替えてください。なお以下のように Query String で設定することも可能です。

https://example.com?lng=ja

セルフサインアップを無効化する

このサンプルはデフォルトでセルフサインアップが有効化してあります。セルフサインアップを無効にするには、auth.tsを開き、selfSignUpEnabled を false に変更してから再デプロイしてください。

const userPool = new UserPool(this, "UserPool", {
  passwordPolicy: {
    requireUppercase: true,
    requireSymbols: true,
    requireDigits: true,
    minLength: 8,
  },
  // Set to false
  selfSignUpEnabled: false,
  signInAliases: {
    username: false,
    email: true,
  },
});

外部のアイデンティティプロバイダー

このサンプルは外部のアイデンティティプロバイダーをサポートしています。現在、Googleおよびカスタム OIDC プロバイダーをサポートしています。

ローカルでの開発について

Pull Request

コントリビュートを検討していただきありがとうございます！バグ修正、言語翻訳（i18n）、機能拡張、その他の改善を歓迎しています。

機能拡張やその他の改善については、プルリクエストを作成する前に、実装方法や詳細について議論するために、Feature Request Issue を作成いただくようお願いいたします。

バグ修正については、直接プルリクエストを作成してください。

コントリビュートする前に、以下のガイドラインもご確認ください。

RAG (Retrieval Augmented Generation, 検索拡張生成)

こちらを参照