Deep Recall：大規模モデルのためのエンタープライズクラスのメモリフレームワークを提供するオープンソースツール

はじめに

Deep Recallは、大規模言語モデル（LLM）用に設計されたオープンソースのエンタープライズクラスのメモリフレームワークです。効率的な文脈検索と統合により、超パーソナライズされた応答性を提供します。このフレームワークは、メモリサービス、推論サービス、コーディネーターを含む3層アーキテクチャを採用し、GPUに最適化された推論とベクトルデータベースの統合をサポートします。Deep Recallは、クラウドとローカルの両方の展開に適しており、高いパフォーマンスと信頼性を確保するための自動スケーリング機能を備えています。モデルのコンテキスト認識を向上させるだけでなく、ユーザーの履歴や嗜好に基づいてカスタマイズされた応答を生成するため、深くパーソナライズされたインタラクションを必要とするシナリオに最適です。

機能一覧

• 効率的な文脈検索：過去のユーザーとのやり取りから関連情報を素早く抽出。
• パーソナライズされたレスポンスの生成：ユーザーの好みや過去のデータに基づいてカスタマイズされたレスポンスを生成します。
• GPU最適化推論：GPUを使用して推論プロセスを高速化し、処理速度を向上させる。
• ベクターデータベースの統合：大規模なベクターデータの効率的な保存とクエリをサポートします。
• 自動スケーリング：異なる負荷需要に適応するために、リソースの割り当てを動的に調整します。
• RESTful APIサポート: メモリの管理と取得に便利なインターフェイスを提供します。
• 包括的な監視とメンテナンス：内蔵の監視ツールにより、システムの安定稼働を保証します。
• セキュリティ・スキャン・システム：依存性スキャン、コード分析などを通じてコードのセキュリティを確保します。

ヘルプの使用

設置プロセス

Deep Recallを使用するには、Pythonをサポートする環境に依存関係をインストールして設定する必要があります。以下に詳細なインストール手順を示す：

1. クローン・コード・リポジトリ
   ターミナルで以下のコマンドを実行し、Deep Recallのソースコードを取得する：

   git clone https://github.com/jkanalakis/deep-recall.git
   cd deep-recall
   

2. 仮想環境の構築
   依存関係の衝突を避けるために、Pythonの仮想環境を作成することをお勧めします：

   python -m venv venv
   source venv/bin/activate  # Linux/macOS
   venv\Scripts\activate  # Windows
   

3. 依存関係のインストール
   プロジェクトに必要なランタイムと開発の依存関係をインストールする：

   pip install -r requirements.txt
   pip install -r requirements-dev.txt
   

4. コミット前フックの設定
   コードの品質を保証するために、pre-commit hookをインストールする：

   pre-commit install
   

5. インストールの確認
   インストールが完了したら、テストケースを実行して環境が正しく設定されていることを確認できます。プロジェクトの CONTRIBUTING.md ファイルでテスト・コマンドを実行する：

   pytest
   

主な機能

1.コンテキスト検索とパーソナライズされた対応

Deep Recallのコア機能は、ユーザーの対話履歴に基づいてパーソナライズされたレスポンスを生成することである。ユーザーはRESTful APIを介してメモリー・サービスを呼び出し、システムはベクトル・データベースから関連するコンテキストを取得し、現在の入力に基づいてレスポンスを生成する。手順は以下の通り：

• APIコールPOSTリクエストを使って、メッセージを /memory/retrieve エンドポイントは、ユーザーIDとクエリを送信します。例

  curl -X POST http://localhost:8000/memory/retrieve \
  -H "Content-Type: application/json" \
  -d '{"user_id": "user123", "query": "推荐一部电影"}'
  

• 応答処理APIはコンテキストと生成されたレスポンスを含むJSONデータを返し、開発者はそれを解析してユーザーに直接表示することができる。
• パーソナライズ設定設定ファイル config/memory_config.json で、コンテキストウィンドウのサイズや類似度のしきい値などの検索パラメータを調整する。

2.GPUに最適化された推論

ディープリコールはGPU加速推論をサポートし、処理を大幅に高速化します。CUDAと関連ドライバがシステムにインストールされていることを確認する必要があります。設定ステップ

• GPU 依存関係のインストール: インストール中に requirements.txt PyTorchなどのGPU関連ライブラリが正しくインストールされました。
• 推論サービスを開始します。プロジェクトのルートディレクトリで実行します：

  python -m deep_recall.inference_service --gpu
  

• Verify GPU Usage：推論サービスがGPUリソースを利用していることをログで確認。

3.ベクター・データベースの統合

ディープリコールは、ベクトルデータベースを使用してユーザーの対話データを保存し、効率的なクエリをサポートします。運用プロセス：

• データベースの初期化初期化スクリプトを実行して、ベクトル・インデックスを作成します：

  python scripts/init_vector_db.py
  

• データのインポートAPI またはスクリプトを使用して、ユーザー履歴データをデータベースにインポートします。API呼び出しの例：

  curl -X POST http://localhost:8000/memory/store \
  -H "Content-Type: application/json" \
  -d '{"user_id": "user123", "data": "用户喜欢科幻电影"}'
  

• クエリーデータ検索APIを使用して、保存されているベクトルデータをオンデマンドで照会します。

4.自動エクステンション

ディープリコールは、高負荷シナリオのための動的なリソース割り当てをサポートしています。ユーザーはファイル config/scaling_config.json インスタンスの最大数や負荷のしきい値などのスケーリングポリシーを設定します。コーディネーターサービスを開始します：

python -m deep_recall.orchestrator

コーディネータは、負荷に応じて推論サービスのインスタンス数を自動的に調整する。

注目の機能操作

セキュア・スキャニング・システム

Deep Recallには、コードの品質を保証するための包括的なセキュリティスキャンツールが組み込まれています。操作方法

• 依存関係スキャンの実行Python の依存関係の既知の脆弱性をチェックする：

  safety check
  

• コード・セキュリティ分析Banditを使ってコードのセキュリティ問題をスキャンしてください：

  bandit -r deep_recall
  

• レポートを見るスキャン結果はJSONとMarkdown形式で reports/ ユーザーレビュー用カタログ。

APIクライアントの例

Deep Recallは、APIの統合を簡素化するためにPythonとJavaScriptのクライアント・ライブラリを提供します。サンプルPythonコード：

from deep_recall_client import DeepRecallClient
client = DeepRecallClient("http://localhost:8000")
response = client.retrieve_memory(user_id="user123", query="推荐一部电影")
print(response["reply"])

ユーザーは、プロジェクト内のReactフロントエンドのサンプルを参照して、インタラクティブなインターフェースを素早く構築することもできる。

ほら

• ネットワーク接続が安定していることを確認してください。ネットワークの問題でAPIコールが失敗することがあります。
• ベクターデータベースを定期的にバックアップしてください。 docs/backup.md 自動バックアップを設定します。
• プローブ config/security_config.jsonセキュリティ・スキャン・ルールをカスタマイズする。

アプリケーションシナリオ

1. カスタマーサービスロボット
   ディープリコールは、ユーザーの過去の質問や嗜好を記録し、ユーザーのニーズにより適切な回答を生成する記憶機能をカスタマーサービスボットに提供する。例えば、eコマース・プラットフォームでは、ボットはユーザーの過去の購入履歴に基づいて商品を推薦することができる。
2. 個別教育プラットフォーム
   オンライン教育では、Deep Recallは生徒の学習進度や興味を保存し、カスタマイズされた学習提案を生成する。例えば、生徒のレベルに合った練習問題を提案します。
3. インテリジェント・アシスタント開発
   開発者はDeep Recallを使って、ユーザーの習慣を記録し、文脈に関連した提案を提供するインテリジェントなアシスタントを構築できる。例えば、アシスタントはユーザーのスケジュールに基づいて会議やタスクを思い出させることができる。
4. コンテンツ推薦システム
   ディープリコールは、ユーザーの閲覧履歴を分析し、関連する記事、ビデオ、商品を推薦するコンテンツ推薦エンジンの構築に適している。例えば、ニュース・プラットフォームは、ユーザーの読書嗜好に基づいてパーソナライズされた情報をプッシュすることができる。
5. 企業知識管理
   組織はディープ・リコールを使って社内のナレッジ・ベースを構築し、従業員とのやり取りに関するデータを保存し、過去の情報を素早く取り出すことができる。例えば、テクニカル・サポート・チームは、過去の解決策を見つけるためにこのシステムを使うことができる。

品質保証

1. ディープリコールはどのようなビッグモデルをサポートしていますか？
   Deep Recallは、LLaMA、Mistral、BERTなど、多くのオープンソースマクロモデルと互換性があり、ユーザーは公式ドキュメントを参照することができる。 docs/model_support.md サポート一覧を見る
2. データ・プライバシーをどのように確保するのか？
   Deep Recallは、ユーザが管理するサーバに保存されたデータのローカル展開をサポートします。ユーザーは、暗号化されたボリュームまたは構成されたファイアウォールによって、データのプライバシーをさらに保護することができます。
3. 動作にはGPUが必要ですか？
   GPUは推論を高速化することができるが、必須ではなく、CPU環境では、処理速度は若干遅くなるものの、ディープリコールが実行できる。高負荷のシナリオではGPUを推奨する。
4. APIコールに失敗した場合の対処法は？
   ネットワーク接続とAPIエンドポイントの設定を確認してください。問題が解決しない場合は、ログファイルを確認してください。 logs/service.log または、公式サポートメールにお問い合わせください。
5. 多言語データをサポートしていますか？
   はい、Deep Recallのベクトル・データベースは、国際化されたアプリケーション・シナリオのために、多言語テキストの保存と検索をサポートしています。