Deep Recall: ein Open-Source-Tool, das einen Speicherrahmen der Unternehmensklasse für große Modelle bietet

Allgemeine Einführung

Deep Recall ist ein Open-Source-Speicher-Framework der Unternehmensklasse, das für groß angelegte Sprachmodelle (LLMs) entwickelt wurde. Es bietet hyper-personalisierte Reaktionsfähigkeit durch effiziente kontextbezogene Abfrage und Integration. Das Framework basiert auf einer dreistufigen Architektur mit einem Speicherdienst, einem Inferenzdienst und einem Koordinator und unterstützt GPU-optimierte Inferenzen und die Integration von Vektordatenbanken. Deep Recall eignet sich sowohl für den Einsatz in der Cloud als auch lokal und bietet eine automatische Skalierung, um hohe Leistung und Zuverlässigkeit zu gewährleisten. Deep Recall verbessert nicht nur die Kontextwahrnehmung des Modells, sondern generiert auch maßgeschneiderte Antworten auf der Grundlage der Benutzerhistorie und -präferenzen, was es ideal für Szenarien macht, die stark personalisierte Interaktionen erfordern.

Funktionsliste

• Effizientes kontextbezogenes Retrieval: Schnelles Extrahieren relevanter Informationen aus historischen Benutzerinteraktionen.
• Personalisierte Antwortgenerierung: Generierung individueller Antworten auf der Grundlage von Benutzerpräferenzen und historischen Daten.
• GPU-optimierte Inferenz: Einsatz von GPUs zur Beschleunigung des Inferenzprozesses und zur Erhöhung der Verarbeitungsgeschwindigkeit.
• Integration von Vektordatenbanken: unterstützt die effiziente Speicherung und Abfrage umfangreicher Vektordaten.
• Automatische Skalierung: Dynamische Anpassung der Ressourcenzuweisung zur Anpassung an unterschiedliche Lastanforderungen.
• RESTful-API-Unterstützung: bietet eine bequeme Schnittstelle für Speicherverwaltung und -abruf.
• Umfassende Überwachung und Wartung: Eingebaute Überwachungstools sorgen für einen stabilen Systembetrieb.
• Security Scanning System: Gewährleistung der Codesicherheit durch Scannen von Abhängigkeiten, Codeanalyse und mehr.

Hilfe verwenden

Einbauverfahren

Um Deep Recall zu verwenden, müssen Sie die relevanten Abhängigkeiten in einer Umgebung installieren und konfigurieren, die Python unterstützt. Hier sind die detaillierten Installationsschritte:

1. Code-Repository klonen
   Führen Sie den folgenden Befehl in einem Terminal aus, um den Deep Recall-Quellcode zu erhalten:

   git clone https://github.com/jkanalakis/deep-recall.git
   cd deep-recall
   

2. Erstellen einer virtuellen Umgebung
   Um Abhängigkeitskonflikte zu vermeiden, empfiehlt es sich, eine virtuelle Python-Umgebung zu erstellen:

   python -m venv venv
   source venv/bin/activate  # Linux/macOS
   venv\Scripts\activate  # Windows
   

3. Installation von Abhängigkeiten
   Installieren Sie die erforderlichen Laufzeit- und Entwicklungsabhängigkeiten für das Projekt:

   pip install -r requirements.txt
   pip install -r requirements-dev.txt
   

4. Konfigurieren von Pre-Commit-Hooks
   Installieren Sie den Pre-Commit-Hook, um die Codequalität zu gewährleisten:

   pre-commit install
   

5. Überprüfen der Installation
   Sobald die Installation abgeschlossen ist, können Sie überprüfen, ob die Umgebung korrekt konfiguriert ist, indem Sie Testfälle ausführen. Siehe dazu die Projektbeschreibung CONTRIBUTING.md Datei, um den Testbefehl auszuführen:

   pytest
   

Hauptfunktionen

1. kontextbezogene Suche und personalisierte Antwort

Die Kernfunktion von Deep Recall besteht darin, personalisierte Antworten auf der Grundlage der Interaktionshistorie eines Nutzers zu generieren. Der Nutzer ruft den Erinnerungsdienst über eine RESTful-API auf, und das System ruft den relevanten Kontext aus einer Vektordatenbank ab und erzeugt eine Antwort auf der Grundlage der aktuellen Eingabe. Die Schritte sind wie folgt:

• API-AufrufePOST-Anfrage: Verwenden Sie eine POST-Anfrage, um eine Nachricht an die /memory/retrieve Der Endpunkt sendet die Benutzer-ID und die Abfrage. Beispiel:

  curl -X POST http://localhost:8000/memory/retrieve \
  -H "Content-Type: application/json" \
  -d '{"user_id": "user123", "query": "推荐一部电影"}'
  

• AntwortverarbeitungAPI: Die API gibt JSON-Daten zurück, die Kontext und generierte Antworten enthalten, die von Entwicklern geparst und den Benutzern direkt angezeigt werden können.
• Personalisierung der Konfiguration: In der Konfigurationsdatei config/memory_config.json um Abrufparameter wie die Größe des Kontextfensters oder die Ähnlichkeitsschwelle in der

2. GPU-optimierte Argumentation

Deep Recall unterstützt GPU-beschleunigte Inferenzen für eine deutlich schnellere Verarbeitung. Sie müssen sicherstellen, dass CUDA und die entsprechenden Treiber auf Ihrem System installiert sind. Schritte zur Konfiguration:

• Installation der GPU-Abhängigkeiten: Stellen Sie während der Installation sicher, dass die requirements.txt GPU-bezogene Bibliotheken wie PyTorch wurden korrekt installiert.
• Starten Sie den Argumentationsdienst: Führen Sie ihn im Stammverzeichnis des Projekts aus:

  python -m deep_recall.inference_service --gpu
  

• Überprüfung der GPU-Nutzung: Bestätigt anhand von Protokollen, dass der Inferenzdienst GPU-Ressourcen nutzt.

3. die Integration der Vector-Datenbank

Deep Recall verwendet eine Vektordatenbank zur Speicherung von Benutzerinteraktionsdaten und unterstützt effiziente Abfragen. Operative Prozesse:

• Initialisierung der DatenbankInitialisierungsskript ausführen, um den Vektorindex zu erstellen:

  python scripts/init_vector_db.py
  

• DatenimportImportieren von Daten aus der Benutzerhistorie in die Datenbank über API oder Skript. Beispiel API-Aufruf:

  curl -X POST http://localhost:8000/memory/store \
  -H "Content-Type: application/json" \
  -d '{"user_id": "user123", "data": "用户喜欢科幻电影"}'
  

• Daten abfragenRetrieval API: Verwenden Sie die Retrieval API, um die gespeicherten Vektordaten bei Bedarf abzufragen.

4. automatisierte Erweiterungen

Deep Recall unterstützt die dynamische Ressourcenzuweisung für Szenarien mit hoher Last. Die Benutzer können die Datei config/scaling_config.json Legen Sie Skalierungsrichtlinien fest, z. B. die maximale Anzahl von Instanzen oder Lastschwellen. Starten Sie den Coordinator-Dienst:

python -m deep_recall.orchestrator

Der Koordinator passt die Anzahl der Inferenzdienstinstanzen automatisch an die Auslastung an.

Featured Function Bedienung

Sicheres Scanning-System

Deep Recall verfügt über umfassende Sicherheitsscan-Tools, die die Codequalität gewährleisten. Arbeitsweise:

• Ausführen eines AbhängigkeitsscansPrüfung auf bekannte Sicherheitslücken in Python-Abhängigkeiten:

  safety check
  

• Analyse der Codesicherheit: Verwenden Sie Bandit, um Ihren Code auf Sicherheitsprobleme zu überprüfen:

  bandit -r deep_recall
  

• Bericht ansehenDie Scanergebnisse werden in den Formaten JSON und Markdown in der Datei reports/ Katalog zur Überprüfung durch den Benutzer.

API-Client-Beispiel

Deep Recall bietet Python- und JavaScript-Client-Bibliotheken zur Vereinfachung der API-Integration. Beispiel für Python-Code:

from deep_recall_client import DeepRecallClient
client = DeepRecallClient("http://localhost:8000")
response = client.retrieve_memory(user_id="user123", query="推荐一部电影")
print(response["reply"])

Benutzer können auch auf das React-Beispiel-Frontend im Projekt zurückgreifen, um schnell interaktive Schnittstellen zu erstellen.

caveat

• Stellen Sie sicher, dass Ihre Netzwerkverbindung stabil ist, da API-Aufrufe aufgrund von Netzwerkproblemen fehlschlagen können.
• Sichern Sie regelmäßig die Vektordatenbank, siehe docs/backup.md Konfigurieren Sie die automatische Sicherung.
• Sonde config/security_config.jsonkönnen Sie die Regeln für die Sicherheitsüberprüfung anpassen.

Anwendungsszenario

1. Kundendienst-Roboter
   Deep Recall bietet Kundendienst-Bots eine Gedächtnisfunktion, die die Fragen und Vorlieben eines Nutzers in der Vergangenheit aufzeichnet und Antworten generiert, die den Bedürfnissen des Nutzers besser entsprechen. Auf E-Commerce-Plattformen können Bots beispielsweise Produkte empfehlen, die auf den früheren Einkäufen eines Nutzers basieren.
2. Personalisierte Bildungsplattform
   In der Online-Bildung speichert Deep Recall die Fortschritte und Interessen eines Schülers, um maßgeschneiderte Lernvorschläge zu generieren. Zum Beispiel schlägt es Übungsfragen vor, die für das Niveau des Schülers geeignet sind.
3. Entwicklung intelligenter Assistenten
   Entwickler können Deep Recall nutzen, um intelligente Assistenten zu entwickeln, die die Gewohnheiten der Nutzer aufzeichnen und kontextabhängige Vorschläge machen. Der Assistent kann den Nutzer zum Beispiel an Meetings oder Aufgaben erinnern, die auf seinem Zeitplan basieren.
4. System zur Empfehlung von Inhalten
   Deep Recall eignet sich für den Aufbau von Inhaltsempfehlungsmaschinen, die den Browserverlauf eines Nutzers analysieren, um relevante Artikel, Videos oder Produkte zu empfehlen. So können beispielsweise Nachrichtenplattformen personalisierte Informationen auf der Grundlage der Lesevorlieben der Nutzer veröffentlichen.
5. Wissensmanagement im Unternehmen
   Unternehmen können Deep Recall nutzen, um interne Wissensdatenbanken aufzubauen, Daten über Mitarbeiterinteraktionen zu speichern und historische Informationen schnell abzurufen. Technische Support-Teams können das System zum Beispiel nutzen, um Lösungen aus der Vergangenheit zu finden.

QA

1. Welche großen Modelle werden von Deep Recall unterstützt?
   Deep Recall ist kompatibel mit einer Reihe von Open-Source-Makromodellen wie LLaMA, Mistral und BERT, für die die Benutzer die offizielle Dokumentation einsehen können. docs/model_support.md Siehe die vollständige Liste der Unterstützung.
2. Wie gewährleisten Sie den Datenschutz?
   Deep Recall unterstützt die lokale Bereitstellung von Daten, die auf einem vom Benutzer kontrollierten Server gespeichert werden. Benutzer können den Datenschutz durch verschlüsselte Datenträger oder konfigurierte Firewalls weiter schützen.
3. Benötigt es einen Grafikprozessor?
   GPUs können die Inferenz beschleunigen, sind aber nicht erforderlich, und CPU-Umgebungen können Deep Recall ausführen, wenn auch mit etwas niedrigeren Verarbeitungsgeschwindigkeiten. GPUs werden für Szenarien mit hoher Last empfohlen.
4. Wie gehe ich mit Fehlern bei API-Aufrufen um?
   Überprüfen Sie die Netzwerkkonnektivität und die Konfiguration des API-Endpunkts. Wenn das Problem weiterhin besteht, überprüfen Sie die Protokolldateien logs/service.log Oder kontaktieren Sie die offizielle Support-E-Mail.
5. Unterstützt es mehrsprachige Daten?
   Ja, die Vektordatenbank von Deep Recall unterstützt die Speicherung und den Abruf von Texten in mehreren Sprachen für internationalisierte Anwendungsszenarien.