Deep Recall: uma ferramenta de código aberto que fornece uma estrutura de memória de nível empresarial para modelos grandes

Introdução geral

O Deep Recall é uma estrutura de memória de classe empresarial de código aberto projetada para modelos de linguagem em grande escala (LLMs). Ele oferece capacidade de resposta hiperpersonalizada por meio de recuperação e integração contextuais eficientes. A estrutura adota uma arquitetura de três camadas, incluindo um serviço de memória, um serviço de inferência e um coordenador, e suporta inferência otimizada por GPU e integração de banco de dados vetorial. O Deep Recall é adequado para implantações locais e na nuvem, com dimensionamento automatizado para garantir alto desempenho e confiabilidade. Ele não apenas aprimora o reconhecimento do contexto do modelo, mas também gera respostas personalizadas com base no histórico e nas preferências do usuário, o que o torna ideal para cenários que exigem interações profundamente personalizadas.

Lista de funções

• Recuperação contextual eficiente: extraia rapidamente informações relevantes do histórico de interações do usuário.
• Geração de respostas personalizadas: gere respostas personalizadas com base nas preferências do usuário e em dados históricos.
• Inferência otimizada por GPU: uso de GPUs para acelerar o processo de inferência e melhorar a velocidade de processamento.
• Integração do banco de dados vetorial: oferece suporte ao armazenamento e à consulta eficientes de dados vetoriais em grande escala.
• Dimensionamento automatizado: ajuste dinamicamente a alocação de recursos para se adaptar a diferentes demandas de carga.
• Suporte à API RESTful: fornece uma interface conveniente para gerenciamento e recuperação de memória.
• Monitoramento e manutenção abrangentes: ferramentas de monitoramento incorporadas para garantir a operação estável do sistema.
• Sistema de varredura de segurança: garanta a segurança do código por meio de varredura de dependências, análise de código e muito mais.

Usando a Ajuda

Processo de instalação

Para usar o Deep Recall, é necessário instalar e configurar as dependências relevantes em um ambiente que suporte Python. Aqui estão as etapas detalhadas de instalação:

1. Repositório de código clone
   Execute o seguinte comando em um terminal para obter o código-fonte do Deep Recall:

   git clone https://github.com/jkanalakis/deep-recall.git
   cd deep-recall
   

2. Criação de um ambiente virtual
   Para evitar conflitos de dependência, recomendamos que você crie um ambiente virtual Python:

   python -m venv venv
   source venv/bin/activate  # Linux/macOS
   venv\Scripts\activate  # Windows
   

3. Instalação de dependências
   Instale o tempo de execução e as dependências de desenvolvimento necessárias para o projeto:

   pip install -r requirements.txt
   pip install -r requirements-dev.txt
   

4. Configuração de Hooks de pré-compromisso
   Para garantir a qualidade do código, instale o gancho de pré-compromisso:

   pre-commit install
   

5. Verificar a instalação
   Após a conclusão da instalação, você pode verificar se o ambiente está configurado corretamente executando casos de teste. Consulte a seção CONTRIBUTING.md para executar o comando de teste:

   pytest
   

Funções principais

1. pesquisa contextual e resposta personalizada

A principal funcionalidade do Deep Recall é gerar respostas personalizadas com base no histórico de interações de um usuário. O usuário chama o serviço de memória por meio de uma API RESTful, e o sistema recupera o contexto relevante de um banco de dados de vetores e gera uma resposta com base na entrada atual. As etapas são as seguintes:

• Chamadas de APIUso de uma solicitação POST para enviar uma mensagem para o /memory/retrieve O ponto de extremidade envia o ID do usuário e a consulta. Exemplo:

  curl -X POST http://localhost:8000/memory/retrieve \
  -H "Content-Type: application/json" \
  -d '{"user_id": "user123", "query": "推荐一部电影"}'
  

• processamento de respostasAPI: retorna dados JSON contendo contexto e respostas geradas que os desenvolvedores podem analisar e exibir diretamente aos usuários.
• Personalização da configuraçãoNo arquivo de configuração config/memory_config.json para ajustar os parâmetros de recuperação, como o tamanho da janela de contexto ou o limite de similaridade, no

2. raciocínio otimizado para GPU

O Deep Recall suporta inferência acelerada por GPU para um processamento significativamente mais rápido. Você precisa garantir que o CUDA e os drivers relacionados estejam instalados em seu sistema. Etapas de configuração:

• Instalação das dependências da GPU: Durante a instalação, certifique-se de que o requirements.txt As bibliotecas relacionadas à GPU, como o PyTorch, foram instaladas corretamente.
• Inicie o serviço de raciocínio: execute-o no diretório raiz do projeto:

  python -m deep_recall.inference_service --gpu
  

• Verify GPU Usage (Verificar uso da GPU): confirma, por meio de registros, que o serviço de inferência está utilizando recursos da GPU.

3. integração do banco de dados Vector

O Deep Recall usa um banco de dados vetorial para armazenar dados de interação do usuário e oferece suporte a consultas eficientes. Processos operacionais:

• Inicialização do banco de dadosExecute o script de inicialização para criar o índice do vetor:

  python scripts/init_vector_db.py
  

• Importação de dadosImportar dados do histórico do usuário para o banco de dados via API ou script. Exemplo de chamada de API:

  curl -X POST http://localhost:8000/memory/store \
  -H "Content-Type: application/json" \
  -d '{"user_id": "user123", "data": "用户喜欢科幻电影"}'
  

• Consultar dadosAPI de recuperação: use a API de recuperação para consultar os dados vetoriais armazenados sob demanda.

4. extensões automatizadas

O Deep Recall oferece suporte à alocação dinâmica de recursos para cenários de alta carga. Os usuários podem configurar o arquivo config/scaling_config.json Defina políticas de dimensionamento, como o número máximo de instâncias ou limites de carga. Inicie o serviço de coordenador:

python -m deep_recall.orchestrator

O coordenador ajusta automaticamente o número de instâncias do serviço de inferência com base na carga.

Operação da função em destaque

Sistema de digitalização seguro

O Deep Recall tem ferramentas abrangentes de verificação de segurança incorporadas para garantir a qualidade do código. Método de operação:

• Execução de uma varredura de dependênciasVerificação de vulnerabilidades conhecidas nas dependências do Python:

  safety check
  

• Análise de segurança de códigoUse o Bandit para verificar se há problemas de segurança em seu código:

  bandit -r deep_recall
  

• Exibir relatórioOs resultados da varredura são salvos nos formatos JSON e Markdown na pasta reports/ Catálogo para análise do usuário.

Exemplo de cliente de API

O Deep Recall fornece bibliotecas de clientes Python e JavaScript para simplificar a integração da API. Exemplo de código Python:

from deep_recall_client import DeepRecallClient
client = DeepRecallClient("http://localhost:8000")
response = client.retrieve_memory(user_id="user123", query="推荐一部电影")
print(response["reply"])

Os usuários também podem consultar o exemplo de front-end React no projeto para criar rapidamente interfaces interativas.

advertência

• Certifique-se de que sua conexão de rede esteja estável, pois as chamadas de API podem falhar devido a problemas de rede.
• Faça regularmente o backup do banco de dados de vetores, consulte docs/backup.md Configurar o backup automático.
• sonda config/security_config.jsonpersonalize as regras de varredura de segurança.

cenário do aplicativo

1. Robô de atendimento ao cliente
   O Deep Recall fornece aos bots de atendimento ao cliente uma função de memória que registra as perguntas e preferências históricas de um usuário, gerando respostas mais relevantes para as necessidades do usuário. Por exemplo, em plataformas de comércio eletrônico, os bots podem recomendar produtos com base nas compras anteriores de um usuário.
2. Plataforma de educação personalizada
   Na educação on-line, o Deep Recall armazena o progresso e os interesses de um aluno para gerar sugestões de aprendizado personalizadas. Por exemplo, ele sugere questões práticas adequadas ao nível do aluno.
3. Desenvolvimento de assistentes inteligentes
   Os desenvolvedores podem usar o Deep Recall para criar assistentes inteligentes que registram os hábitos do usuário e fornecem sugestões contextualmente relevantes. Por exemplo, o assistente pode lembrar os usuários de reuniões ou tarefas com base em suas agendas.
4. Sistema de recomendação de conteúdo
   O Deep Recall é adequado para a criação de mecanismos de recomendação de conteúdo que analisam o histórico de navegação de um usuário para recomendar artigos, vídeos ou produtos relevantes. Por exemplo, as plataformas de notícias podem enviar informações personalizadas com base nas preferências de leitura dos usuários.
5. Gestão do conhecimento empresarial
   As organizações podem usar o Deep Recall para criar bases de conhecimento internas, armazenar dados sobre as interações dos funcionários e recuperar rapidamente informações históricas. Por exemplo, as equipes de suporte técnico podem usar o sistema para encontrar soluções anteriores.

QA

1. Quais modelos grandes são compatíveis com o Deep Recall?
   O Deep Recall é compatível com vários macromodelos de código aberto, como LLaMA, Mistral e BERT, para os quais os usuários podem consultar a documentação oficial. docs/model_support.md Veja a lista completa de suporte.
2. Como você garante a privacidade dos dados?
   O Deep Recall suporta a implementação local com dados armazenados em um servidor controlado pelo usuário. Os usuários podem proteger ainda mais a privacidade dos dados por meio de volumes criptografados ou firewalls configurados.
3. Ele requer uma GPU para ser executado?
   As GPUs podem acelerar a inferência, mas não são necessárias, e os ambientes de CPU podem executar o Deep Recall, embora com velocidades de processamento um pouco mais lentas. As GPUs são recomendadas para cenários de alta carga.
4. Como faço para lidar com falhas de chamadas de API?
   Verifique a conectividade da rede e a configuração do endpoint da API. Se o problema persistir, examine os arquivos de registro logs/service.log Ou entre em contato com o e-mail oficial de suporte.
5. Ele oferece suporte a dados multilíngues?
   Sim, o banco de dados vetorial do Deep Recall suporta o armazenamento e a recuperação de texto em vários idiomas para cenários de aplicativos internacionalizados.