Self-hosted

    Gateway self-hosted.

    Deploya il gateway Mnemom sulla tua infrastruttura. I tuoi dati, prompt e argomenti di tool non lasciano mai la tua rete. Solo heartbeat, telemetria e metadati di verdetti firmati fluiscono alla control plane Mnemom.

    Architettura

    Il gateway self-hosted gira nella tua rete. Fa proxy sulle chiamate LLM, esegue gli integrity check localmente e invia la telemetria alla control plane Mnemom. Niente di sensibile lascia il tuo perimetro.

      Your Infrastructure                          Mnemom Cloud
     +---------------------------+                +------------------+
     |                           |                |                  |
     |  +--------+   +--------+ |  heartbeat     |  Control Plane   |
     |  |  App   |-->|Gateway |--+--------------->|  (api.mnemom.ai) |
     |  +--------+   +--------+ |  telemetry     |                  |
     |               |   |       |                |  Dashboard       |
     |               v   v       |                |  Alerts          |
     |          +------+ +-----+ |                |  Fleet Mgmt      |
     |          | AIP  | | LLM | |                +------------------+
     |          |Check | |Proxy | |
     |          +------+ +-----+ |
     |                   |       |
     +---------------------------+
                         |
                         v
                  LLM Providers
              (OpenAI, Anthropic, etc.)

    Resta dentro la tua rete

    • - Prompt, argomenti di tool e risposte degli LLM.
    • - Dati clienti, PII e payload regolamentati.
    • - Alignment Card, hash delle card e proof chain.
    • - Credenziali dei provider LLM (OpenAI, Anthropic, ecc.).

    Inviato alla control plane

    • - Heartbeat e metadati di versione (ogni 30 s).
    • - Riassunti di verdetti firmati — etichette, non contenuto.
    • - Contatori di telemetria e statistiche di anomalie.
    • - Dati di calibratura del Trust Rating (punteggi, non trace).

    Quickstart — Docker Compose

    Il modo più rapido di provare il gateway. Avvialo, punta il tuo agente su di lui e verifica un integrity check firmato in meno di cinque minuti.

    1. Crea il tuo file .env

    Metti il JWT di licenza e l'ID organizzazione che ti abbiamo inviato in un file .env accanto al file compose. Tutto il resto è opzionale.

    2. Crea docker-compose.yml

    version: "3.8"
    
    services:
      gateway:
        image: ghcr.io/mnemom/gateway:latest
        container_name: mnemom-gateway
        restart: unless-stopped
        ports:
          - "${GATEWAY_PORT:-8080}:8080"
        env_file:
          - .env
        healthcheck:
          test: ["CMD", "curl", "-f", "http://localhost:8080/health"]
          interval: 30s
          timeout: 10s
          retries: 3
          start_period: 10s
        volumes:
          - gateway-data:/data
    
    volumes:
      gateway-data:

    3. Avvia il gateway

    docker compose up -d
    docker compose logs -f gateway

    4. Verifica che sia sano

    curl http://localhost:8080/health
    # Expected: {"status":"ok","version":"1.x.x"}

    Produzione — Helm

    Per i deploy Kubernetes in produzione, il chart Helm è il percorso supportato. TLS, ingress, autoscaling e limiti di risorse sono first-class.

    1. Aggiungi il repo Helm

    helm repo add mnemom https://charts.mnemom.ai
    helm repo update

    2. Scrivi il tuo values.yaml

    # values.yaml
    replicaCount: 2
    
    gateway:
      licenseJwt: "<YOUR_LICENSE_JWT>"
      orgId: "<YOUR_ORG_ID>"
      region: "us-east-1"
    
    resources:
      requests:
        memory: "512Mi"
        cpu: "250m"
      limits:
        memory: "2Gi"
        cpu: "1000m"
    
    ingress:
      enabled: true
      className: nginx
      hosts:
        - host: gateway.internal.example.com
          paths:
            - path: /
              pathType: Prefix
      tls:
        - secretName: gateway-tls
          hosts:
            - gateway.internal.example.com
    
    autoscaling:
      enabled: true
      minReplicas: 2
      maxReplicas: 10
      targetCPUUtilizationPercentage: 70

    3. Installa il chart

    helm install mnemom-gateway mnemom/gateway \
      -f values.yaml \
      -n mnemom --create-namespace

    4. Verifica il rollout

    kubectl get pods -n mnemom
    kubectl logs -f deployment/mnemom-gateway -n mnemom

    Riferimento di configurazione

    Tutto ciò che il gateway legge dall'ambiente. Solo licenza e organizzazione sono obbligatorie; il resto ha default sensati.

    VariabileObbligatorioDescrizione
    MNEMOM_LICENSE_JWT
    Obbligatorio
    JWT firmato che autorizza questo gateway a chiamare la control plane Mnemom.
    MNEMOM_ORG_ID
    Obbligatorio
    UUID della tua organizzazione Mnemom. Lega questo gateway al tuo tenant.
    GATEWAY_PORTOpzionalePorta su cui il gateway ascolta. Default 8080.
    GATEWAY_HOSTOpzionaleIndirizzo di bind del gateway. Default 0.0.0.0.
    MNEMOM_API_URLOpzionaleURL della control plane Mnemom. Da cambiare solo per mirror air-gapped.
    OPENAI_API_KEYOpzionaleChiave OpenAI opzionale se il gateway fa proxy su OpenAI.
    ANTHROPIC_API_KEYOpzionaleChiave Anthropic opzionale se il gateway fa proxy su Claude.
    MNEMOM_REGIONOpzionaleEtichetta di regione usata nei verdetti e nella telemetria (es. us-east-1).
    LOG_LEVELOpzionaledebug | info | warn | error. Default info.
    TLS_CERT_PATHOpzionalePercorso assoluto al certificato TLS se il gateway termina TLS localmente.
    TLS_KEY_PATHOpzionalePercorso assoluto alla chiave TLS corrispondente a TLS_CERT_PATH.
    HEARTBEAT_INTERVAL_SOpzionaleIntervallo di heartbeat in secondi. Default 30.
    MAX_CONCURRENT_CHECKSOpzionaleLimite superiore sugli integrity check concorrenti. Default 256.

    Managed vs self-hosted

    FunzionalitàManagedSelf-hosted
    InfrastrutturaHostato da Mnemom su Cloudflare Workers.Docker o Kubernetes nel tuo perimetro.
    Routing LLMAttraverso l'egress di Mnemom (observable, auditabile).Direttamente dalla tua rete al provider LLM.
    Tempo di installazioneSotto i 5 minuti.Circa 30 minuti per Docker; 1–2 ore per Helm.
    ScalingAutomatico.Controlli tu l'autoscaler; il chart Helm porta default sensati.
    Dashboardapp.mnemom.ai.app.mnemom.ai (legge la telemetria del tuo gateway).
    Integrity checkInclusi.Inclusi, eseguiti localmente.
    Drift detectionInclusa.Inclusa, eseguita localmente.
    Residenza dei datiRegioni US, UE.Dove lo deployi — pienamente sotto il tuo controllo.
    Air-gapped / offlineNon supportato.Supportato su Enterprise.
    Routing di modello auto-gestitoLimitato.Completo — qualsiasi provider LLM o modello on-prem.
    SLA99,9 % standard; custom su Enterprise.L'SLA è tuo; noi supportiamo il gateway.
    Piano richiestoTutti i piani.Solo Enterprise.

    FAQ

    Pronto a deployare?

    Self-hosted è una funzionalità del tier Enterprise. Parlaci del tuo ambiente e ti spediremo la licenza e i values Helm adatti.

    Featured on There's An AI For That