Backupmöglichkeit influxdb

[StevieC121176]

seit letzter Woche ist meine SD Karte defekt und ich musste Solectrus komplett neu aufsetzen. Jetzt sind natürlich alle Daten vom letzten Jahr weg. Leider habe ich keine Möglichkeit bzw. fehlt mir das Wissen dazu, die Daten aus meinen WR in Influxdb zu übertragen. Gibt es eine Möglichkeit eines Datenbank Backups für die Solectrus DB damit ich zumindest in Zukunft die Daten ab und an sichern kann. Am besten wäre natürlich so etwas wie der Backup Adapter in iobroker, der einmal am Tag alles sichert.

[ledermann]

Sehr ärgerlich, das tut mir leid.

Ja, es gibt eine Backup-Möglichkeit, die ich auch selbst für meine eigene SOLECTRUS-Instanz nutze:
https://github.com/solectrus/influxdb2-s3-backup

Dieses Tool erfordert allerdings Amazon S3, was ich persönlich für eine gute Sache halte, weil ein Backup in die Cloud die Daten wirklich aus der Gefahrenzone bringt. Möglich wäre aber auch, mit MinIO einen eigenen S3-Clone im lokalen Netz zu betreiben - möglicherweise ist das aber Overkill.

[StevieC121176]

Ok, soweit ich verstanden habe lege ich mir ein S3 Konto an. Dort werde ich sicherlich Zugangsdaten bekommen.
Aus der readme zum S3 Backup werde ich aber nicht ganz schlau. Gibt es da eine Config wo ich das dann eintragen muss? Muss ich noch etwas zusätzlich installieren?
Wie gesagt, meine Kenntnisse sind in dieser Hinsicht recht dürftig.

[ledermann]

Das Backup wird als zusätzlicher Dienst in deine bestehende SOLECTRUS-Konfiguration hinzugefügt, also in die bestehende docker-compose.yml- bei mir selbst sieht das in etwa so aus:

services:
  app:
    # ...
    image: ghcr.io/solectrus/solectrus:develop

  influxdb:
    # ...
    image: influxdb:2.7-alpine

  fluxbackup:
    image: ghcr.io/solectrus/influxdb2-s3-backup:latest
    environment:
      INFLUXDB_HOST: influxdb
      INFLUXDB_ORG: my-org
      INFLUXDB_TOKEN: my-super-token
      INFLUXDB_BACKUP_PORT: 8086
      S3_BUCKET: my-s3-bucket
      S3_PREFIX: influxdb_backup
      AWS_ACCESS_KEY_ID: my-aws-access-key
      AWS_SECRET_ACCESS_KEY: my-aws-secret
      CRON: '0 2 * * *'

Die Konfiguration erfolgt also ausschließlich über Umgebungsvariablen, eine weitere Config gibt es nicht. Es muss auch nichts zusätzlich installiert werden. Der Influx-Backup-Service läuft permanent und wird regelmäßig aktiv, in meinem Beispiel also jeden Tag um 02:00 Uhr. Der Backup-Container kommuniziert mit dem InfluxDB-Container, um an die Daten heranzukommen. Wichtig ist das korrekte Token für InfluxDB, es werden Admin-Rechte benötigt. Der S3-Bucket muss außerdem bereits vorhanden sein, also vorher manuell anlegen, was sich über das UI von AWS S3 erledigen lässt.

Wenn du noch nie etwas mit AWS zu tun hattest, dann ist das allerdings schon eine Herausforderung, AWS ist ein Monster mit unzähligen Diensten. S3 ist einer davon.

[StevieC121176]

Ich habe noch eine Möglichkeit über den iobroker Backup Adapter gefunden.
influxdb und cli habe ich auf dem Raps des iobroker installiert
Leider kommt folgender Fehler:

ERROR] [influxDB] - Error: Command failed: "/home/pi/solectrus/influxdb" backup --bucket solectrus --host http://192.168.178.114:8086 -t token "/opt/iobroker/backups/influxDB_2024_03_03-16_44_02_backupiobroker"
/bin/sh: 1: /home/pi/solectrus/influxdb: Permission denied

kann jemand helfen?

eingestellt ist der Adapter wie auf dem Foto:

[ledermann]

Interessante Idee! Bei InfluxDB ist es so, dass eine Datenbank-Instanz auch die Daten einer anderen Instanz sicher kann. Daher die Option "Remote". Ich habe das zwar nicht selber ausprobiert, aber eine Einstellung erscheint mir falsch: "Vollständiger Pfad" sollte leer bleiben. Es geht um den Pfad zum Influx-Daemon, nicht zur Datenbank.

[StevieC121176]

Der Tip war goldrichtig. Funktioniert. Jetzt wird jede Nacht einmal die DB gesichert.

[novodrom]

Genau nach so einer Backup Lösung habe ich gesucht. Vielen Dank für den Tipp mit iobroker Backup Adapter und den Settings! Backup & download funktioniert 1a. Das Wiederherstellen der influxdb Backup habe ich noch nicht getestet. Konnte das schon jemand erfolgreich durchführen?

[StevieC121176]

Wiederherstellung:
Einfach alle Dateien entpacken und nach /solectrus/influxdb kopieren. Ich glaube ich hatte danach den Container neu gestartet.

[Zeppelin-PV]

@StevieC121176
habe mich in die Thematik backup influxdb Datenbank etwas eingelesen und würde nur zu gern Solectrus Daten auf der sicheren Seite haben.
könntest Du mir, einem Copy&Paste User, aufzeigen was ich zu tun habe um dieses backitUp zum laufen zu bringen ?
was für Voraussetzungen, Installationsort etc pp - ein step by step howto ...
DANKE

[StevieC121176]

Voraussetzung für die Lösung die ich nutze:
-iobroker (es reicht nur der iobroker mit dem Backup Adapter)
-influxdb2 ist installiert
-port für influxdb ist in Solectrus freigegeben (in der docker-compose.yaml unter influxdb/environment:
ports: - 8086:8086 einfügen

Also ich habe Solectrus und iobroker auf 2 verschiedenen Raspis (4B und 5) laufen. Wichtig ist, das influxdb2 auf dem System installiert wird/ist, wo der iobroker läuft

Wo hast du Solectrus und den iobroker installiert?

[Zeppelin-PV]

Ich habe eigentlich nur Solectrus am laufen, sonst nichts. Zwei Raspi 4B greifen auf meinen SENEC zu, weil ich immer befürchte dass einer mal die Flügel streckt. Also müsste ich einiges an Vorarbeit leisten, und da fängt es schon an, mein Problem. Es müsste eine ausführliches Tutorial sein. lg 11.03.2024 11:19:55 StevieC121176 ***@***.***>:

…

Voraussetzung für die Lösung die ich nutze: -iobroker (es reicht nur der iobroker mit dem Backup Adapter) -influxdb2 ist installiert -port für influxdb ist in Solectrus freigegeben (in der docker-compose.yaml unter influxdb/environment: ``` ports: - 8086:8086 * Also ich habe Solectrus und iobroker auf 2 verschiedenen Raspis (4B und 5) laufen. Wichtig ist, das influxdb2 auf dem System installiert wird/ist, wo der iobroker läuft Wo hast du Solectrus und den iobroker installiert? * — Reply to this email directly, view it on GitHub[#2860 (reply in thread)], or unsubscribe[https://github.com/notifications/unsubscribe-auth/A6EJTZLEEEUQ4API6YQABDDYXWAMVAVCNFSM6AAAAABD3ZCQKOVHI2DSMVQWIX3LMV43SRDJONRXK43TNFXW4Q3PNVWWK3TUHM4DONBTHAYTG]. You are receiving this because you commented. [Verfolgungsbild][https://github.com/notifications/beacon/A6EJTZMMTT65UCXUWAU2U7LYXWAMVA5CNFSM6AAAAABD3ZCQKOWGG33NNVSW45C7OR4XAZNRIRUXGY3VONZWS33OINXW23LFNZ2KUY3PNVWWK3TUL5UWJTQAQVVYK.gif]

[StevieC121176]

Ja ich mach eine Schritt für Schritt Anleitung.
Als erstes müsstest du dem einen Raspi ein frisches Os verpassen und darauf iobroker installieren.
das geht mit einem Schritt
curl -sLf https://iobroker.net/install.sh | bash -

[Zeppelin-PV]

Oh je, ein neues Betriebssystem?
Ich dachte das geht einfach mit dem laufenden Rasbian Bullseye
... dann muss das mal hinten anstehen. Sorry für den Aufruhr den ich da veranstaltet habe.

[StevieC121176]

Du kannst Solectrus und iobroker auch auf einer gemeinsamen sdcard installieren, würde ich aber von abraten.
Also lieber neue sdcard und den iobroker separat installieren

[ledermann]

Die Idee, ioBroker für das Backup der SOLECTRUS-InfluxDB zu nutzen, ist praktisch, wenn man den ioBroker sowieso bereits im Einsatz hat. Nur alleine dafür würde ich mir ioBroker aber eher nicht installieren.

Hier ein anderer Ansatz. Mit folgendem Statement lässt sich über einen temporären Docker-Container ein Backup von InfluxDB anfertigen. Es wird ein Container erzeugt, der sich ins bestehende SOLECTRUS-Netzwerk einklingt, sich mit InfluxDB verbindet und ein Backup nach ./influx-backup schreibt. Danach wird der Container wieder gelöscht:

docker run --rm \
  --network=solectrus_default \
  -v ./influx-backup:/backup \
  influxdb:2.7-alpine \
  influx backup /backup --host http://influxdb:8086 --token mein-influx-admin-token

Für die Alltagstauglichkeit müsste man das weiter ausbauen, z.B. das Token müsste man aus .env lesen und auch einen Cron-Job anlegen. Das überlasse ich dem geneigten Leser als Übung ;-)

[StevieC121176]

Danke, diese Lösung funktioniert auch.