Config UI: add missing config sections / partial yaml inputs (BC)

[naltatis]

Replaces #11739

Goal

• 🐭 make smaller config chunks (tariff, messages, mqtt, ...) editable via UI instead of complete evcc.yaml.
• 🚴‍♀️ create UI and API (endpoints, persistance and initialization) for all missing config areas in a fast and pragmatic way.

Later steps (seperate PRs)

• 🎩 Improve UX where necessary (tariff template UI Add tariffs configuration #10042, ...)
• 📟 Allow yaml-snippets as an alternative UI config option for vehicles, meters, chargers (e.g. to allow plugins)

BC

• all /api/state durations are now in seconds instead of nanoseconds

Todos

• api structure for all missing config elements @naltatis
• port yaml editor from Config UI: evcc.yaml editor #11739 @naltatis
• mqtt UI @naltatis
• mqtt API @andig
• Influx UI @naltatis
• Influx API @andig
• eebus UI @naltatis
• eebus API @andig
• tariffs UI @naltatis
• tariffs API @andig
• messaging UI @naltatis
• messaging API @andig
• modbusproxy UI @naltatis
• modbuxproxy API @andig
• interval UI @naltatis
• interval API @andig (@naltatis time.Duration oder einfach in Sekunden?)
• sponsortoken API @andig
• network UI @naltatis
• network API @andig
• maxgridsupply UI @naltatis
• maxgridsupply API @andig
• circuit UI @naltatis
• config status endpoint / decision needed (see here) @naltatis @andig
• remove all ns conversions from UI @naltatis
• fix messaging broken by encoded state values @andig
• fix broken date encoding (see 55b5cfd) @andig
• persist residualPower @andig
• decide messaging migration and differentiate services vs events @naltatis @andig
• decide tariff migration @naltatis @andig
• decide eebus migration @naltatis @andig
• decide hems migration @naltatis @andig
• decide modbusproxy migration @naltatis @andig
• circuit API @andig
• sponsortoken UI @naltatis
• switch to api-fied sponsor struct for UI @naltatis (721d355)
• Config-Endpunkte auch bei Startup Error bereitstellen @andig @naltatis
• use error classes in UI to highlight faulty configuration @naltatis
• fix MQTT/Influx (others?) publishing passwrds

[andig]

@naltatis ich brauche mal eine Idee. ModbusProxy ist eine Liste. Wie wollen wir hier mit Updates umgehen:

• per Element (über Index? über Port?) (json je Element)
• ganze Liste am Stück (json)?
• andere Ideen?
  Wäre super einen Ansatz zu finden, der auch mit anderen Integrationen, z.B. den Push Service funktionieren kann.

Meine Tendenz wäre per Element über numerischen Index. Passt das?

[naltatis]

@andig Im ersten Schritt (dieser PR) würde ich dir nur einen Yaml Block geben und keine Rücksicht auf die innere Struktur nehmen. Heißt, ein Update hat immer ein komplettes Neu-initialisieren zur Folge. Nichts auf Item-Ebene. Gleiches gilt für Messaging. Da ist die Struktur ja noch komplizierter, weil Messages und Services (Liste).

Das ist natürlich nicht schön und wir müssen das früher oder später sauber als Struktur/Liste ausmodellieren. Aber ich sehe das hier erstmal als einen pragmatischen Zwischenschritt.

[andig]

Passt, das ist hässlich aber einfach.

[andig]

@naltatis die existierenden Site APIs, z.B: buffersoc haben alle keine Getter. Brauchen wir trotzdem GETAPIs für die unstrukturierten Werte wie interval? Das erscheint inkonsistent.
Ebenso nutzen die existierenden "einfachen" Handler POST statt PUT. Wir sollten es konsistent machen, nach Möglichkeit mit wenigen Änderungen.

Vorschlag:

• alles POST (solange wir nicht PUT/POST für Einzelteile differenzieren)
• GET ersetzen wir durch die Daten in /api/state (um das Coding zu vereinfachen fände ich es im UI auch sinnvoll die dafür über die Hierarchie einzusammeln statt einzeln zum durchreichen zu deklarieren, aber das ist nur ein "Schönheitsthema").
• bei POST wird sofort die YAML Struktur überprüft, das erspart Überraschungen beim Neustart.

Wenn das passt müssen wir noch die Settings initial migrieren und dann nur noch aus der DB lesen.

[naltatis]

@andig ich musste den !== "" Check wieder reverten. Ohne den stoppt das Publishing und die UI bekommt keine Werte Updates. Dadurch sind auch die e2e Tests kaputt gegangen.

[naltatis]

WIP: configure, restart, fail, fix, restart, success cycle 🎉

startup.error.mp4

[andig]

Sieht super aus! Mit der error class solltest du auch direkt mqtt rot highlighten können?

[naltatis]

Wo finde ich die? Ich hab nur was in 'fatal' gesehen.

[andig]

Aber jetzt:

{
  "result": {
    "auth": {
      "vehicles": {}
    },
    "fatal": {
      "class": "mqtt",
      "error": "failed configuring mqtt: error connecting: network Error : dial tcp: lookup foo.bar: no such host"
    },
    "influx": {},
    "interval": 3,
    "loadpoints": [],
    "mqtt": {
      "topic": "evcc"
    },
    "network": {
      "schema": "http",
      "host": "evcc.local",
      "port": 7070
    }
  }
}

Falls es ein Fehler eines Gerätes ist kommt auch der Gerätename als device mit raus.

[andig]

bich musste den !== "" Check wieder reverten. Ohne den stoppt das Publishing und die UI bekommt keine Werte Updates. Dadurch sind auch die e2e Tests kaputt gegangen.

Den brauchen wir aber- sonst funktioniert die Migration des Settings nicht. Mir ist nicht klar, was da stoppen sollte? Evtl. vorherige Fehlmigration? Aber auch dann sollte nix stoppen!

[naltatis]

Evtl. vorherige Fehlmigration?

Ne, das passiert auch bei einer neuen Installation (siehe E2E tests). Du kannst das ja einfach reproduzieren.

[andig]

Hab ich kein Problem. Welches konkrete Peoblem hast du denn?

[andig]

@naltatis ich sehe kein Problem nach revert:

[site  ] DEBUG 2024/05/23 19:20:25 set battery mode: normal
[influx] ERROR 2024/05/23 19:20:26 write failed (attempts 1): Post "http://foo.bar/api/v2/write?bucket=bar&org=foo&precision=s": dial tcp: lookup foo.bar: no such host
[site  ] DEBUG 2024/05/23 19:20:28 ----
[lp-1  ] DEBUG 2024/05/23 19:20:28 charge power: 4600W
[lp-2  ] DEBUG 2024/05/23 19:20:28 charge power: 0W
[site  ] DEBUG 2024/05/23 19:20:28 pv power: 8088W
[site  ] DEBUG 2024/05/23 19:20:28 battery soc: 55%
[site  ] DEBUG 2024/05/23 19:20:28 battery power: 0W
[site  ] DEBUG 2024/05/23 19:20:28 grid meter: -2996W
[site  ] DEBUG 2024/05/23 19:20:28 site power: -2996W
[lp-2  ] DEBUG 2024/05/23 19:20:28 charger status: B