Die Scraper können aus den Ratsinformationssysteme (RIS) Somacos, SessionNet und CC e-gov AllRis strukturierte Daten wie Personen, Gruppierungen, Sitzungen, Tagesordnungspunkten, Beschlussvorlagen, Anträgen und Anhängen auslesen und diese in einer Datenbank ablegen.
Diese Scraper sind die Grundlage für die Website Politik bei uns (Github, WWW), die zur benutzerfreundlichen Suche und Anzeige der Daten genutzt werden kann. Sie können jedoch auch unabhängig davon eingesetzt werden.
Die Scraper sind in Python 2 geschrieben und speichern die Daten in einer MongoDB Datenbank.
Weitere benötigte Software wird in der Installationsanleitung genannt.
Eine ausführliche Installationsanleitung findet sich im Wiki.
Synopsis:
- Mit virtualenv eine Python-Umgebung einrichten und diese starten
- Python-Module installieren
- MongoDB starten
- Konfigurationsdatei config_example.py kopieren zu config.py, config.py anpassen
Alle Kommandozeilen-Parameter werden erläutert, wenn das Hauptscript wie folgt aufgerufen wird:
>>> python main.py --help
Mit diesem Aufruf können Inhalte für Februar und März 2013 abgerufen werden:
>>> python main.py --start 2013-02 --end 2013-03
Viel mehr zur Benutzung gibt es in einem ausführlichen Tutorial.
Der Code steht unter der BSD 3-Clause License Lizenz.
Der Scraper basiert auf dem Projekt Scrape-A-RIS bzw cologne-ris-scraper von Marian Steinbach.