Behördendaten scrapen: was beim Selberbauen bricht

Was beim Scrapen von Behördendaten bricht

Es bricht an fünf Stellen, und das Layout der Seite ist nur eine davon. Die übrigen vier betreffen den Inhalt: welche Fassung du liest, ob der Wert nachträglich berichtigt wurde, ob es überhaupt eine Verordnung dazu gibt und für welchen Tag der Wert gilt. Ein Parser, der heute die richtige Zahl liefert, kann an jeder dieser Stellen morgen eine falsche liefern, ohne dass ein Test rot wird.

Wir haben das bei der Prüfung unserer eigenen Datensätze erlebt. Der Prüflauf liest jede Zahl am Normtext, am Bundesgesetzblatt oder an der Bekanntmachung im Bundesanzeiger nach. Die Fehler, die dieser Lauf gefunden hat, dienen unten als Beispiele, mit den Antworten der API zum Nachprüfen.

Fünf Bruchstellen und was dagegen hilft

Konsolidierte Fassung, verkündete Fassung: welche liest dein Scraper?

Die Seiten von Gesetze im Internet zeigen konsolidierte Fassungen, und die sind nach eigener Auskunft des Portals nicht amtlich. Amtlich ist die Verkündung im Bundesgesetzblatt, das seit dem 1. Januar 2023 in elektronischer Form auf der Verkündungsplattform des Bundes erscheint. Bei Änderungsgesetzen steht dort nur der Änderungsbefehl, den Verlage und Online-Anbieter in den Stammtext einarbeiten.

Für einen Scraper hat das zwei Folgen. Erstens liest er mit dem Portal meist die Zahl richtig, kennt aber die Verkündung nicht, auf die er sich berufen müsste. Zweitens hängt der Zeitpunkt der Aktualisierung am Portal: Das Portal weist darauf hin, dass die Konsolidierung bei umfangreichen Änderungen einige Zeit dauern kann und dass der Wortlaut erst zum Inkrafttreten der Änderung wechselt. Wer eine Frist oder einen Beitragssatz an einem Stichtag braucht, liest dort also je nach Tag den alten oder den neuen Text.

Das trifft vor allem Werte, die in mehreren Stufen gelten. Der Datensatz Beitragssätze der Sozialversicherung führt deshalb jeden Satz mit Rechtsgrundlage, Quelle, Gültig-ab und Gültig-bis. Als Beleg dient die Verkündung.

Berichtigungen: derselbe Wert wird zweimal verkündet

Auch eine verkündete Zahl kann falsch sein und danach berichtigt werden. Die Pfändungsfreigrenzenbekanntmachung 2024 vom 10. Mai 2024 steht im Bundesgesetzblatt (BGBl. 2024 I Nr. 160). Im Bundesgesetzblatt vom 24. Mai 2024 (Nr. 165a) folgte eine Berichtigung: Der Erhöhungsbetrag für die erste unterhaltsberechtigte Person lautet 561,43 Euro, nicht 560,90 Euro. Das Portal führt beide Fundstellen im Vollzitat.

Ein Scraper, der zwischen den beiden Terminen gelaufen ist und seitdem nur neue Bekanntmachungen sucht, hat den Wert aus der ersten Fassung. Er bemerkt den Fehler nicht, weil die Seite unverändert bleibt. Die Abweichung beträgt 53 Cent im Monat, aber der Wert geht in jede Berechnung des pfändbaren Betrags ein.

Bei Quellenkontor steht der berichtigte Wert im Datenbestand, und die Rechtsgrundlage nennt beide Fundstellen. Die Antwort unten zeigt sie für einen Tag im Juli 2024, und die Datensatzseite zu den Pfändungsfreigrenzen führt alle Stufen seit 2015.

Erste Verkündung und Berichtigung im Vergleich

Wert, Rechtsgrundlage und Gültigkeit in einer Antwort

$ curl "https://api.quellenkontor.dev/v1/hr/pfaendungsfreigrenzen?datum=2024-07-15" \
    -H "Authorization: Bearer $QK_KEY"

# Ausschnitt der Antwort
{
  "erhoehung_erste_person_monat": 561.43,
  "gueltig_ab": "2024-07-01",
  "gueltig_bis": "2025-06-30",
  "rechtsgrundlage": "Pfändungsfreigrenzenbekanntmachung 2024 vom 10. Mai 2024 (BGBl. 2024 I Nr. 160), berichtigt durch BGBl. 2024 I Nr. 165a (Erhöhungsbetrag für die erste Person 561,43 Euro)",
  "quelle": {
    "titel": "Pfändungsfreigrenzenbekanntmachung 2024 vom 10. Mai 2024 (BGBl. 2024 I Nr. 160)",
    "url": "https://www.gesetze-im-internet.de/pf_ndfreigrbek_2024/BJNR0A00A0024.html"
  },
  "stand": "2026-09-23"
}

Wenn es keine Verordnung gibt: die Insolvenzgeldumlage 2021

Manche Werte haben keine eigene Verordnung, und wer danach sucht, findet nichts. Der gesetzliche Umlagesatz der Insolvenzgeldumlage beträgt nach § 360 SGB III 0,15 Prozent. Eine Verordnung nach § 361 SGB III darf davon abweichen, und das Bundesministerium für Arbeit und Soziales hat davon mehrfach Gebrauch gemacht. Für 2021 gibt es keine solche Verordnung. Der Satz von 0,12 Prozent steht in § 360 SGB III in der Fassung des Beschäftigungssicherungsgesetzes vom 3. Dezember 2020, gültig bis zum 31. Dezember 2021.

Beim Prüflauf war das ein Treffer gegen uns: Die Rechtsgrundlage stand in unserem Bestand zunächst als § 361 SGB III. Der Wert war richtig, die Rechtsgrundlage nicht. Wir haben sie am 23. September 2026 korrigiert. Ein Scraper hätte denselben Fehler gemacht, denn die heutige Fassung von § 360 nennt 0,15 Prozent, und ihre Fußnote verweist nur auf die Verordnungen für 2022 bis 2024.

Für 2022 gilt wieder eine Verordnung: Die Insolvenzgeldumlagesatzverordnung 2022 setzt 0,09 Prozent fest. Die Quelle wechselt also zwischen Gesetz und Verordnung: 2021 gilt das Gesetz, 2022 wieder eine Verordnung. Ein Parser mit festem Suchmuster bricht in solchen Jahren.

Welcher Weg passt zu deiner Quelle?

Was offizielle Schnittstellen schon lösen

Es gibt offene, maschinenlesbare Zugänge, und wer sie nutzt, muss nichts scrapen. Gesetze im Internet stellt die Gesamtausgaben der Gesetze und Verordnungen auch als XML bereit, ausdrücklich für die automatisierte Weiterverarbeitung. Die Datenstruktur beschreibt eine öffentlich abrufbare DTD, und ein tagesaktuelles Inhaltsverzeichnis liegt als XML unter gii-toc.xml. Die robots.txt des Portals sperrt nichts.

Die Statistik hat einen eigenen Zugang. Das Statistische Bundesamt bietet für GENESIS-Online eine RESTful/JSON-Schnittstelle, die Anwenderdokumentation liegt in Version 5.1 mit Stand 1. Juni 2026 vor. Nach Angaben von Destatis ist GENESIS-Online unter der Datenlizenz Deutschland Namensnennung 2.0 kostenlos nutzbar. Die Lizenzfragen dazu klärt der Artikel zu amtlichen Werken und Urheberrecht.

Diese Zugänge liefern Texte und Tabellen, aber keinen Wert mit Rechtsgrundlage und Gültigkeit je Stichtag. Den Schritt vom Normtext zur geprüften Zahl mit Gültig-ab musst du selbst gehen, und an diesem Schritt scheitern die Beispiele aus diesem Artikel.

Was jeder gespeicherte Behördenwert mitführen sollte

• Rechtsgrundlage mit Fundstelle der Verkündung, nicht nur die URL der Seite, auf der du ihn gelesen hast.
• Gültig-ab und Gültig-bis als eigene Felder, damit Rückrechnungen den Wert des richtigen Tages finden.
• Abrufdatum und Datum der letzten Prüfung gegen die Primärquelle.
• Einen Hinweis, wenn der Wert berichtigt wurde, mit der Fundstelle der Berichtigung.
• Lizenz oder Rechtsstatus der Quelle, damit die Weitergabe an Kunden klar ist.

Wann Selberbauen trotzdem sinnvoll ist

• Du brauchst genau eine Quelle mit stabilem, strukturiertem Format, etwa eine GENESIS-Tabelle für eine Kennzahl.
• Dein Team prüft die Werte ohnehin fachlich, etwa in der Lohnbuchhaltung, und kann Abweichungen sofort einordnen.
• Du brauchst Daten, die kein Datenbestand führt, und nimmst die Pflege bewusst in Kauf.
• Du willst die Daten nur einmal als Momentaufnahme, ohne spätere Berichtigungen nachzuziehen.

Quiz zu den Bruchstellen

Gültig ab, gültig bis: warum der Stichtag zur Zahl gehört

Eine Zahl ohne Stichtag ist nur an einem Tag richtig. Die Pfändungsfreigrenzen ab 01.07.2024 gelten laut Datenbestand bis 30.06.2025, danach löst die Bekanntmachung 2025 sie ab. Wer nur den jeweils neuesten Wert speichert, kann eine Abrechnung für Juni 2024 nicht mehr nachrechnen.

Das ist der Grund, warum die Antworten von Quellenkontor Gültig-ab und Gültig-bis in jeder Antwort mitliefern, wie das Beispiel oben zeigt. Wie du eine Abrechnung mit Werten des richtigen Tages korrigierst, beschreibt der Artikel zur Rückrechnung in der Lohnabrechnung.

Zum Prüfen hat der Datenbestand einen wöchentlichen Lauf, der jede Zahl gegen die Primärquelle liest. Wie dieser Lauf arbeitet und welche Korrekturen er bisher gefunden hat, steht auf der Seite So prüfen wir die Werte.

Prüfliste für deine Behördenanbindung