Upload und Analyse gescannter PDFs

[corinnawaelti]

Diese Challenge basiert auf einem bereits entworfenen KI-Prototypen für den Einsatz im juristischen Umfeld. Dieser ist unter der folgenden Website kostenlos verfügbar: https://iuslex.cloud/.

Der IUS-Prototyp könnte um die Möglichkeit erweitert werden, gescannte juristische Dokumente (z.B. Anklageschriften, Beschwerden, Stellungnahmen, Klageerwiderungen etc.) hochzuladen. Mithilfe von KI-gestützter Analyse könnten diese Dokumente in durchsuchbaren Text umgewandelt und hinsichtlich rechtlicher Grundlagen, relevanter Präzedenzfälle und inhaltlicher Fragen untersucht werden.

[AuroreJenni]

Als Ergänzung zur obigen Beschreibung: Der Prototyp ist eine Kombination aus RAG + LLM, welches rechtliche Fragen des Benutzers auf Basis der Daten in der Datenbank beantwortet und die Datenquellen referenziert. Aktuelle Daten in der Datenbank sind: Fedlex, Belex und Gerichtsurteile der Berner Kantonsgerichte (Obergericht, Verwaltungsgericht, Sozialversicherungsgericht, etc.). Am Hackathon möchten wir diesen Prototypen erweitern. Als Ergänzung zu unserem Team suchen wir Fachexpert*innen (da niemand von uns aus dem Fach ist) und Coders kann man auch nie genug haben ;)

[manmindmachine]

Schaut euch dafür doch unbedingt mal Docling an: https://github.com/docling-project/docling
Die Präsentation auf den AMLD fand ich sehr beeindruckend.

[MirelaElla]

Danke. Das ist auf jeden Fall ein guter Parser. Ich habe das mal ausprobiert (siehe notebook). Es scheint die Überschriften-levels nicht ganz zu erkennen und die Fussnoten werden mit dem falschen Text kombiniert. Das ist ein Problem, das ich auch bei anderen Parsern beobachtet habe. Bestimmt kann man hier noch weiter experimentieren. Wir sind froh um jeden Hinweis!

[quadratecode]

@MirelaElla Der derzeit beste Parser für juristische Dokumente ist meiner Meinung nach das – leider proprietäre – Adobe PDF Extract API. Docling ist aber nicht mehr so weit entfernt, und wohl die beste FOSS-Option.

[MirelaElla]

Umwandlung von PDFs in maschinenlesbare Daten

Viele juristische Texte befinden sich in PDFs. Während PDFs für das menschliche Auge einfach zu lesen sind, sind sie für Maschinen suboptimal. Das stellt eine challenge für KI-gestützte juristische Anwendungen dar, die auf strukturierte, maschinenlesbare Daten angewiesen sind – etwa für Retrieval-Augmented Generation (RAG).
Grosse Unternehmen haben dieses Problem erkannt und investieren viel in proprietäre PDF-Parser. Open-Source-Alternativen hingegen scheitern oft an der Verarbeitung komplexer Layouts in Schweizer Rechtsdokumenten. Daraus ergibt sich die Notwendigkeit eines massgeschneiderten PDF-Parsers, der speziell für den Schweizer Rechtsbereich entwickelt wird. Deshalb schlagen wir diese challenge vor mit zwei Hauptaufgaben:

1. PDF-Parser

Die erste Aufgabe besteht darin, einen Parser zu finden/entwickeln, der juristische PDFs präzise in strukturierte Formate wie XML oder JSON umwandelt. Dabei müssen folgende Aspekte berücksichtigt werden:

• Komplexe Layouts (mehrspaltiger Text, Tabellen, Fussnoten etc.)
• Hierarchische Strukturen (Abschnitte, Paragraphen, Artikel, etc.)
• Extraktion von Metadaten zur besseren Indexierung und Suche (Dokumentname, Seitenzahlen etc.)

2. Verarbeitung gescannter Dokumente

Bei gescannten PDFs ist Optical Character Recognition (OCR) erforderlich, um sie maschinenlesbar zu machen. Hierbei besteht die Challenge darin, die Dokumentstruktur nach der OCR-Umwandlung beizubehalten.

Daten

Für den Hackathon stellen wir eine Auswahl an PDFs bereit, die von Fedlex, Belex und entscheidsuche.ch stammen. Da unser Zugang zu anderen Dokumenttypen begrenzt ist, freuen wir uns über die Unterstützung von juristischen Fachleuten, die uns auf weitere anspruchsvolle Dokumente hinweisen können. Auch haben wir nur wenige gescannte juristische PDFs zur Verfügung, sodass Beiträge in diesem Bereich besonders wertvoll sind. Natürlich sind motivierte Hacker herzlich willkommen im Team! 🚀

[Post-Yves]

Inwiefern wäre auch die Erweiterung um OCR interessant. Im Umfeld der Zahlungsbefehle / deren Digitalisierung besteht aktuell ein grosser Need bei den Ämtern (Muster)?

Die Formulare werden teils maschniell, teils von Hand ausgefüllt und müssen heute überwiegend manuell wiederum digitalisiert und zurück in die Betreibungssoftware zurückgeführt werden. Ergo wäre die Transforamtion der Zahlungsbefehle in eine strukturierte Datenform ein relevante Arbeitserleichterung in einem Wachstumsumfeld mit heute rund 3. Mio Zahlungsbefehlen national.

[MirelaElla]

Die Erweiterung des OCR auf Handschrift klingt spannend. Bin dem auch schon begegnet, aber weiss jetzt nicht wie reliabel das funktioniert. Lohnt sich auf jeden Fall das mal genauer anzuschauen!

[Post-Yves]

Schaffe es am Sonntag wohl erst auf den Nachmittag, würde mich den Gedanken und Diskussionen zum Thema dann aber gerne anschliessen, sofern es aus eurer Sicht passt.

Allenfalls kann ich dazu aus dem Alltag im Post-Kontext noch ein, zwei Inputs beisteuern…