Chatbot für die DNB - Ein Protoyp

Die Idee

In einem Verzeichnis data liegen die Benutzungsordnung, Leitfäden und Hinweise für die Benutzenden. Über einen Chatbot lassen sich einfache Fragen zur Nutzung der Bibliothek stellen und die dazugehörigen Antworten erhalten.

Vorbereitungen

poetry new bot
poetry add llama-index llama-index-embeddings-huggingface llama-index-llms-ollama streamlit

Aufruf des ChatBots

cd bot
poetry run streamlit run bot/start.py

Beim ersten Aufruf werden die Vektoren lokal gesichert, Modelle von z.B. pytorch installiert und außerdem Embeddings von HuggingFace heruntergeladen. Das dauert eine Weile...