Deepset-KI erklärt: Unternehmen und Haystack-Framework

Wer nach „Deepset-KI“ sucht, meint fast immer eines von zwei Dingen: das Berliner Unternehmen deepset (Eigenschreibweise klein) oder dessen Open-Source-Framework Haystack. Ein eigenständiges Produkt namens „Deepset-KI“ gibt es nicht. Dieser Text ordnet die Begriffe, zeigt, wofür Haystack konkret gut ist, und führt Sie mit einem lauffähigen Python-Beispiel zum ersten eigenen Suchsystem.

deepset: das Unternehmen hinter Haystack

deepset ist ein deutsches KI-Unternehmen, gegründet von Milos Rusic, Malte Pietsch und Timo Möller. Die Anfänge von Haystack reichen bis 2019 zurück. Das Framework löste zunächst ein klassisches Problem der Sprachverarbeitung: Wie durchsucht man große Mengen unstrukturierter Texte so, dass ein System die passende Textstelle findet und eine präzise Antwort formuliert – statt nur eine Trefferliste auszugeben?

Aus dieser „Neural Search“-Wurzel ist ein Framework geworden, mit dem heute komplette KI-Anwendungen gebaut werden: Retrieval-Augmented Generation (RAG), semantische Suche, Frage-Antwort-Systeme, Chatbots und autonome Agenten. deepset finanziert die Entwicklung unter anderem über kommerzielle Angebote, die auf dem quelloffenen Kern aufsetzen (dazu unten mehr).

Wichtig zur Einordnung: deepset baut kein eigenes Sprachmodell wie GPT oder Claude. Das Unternehmen liefert die Orchestrierung – also den Rahmen, der Modelle, Datenquellen und Suchlogik zu einer produktionsreifen Anwendung verbindet. Welches Modell darin arbeitet, entscheiden Sie.

Was Haystack ist – und was nicht

Haystack ist ein Python-Framework unter der Apache-2.0-Lizenz. Sie beschreiben Ihre Anwendung als Pipeline aus einzelnen Komponenten, die Sie explizit miteinander verbinden. Typische Bausteine:

• Retriever holen relevante Dokumente aus einem Datenspeicher.
• Document Stores halten die Daten – im Speicher zum Testen oder in einer Vektordatenbank für den Produktivbetrieb.
• Generatoren rufen ein Sprachmodell auf und formulieren die Antwort.
• Prompt Builder, Router, Embedder, Ranker und weitere Komponenten steuern dazwischen den Datenfluss.

Der entscheidende Unterschied zu einem simplen „Frag das Modell“-Ansatz: Jede Komponente ist einzeln testbar, austauschbar und nachvollziehbar. Sie sehen, welche Dokumente in den Prompt geflossen sind – das reduziert Halluzinationen und macht Fehler auffindbar. Wie ein solches Retrieval-System im Verbund mit neuronalen Netzen funktioniert, erklärt der Beitrag Wie viele Schichten gibt es beim Deep Learning.

Haystack 1.x und 2.x nicht verwechseln

Anfang 2024 hat deepset mit Haystack 2.0 eine komplette Neufassung veröffentlicht. Sie ist nicht abwärtskompatibel zur 1.x-Reihe. Das schlägt sich direkt in der Installation nieder – und ist die häufigste Fehlerquelle bei Einsteigern:

# aktuelle 2.x-Reihe
pip install haystack-ai

# NICHT: pip install haystack  (ein völlig anderes, fremdes Paket)
# alte 1.x-Reihe hieß: pip install farm-haystack

Achten Sie in Tutorials also immer darauf, ob sie sich auf haystack-ai (2.x) oder das alte farm-haystack (1.x) beziehen – Codebeispiele der beiden Versionen lassen sich nicht mischen. Die 2.x-Reihe wird laufend weiterentwickelt; die konkrete Versionsnummer sollten Sie vor Projektstart auf der Release-Seite prüfen.

Ein minimales RAG-System in Haystack 2.x

Das folgende Beispiel baut eine kleine Pipeline: Ein Retriever sucht passende Dokumente, ein Prompt Builder setzt daraus einen Prompt zusammen, ein Generator formuliert die Antwort. Es ist bewusst reduziert und läuft mit Dokumenten im Arbeitsspeicher.

from haystack import Pipeline
from haystack.utils import Secret
from haystack.components.builders import PromptBuilder
from haystack.components.generators import OpenAIGenerator
from haystack.components.retrievers.in_memory import InMemoryBM25Retriever
from haystack.document_stores.in_memory import InMemoryDocumentStore

store = InMemoryDocumentStore()
# store.write_documents([...])  # hier Ihre Dokumente einfügen

template = """
Beantworte die Frage ausschließlich anhand des Kontexts.
Kontext:
{% for doc in documents %}{{ doc.content }}\n{% endfor %}
Frage: {{ query }}
"""

pipe = Pipeline()
pipe.add_component("retriever", InMemoryBM25Retriever(document_store=store))
pipe.add_component("prompt", PromptBuilder(template=template))
pipe.add_component("llm", OpenAIGenerator(api_key=Secret.from_env_var("OPENAI_API_KEY")))

pipe.connect("retriever.documents", "prompt.documents")
pipe.connect("prompt.prompt", "llm.prompt")

frage = "Worum geht es in den Dokumenten?"
result = pipe.run({"retriever": {"query": frage}, "prompt": {"query": frage}})
print(result["llm"]["replies"][0])

Drei Details, an denen viele scheitern:

• API-Schlüssel als Umgebungsvariable. Secret.from_env_var("OPENAI_API_KEY") erwartet, dass die Variable gesetzt ist. Fehlt sie, bricht der Lauf mit einem Authentifizierungsfehler ab. Setzen Sie den Schlüssel vorher (export OPENAI_API_KEY=... bzw. unter Windows setx), nie im Code hart hinterlegen.
• Verbindungen müssen typisch passen. connect("retriever.documents", "prompt.documents") verbindet Ausgang und Eingang namentlich. Stimmen die Namen oder Typen nicht, meldet Haystack den Fehler schon beim Aufbau der Pipeline – nicht erst zur Laufzeit.
• Modellwahl ist offen. Statt OpenAIGenerator können Sie einen Generator für Anthropic, Cohere oder ein lokales Hugging-Face-Modell einsetzen. Der Rest der Pipeline bleibt gleich..

Für den Produktivbetrieb tauschen Sie den InMemoryDocumentStore gegen eine echte Vektordatenbank – Haystack integriert unter anderem Elasticsearch, OpenSearch, Weaviate, Pinecone und Qdrant. Welche Hardware ein solcher Betrieb mit eigenen Embeddings verlangt, behandelt Welche Grafikkarte für Deep Learning.

deepset Studio und die Enterprise-Plattform

Rund um das Framework bietet deepset zwei Ebenen an:

• deepset Studio ist eine visuelle Entwicklungsumgebung, in der Sie Haystack-Pipelines per Drag-and-drop zusammenstecken, testen und als Code exportieren. Das senkt die Einstiegshürde, weil Sie die Komponentenlogik sehen, bevor Sie Python schreiben. Studio ist kostenlos nutzbar.

• Die Enterprise-Plattform (in älteren Quellen als „deepset Cloud“ oder „deepset AI Platform“ bezeichnet) ist der kommerzielle Betriebslayer. Sie ergänzt den Open-Source-Kern um Deployment, Evaluierung, Monitoring und Zugriffssteuerung – also die Funktionen, die aus einem Prototyp ein steuerbares Unternehmenssystem machen..

Für private Projekte oder einen Prototyp genügt das quelloffene haystack-ai vollständig; die kommerziellen Ebenen adressieren Teams mit Governance- und Skalierungsbedarf.

Wann sich Haystack lohnt – und wann nicht

Haystack spielt seine Stärke aus, sobald eine Anwendung eigene Daten einbeziehen soll: interne Dokumente durchsuchbar machen, einen Support-Bot mit Ihrem Handbuchwissen füttern, Verträge oder Tickets automatisch klassifizieren. Der modulare Aufbau zahlt sich aus, wenn Sie einzelne Teile später ohne Komplettumbau ersetzen wollen. Welche Rolle solche KI-Systeme in der Auswertung großer Datenmengen spielen, vertieft Welche Rolle spielt künstliche Intelligenz in der Datenanalyse.

Für eine simple Chat-Integration, bei der ein einzelner Modellaufruf reicht, ist ein ausgewachsenes Pipeline-Framework dagegen Überbau. Und Haystack ist kein fertiges Produkt: Sie brauchen Python-Kenntnisse und müssen Datenquelle, Modell und Prompt selbst zusammenstellen.

FAQ

Ist Deepset-KI dasselbe wie Haystack? Nicht ganz. „Deepset-KI“ ist kein offizieller Produktname. Gemeint ist entweder das Unternehmen deepset oder dessen Framework Haystack. Haystack ist das konkrete Open-Source-Werkzeug.

Ist Haystack kostenlos? Der Kern ist unter Apache 2.0 quelloffen und kostenlos, auch kommerziell nutzbar. Kosten entstehen erst durch genutzte Modelle (etwa API-Gebühren von OpenAI oder Anthropic), durch Infrastruktur und optional durch die kommerzielle Enterprise-Plattform von deepset.

Haystack oder LangChain? Beide orchestrieren LLM-Anwendungen. Haystack setzt stärker auf explizite, typgeprüfte Pipelines und einen klaren Fokus auf Suche und RAG in Produktion; LangChain ist breiter und flexibler, aber weniger strikt. Für gut wartbare Such- und RAG-Systeme ist Haystack oft die aufgeräumtere Wahl – die endgültige Entscheidung hängt vom Team und den vorhandenen Integrationen ab.