# Websuche und Crawling per MCP-Server für Ihre KI-Agenten > Betreiben Sie den Open-Source-MCP-Server für Websuche und Markdown-Crawling selbst, oder tragen Sie sich für searxNcrawl Cloud ein. searxNcrawl ist ein quelloffener MCP-Server, der KI-Agenten Websuche und sauberes Markdown-Crawling gibt; eine verwaltete Cloud-Version ist geplant. MCP-Server · Websuche · Web-Crawling · Markdown für LLMs · Open Source (MIT) · Entwickelt in Deutschland ## Open Source: Selbst betreiben Kostenlos, MIT-Lizenz. - MCP-Server über STDIO oder HTTP - Suche über SearXNG und/oder You.com - Seiten und ganze Websites als Markdown - Crawling hinter Logins mit gespeicherter Session ## Cloud: Von uns betrieben Geplant, Warteliste offen. - Drop-in-Ersatz für die Firecrawl-API - Ein gehosteter MCP-Endpunkt mit API-Key - Premium-Suche und Stealth-Crawling - Batch-Crawls, Überwachung und Extraktion ```sh uvx searxncrawl ``` ## Von der Suchanfrage zu Markdown in einem Aufruf searxNcrawl sucht über Ihre eigene SearXNG-Instanz und, mit Ihrem eigenen API-Key, über die Such-API von You.com im Web, parallel abgefragt und zu einer Ergebnisliste zusammengeführt. Seiten wandelt es mit Crawl4AI und Playwright in sauberes Markdown ohne doppelte Blöcke um. Es läuft auf Ihrer eigenen Hardware, braucht mit SearXNG keinen API-Key und ist auf [GitHub](https://github.com/DasDigitaleMomentum/searxNcrawl) und [PyPI](https://pypi.org/project/searxncrawl/) veröffentlicht. - Websuche: Ihre eigene SearXNG-Instanz und, optional mit eigenem API-Key, You.com, parallel abgefragt. Die Ergebnisse werden zusammengeführt, ohne Dubletten und je Anbieter gekennzeichnet, gefiltert nach Sprache und Zeitraum. - Seiten-Crawl: Eine oder viele URLs als Markdown oder JSON. Doppelte Blöcke werden entfernt, Links lassen sich entfernen. - Site-Crawl: Ganze Websites mit Tiefen- und Seitenlimit, abgestimmt auf Dokumentationsseiten. - Crawling hinter Logins: Eine Login-Session einmal mit `crawl-capture` erfassen, aus einem Login-Fenster oder einem laufenden Browser, dann hinter dem Login crawlen. - STDIO und HTTP: Anbindung an lokale MCP-Clients oder ein HTTP-Endpunkt mit Host- und CORS-Schutz. - CLI und Python-API: `crawl` und `search` in der Shell, `crawl_page_async` und `crawl_site` im Code. ## So betreiben Sie searxNcrawl Drei Schritte von einer leeren Maschine zu einem Agenten, der sucht und crawlt. 1. Suchanbieter wählen: Betreiben Sie eine eigene SearXNG-Instanz mit aktivierter JSON-Ausgabe, nutzen Sie einen You.com-API-Key oder beides. Crawling funktioniert auch ohne. 2. Bei Ihren Agenten eintragen: Führen Sie `uvx searxncrawl setup` aus. Es findet Claude Code, Codex, Gemini CLI, Cursor, VS Code und Claude Desktop, fragt nach Ihrer SearXNG-URL und einem optionalen You.com-API-Key und sichert jede Datei, bevor es sie ändert. 3. Suchen und crawlen: Ihr Agent ruft `search`, `crawl` oder `crawl_site` auf. Chromium installiert sich beim ersten Crawl selbst. Andere Clients nutzen die MCP-Konfiguration unten. ### uvx ``` # Register it with your coding agents uvx searxncrawl setup # or run the MCP server yourself (STDIO) export SEARXNG_URL=http://localhost:8888 uvx searxncrawl # or serve it over HTTP uvx searxncrawl --transport http --port 9555 ``` ### CLI ``` # Crawl a page crawl https://docs.example.com # Crawl a site with limits crawl https://docs.example.com --site --max-depth 2 --max-pages 10 -o docs/ # Search the configured providers search "python tutorials" --max-results 5 ``` ### Python ``` from crawler import crawl_page_async, crawl_site # One page doc = await crawl_page_async("https://docs.example.com/intro") print(doc.markdown) # A whole site result = crawl_site("https://docs.example.com", max_depth=2, max_pages=10) for doc in result.documents: print(doc.status, doc.final_url) ``` ### Docker ``` # MCP server with Chromium included cp .env.example .env # set SEARXNG_URL, YDC_API_KEY or both docker compose up --build # MCP endpoint http://localhost:9555/mcp ``` ## MCP-Konfiguration Ein Konfigurationsblock: Tragen Sie ihn in Ihren MCP-Client ein und verweisen Sie auf Ihre SearXNG-Instanz. ```json { "mcpServers": { "crawler": { "command": "uvx", "args": ["searxncrawl"], "env": { "SEARXNG_URL": "http://your-searxng:8888" } } } } ``` ### MCP-Clients Er läuft dort, wo Ihre Agenten laufen: STDIO für lokale Clients, HTTP für entfernte. Claude Code, VS Code, Zed, opencode, Jeder STDIO- oder HTTP-MCP-Client. ## searxNcrawl Cloud (Geplant) Die quelloffenen Werkzeuge als verwalteter Dienst, dazu die Teile, die sich schwer selbst betreiben lassen: eine Firecrawl-kompatible API, Premium-Suche und -Crawling, Warteschlangen, Webhooks, Überwachung und Extraktion. - Drop-in für die Firecrawl-API: Eine Firecrawl-kompatible REST-API für scrape, crawl, map und search. Bestehende Firecrawl-SDKs und -Integrationen nutzen searxNcrawl, indem Sie nur die Base-URL ändern. Auch für den Open-Source-Server geplant. - Gehosteter MCP-Endpunkt: Eine HTTPS-Adresse und ein API-Key. Funktioniert mit jedem MCP-Client, ohne eigenes SearXNG, eigenen Browser oder Server. - Suche mit Seiteninhalt: Ein Aufruf liefert die Suchergebnisse zusammen mit dem Markdown jeder Ergebnisseite. Baut auf den Tools search und crawl auf. - Premium-Suche: Mehrere Suchquellen, auch kommerzielle Such-APIs, parallel abgefragt, zusammengeführt, ohne Dubletten und je Quelle gekennzeichnet, mit Ausweichquelle, wenn eine ausfällt. Baut auf der Suche über mehrere Anbieter auf, im Open-Source-Projekt veröffentlicht mit v0.32. - Premium-Crawling: Ein gehärteter Browser mit realistischen Fingerprints und wechselnden Residential Proxies, für Websites, die Crawler aus Rechenzentren blockieren. - Batch-Crawls mit Webhooks: Viele URLs oder ganze Websites in die Warteschlange stellen und einen signierten Webhook erhalten, sobald die Ergebnisse bereitstehen. - Crawling hinter Logins: Login-Sessions verschlüsselt für Ihr Team gespeichert, damit Agenten geschützte Seiten crawlen, ohne Session-Dateien auf Laptops. Baut auf crawl-capture und Session-Dateien auf. - Änderungs-Überwachung: Seiten regelmäßig prüfen, das Markdown vergleichen und bei einer Änderung benachrichtigt werden. - Strukturierte Extraktion: Ein JSON Schema mit einer URL senden und typisiertes JSON statt Markdown erhalten. Geplanter Funktionsumfang. Umfang und Zeitplan können sich bis zum Start ändern; wer auf der Warteliste steht, erfährt es zuerst. Firecrawl ist eine Marke ihres Inhabers; searxNcrawl steht in keiner Verbindung dazu. ## Open Source oder Cloud Dieselben Werkzeuge und dasselbe Ausgabeformat. Der Unterschied ist, wer die Infrastruktur betreibt. | Funktion | Open Source | Cloud | | --- | --- | --- | | Firecrawl-Kompatibilität: Firecrawl-kompatible REST-API | Nicht enthalten: Auch für Open Source geplant | Geplant: Base-URL ändern | | Einstieg: Einrichtung | Verfügbar: `uvx searxncrawl setup` und SearXNG oder You.com | Geplant: Ein API-Key, keine Installation | | Einstieg: MCP-Tools | Verfügbar: search, crawl, crawl_site | Geplant: Dieselben Tools | | Einstieg: Wer betreibt es | Verfügbar: Sie: Server, SearXNG, Browser | Geplant: Wir | | Suche: Suchquellen | Verfügbar: Ihr SearXNG und/oder You.com, zusammengeführt | Geplant: Mehrere Quellen, zusammengeführt | | Suche: Ausweichquelle bei Ausfall | Teilweise: Der andere Anbieter antwortet weiter | Geplant: Automatisch | | Suche: Kommerzielle Such-APIs | Verfügbar: You.com, mit eigenem API-Key | Geplant: In der Premium-Suche enthalten | | Suche: Suche mit Seiteninhalt | Teilweise: Zwei Aufrufe: suchen, dann crawlen | Geplant: Ein Aufruf | | Crawling: Seiten und Websites als Markdown | Verfügbar: Mit Tiefen- und Seitenlimit | Geplant: Dieselbe Ausgabe | | Crawling: Crawling hinter Logins | Verfügbar: Lokale Session-Datei aus crawl-capture | Geplant: Verschlüsselte Sessions pro Team | | Crawling: Batch-Crawls | Teilweise: Synchron, auf Ihrer Maschine | Geplant: In der Warteschlange, mit signierten Webhooks | | Crawling: Websites, die Crawler blockieren | Nicht enthalten: Standard-Chromium aus Ihrem Netz | Geplant: Stealth-Browser, Residential Proxies | | Automatisierung: Änderungs-Überwachung | Nicht enthalten: Nicht enthalten | Geplant: Zeitgesteuert, mit Benachrichtigung | | Automatisierung: Strukturierte Extraktion | Nicht enthalten: Nicht enthalten | Geplant: JSON Schema zu typisiertem JSON | | Unterstützung: Hilfe | Verfügbar: GitHub-Issues | Geplant: Support per E-Mail | ## Auf die Warteliste Hinterlassen Sie Ihre E-Mail-Adresse, und wir benachrichtigen Sie, sobald der Early Access zu searxNcrawl Cloud öffnet. Auf die Warteliste: - Eine E-Mail zum Start - Jederzeit widerrufbar - Keine Weitergabe an Dritte ## Häufige Fragen ### Was ist searxNcrawl? searxNcrawl ist ein quelloffener MCP-Server, der KI-Agenten Websuche und sauberes Markdown-Crawling gibt; eine verwaltete Cloud-Version ist geplant. Es sucht über Ihre eigene SearXNG-Instanz und, optional, über die You.com-API, führt die Ergebnisse zusammen, wandelt Webseiten in Markdown ohne doppelte Blöcke um, steht unter der MIT-Lizenz und wird von Das Digitale Momentum gepflegt. ### Wie installiere ich searxNcrawl? Führen Sie `uvx searxncrawl setup` aus. Es trägt den MCP-Server bei Claude Code, Codex, Gemini CLI, Cursor, VS Code und Claude Desktop ein, fragt nach Ihrer SearXNG-URL und einem optionalen You.com-API-Key, zeigt jede Änderung vor dem Anwenden und sichert jede Datei, die es anfasst. Um den Server von Hand zu starten, führen Sie `uvx searxncrawl` mit gesetztem `SEARXNG_URL` und/oder `YDC_API_KEY` aus. Chromium wird beim ersten Crawl heruntergeladen. Installationen mit Docker, pip und uv beschreibt die [Installationsanleitung auf GitHub](https://github.com/DasDigitaleMomentum/searxNcrawl/blob/main/docs/usage/installation.md). ### Kann searxNcrawl Firecrawl ersetzen? Das ist der Plan: Eine Firecrawl-kompatible REST-API für scrape, crawl, map und search ist für den Open-Source-Server und für searxNcrawl Cloud geplant, sodass bestehende Firecrawl-SDKs mit geänderter Base-URL funktionieren. Heute bietet searxNcrawl die MCP-Tools search, crawl und crawl_site, eine CLI und eine Python-API. ### Welche MCP-Clients funktionieren mit searxNcrawl? Jeder MCP-Client. searxNcrawl unterstützt den STDIO-Transport für lokale Clients wie Claude Code, VS Code, Zed und opencode sowie den HTTP-Transport für entfernte und browserbasierte Clients. ### Brauche ich einen API-Key? Nicht mit SearXNG. Die Open-Source-Version braucht keinen API-Key und kostet keine Nutzungsgebühren, wenn sie über Ihre eigene SearXNG-Instanz mit aktivierter JSON-Ausgabe sucht. Die Suche über You.com ist optional: Sie braucht Ihren eigenen You.com-API-Key (`YDC_API_KEY`), und diese Anfragen gehen an You.com in den USA. ### Was ist searxNcrawl Cloud? searxNcrawl Cloud ist eine geplante verwaltete Version: ein gehosteter MCP-Endpunkt mit Suche und Seiteninhalt in einem Aufruf, Suche über mehrere Quellen, Batch-Crawls mit Webhooks, Crawling hinter Logins, Änderungs-Überwachung und strukturierter Extraktion. Die [Warteliste](https://www.searxncrawl.io/de/#waitlist) ist offen. ### Bleibt die Open-Source-Version kostenlos? Ja. Das Open-Source-Projekt searxNcrawl bleibt unter der MIT-Lizenz und kostenlos im Eigenbetrieb. Die Cloud-Version ergänzt eine verwaltete Infrastruktur und baut auf dem Open-Source-Projekt auf. ## Entwickelt von DDM searxNcrawl wird von DDM, der Das Digitale Momentum GmbH & Co. KG, entwickelt und gepflegt, einem Softwareunternehmen aus Much bei Köln. Es ist der Nachfolger des früheren Projekts `searxng-mcp`. Lesen Sie, [wer searxNcrawl baut](https://www.searxncrawl.io/de/ueber-uns/), oder [nehmen Sie Kontakt auf](https://www.searxncrawl.io/de/kontakt/). - [searxNcrawl bei Das Digitale Momentum](https://www.das-digitale-momentum.de/en/open-source/#searxncrawl) - [Alle Open-Source-Projekte von Das Digitale Momentum](https://github.com/DasDigitaleMomentum) searxNcrawl ist ein Open-Source-Projekt der Das Digitale Momentum GmbH & Co. KG, Much. Aktualisiert: 2026-10-15 --- Quelle: