Heute Open Source, Cloud geplant v0.32

Websuche und Crawling per MCP-Server für Ihre KI-Agenten

Q: Wie installiere ich searxNcrawl?

Führen Sie uvx searxncrawl setup aus. Es trägt den MCP-Server bei Claude Code, Codex, Gemini CLI, Cursor, VS Code und Claude Desktop ein, fragt nach Ihrer SearXNG-URL und einem optionalen You.com-API-Key, zeigt jede Änderung vor dem Anwenden und sichert jede Datei, die es anfasst. Um den Server von Hand zu starten, führen Sie uvx searxncrawl mit gesetztem SEARXNG_URL und/oder YDC_API_KEY aus. Chromium wird beim ersten Crawl heruntergeladen. Installationen mit Docker, pip und uv beschreibt die Installationsanleitung auf GitHub.

searxNcrawl ist ein quelloffener MCP-Server, der KI-Agenten Websuche und sauberes Markdown-Crawling gibt; eine verwaltete Cloud-Version ist geplant.

Open Source

Selbst betreiben

Kostenlos MIT-Lizenz

MCP-Server über STDIO oder HTTP
Suche über SearXNG und/oder You.com
Seiten und ganze Websites als Markdown
Crawling hinter Logins mit gespeicherter Session

Quellcode auf GitHub

Cloud

Von uns betrieben

Geplant Warteliste offen

Drop-in-Ersatz für die Firecrawl-API
Ein gehosteter MCP-Endpunkt mit API-Key
Premium-Suche und Stealth-Crawling
Batch-Crawls, Überwachung und Extraktion

Auf die Warteliste Geplante Funktionen ansehen

MCP-Server
Websuche
Web-Crawling
Markdown für LLMs
Open Source (MIT)
Entwickelt in Deutschland

Interaktive Vorschau

Die Vorschau zeigt Beispielausgaben in Ihrem Browser. Keine Anfrage verlässt die Seite.

Gebaut für Agenten, die frischen, sauberen Webkontext brauchen

3MCP-Tools: search, crawl, crawl_site

MITOpen-Source-Lizenz

0API-Keys mit eigenem SearXNG

1Befehl zum Start mit uvx

Open Source

Von der Suchanfrage zu Markdown in einem Aufruf

searxNcrawl sucht über Ihre eigene SearXNG-Instanz und, mit Ihrem eigenen API-Key, über die Such-API von You.com im Web, parallel abgefragt und zu einer Ergebnisliste zusammengeführt. Seiten wandelt es mit Crawl4AI und Playwright in sauberes Markdown ohne doppelte Blöcke um. Es läuft auf Ihrer eigenen Hardware, braucht mit SearXNG keinen API-Key und ist auf GitHub und PyPI veröffentlicht.

Websuche

Ihre eigene SearXNG-Instanz und, optional mit eigenem API-Key, You.com, parallel abgefragt. Die Ergebnisse werden zusammengeführt, ohne Dubletten und je Anbieter gekennzeichnet, gefiltert nach Sprache und Zeitraum.

Seiten-Crawl

Eine oder viele URLs als Markdown oder JSON. Doppelte Blöcke werden entfernt, Links lassen sich entfernen.

Site-Crawl

Ganze Websites mit Tiefen- und Seitenlimit, abgestimmt auf Dokumentationsseiten.

Crawling hinter Logins

Eine Login-Session einmal mit crawl-capture erfassen, aus einem Login-Fenster oder einem laufenden Browser, dann hinter dem Login crawlen.

STDIO und HTTP

Anbindung an lokale MCP-Clients oder ein HTTP-Endpunkt mit Host- und CORS-Schutz.

CLI und Python-API

crawl und search in der Shell, crawl_page_async und crawl_site im Code.

Schnellstart

So betreiben Sie searxNcrawl

Drei Schritte von einer leeren Maschine zu einem Agenten, der sucht und crawlt.

Suchanbieter wählen
Betreiben Sie eine eigene SearXNG-Instanz mit aktivierter JSON-Ausgabe, nutzen Sie einen You.com-API-Key oder beides. Crawling funktioniert auch ohne.
Bei Ihren Agenten eintragen
Führen Sie uvx searxncrawl setup aus. Es findet Claude Code, Codex, Gemini CLI, Cursor, VS Code und Claude Desktop, fragt nach Ihrer SearXNG-URL und einem optionalen You.com-API-Key und sichert jede Datei, bevor es sie ändert.
Suchen und crawlen
Ihr Agent ruft search, crawl oder crawl_site auf. Chromium installiert sich beim ersten Crawl selbst. Andere Clients nutzen die MCP-Konfiguration unten.

# Register it with your coding agents
uvx searxncrawl setup

# or run the MCP server yourself (STDIO)
export SEARXNG_URL=http://localhost:8888
uvx searxncrawl

# or serve it over HTTP
uvx searxncrawl --transport http --port 9555

MCP tools

search      query to merged results per provider
crawl       URLs to Markdown or JSON
crawl_site  site to one Markdown document per page

# Crawl a page
crawl https://docs.example.com

# Crawl a site with limits
crawl https://docs.example.com --site --max-depth 2 --max-pages 10 -o docs/

# Search the configured providers
search "python tutorials" --max-results 5

docs/
├── index.md
├── getting-started.md
├── guides/
│   ├── auth.md
│   └── deploy.md
└── api.md

from crawler import crawl_page_async, crawl_site

# One page
doc = await crawl_page_async("https://docs.example.com/intro")
print(doc.markdown)

# A whole site
result = crawl_site("https://docs.example.com", max_depth=2, max_pages=10)
for doc in result.documents:
    print(doc.status, doc.final_url)

# Introduction

Welcome to Example Docs. This guide
walks you through installation,
configuration and your first request.

200 https://docs.example.com/
200 https://docs.example.com/intro

# MCP server with Chromium included
cp .env.example .env   # set SEARXNG_URL, YDC_API_KEY or both
docker compose up --build

# MCP endpoint
http://localhost:9555/mcp

{
  "mcpServers": {
    "crawler": {
      "url": "http://localhost:9555/mcp"
    }
  }
}

Für Agenten

MCP-Konfiguration

Ein Konfigurationsblock: Tragen Sie ihn in Ihren MCP-Client ein und verweisen Sie auf Ihre SearXNG-Instanz.

{
  "mcpServers": {
    "crawler": {
      "command": "uvx",
      "args": ["searxncrawl"],
      "env": { "SEARXNG_URL": "http://your-searxng:8888" }
    }
  }
}

Alle MCP-Konfigurationen

MCP-Clients

Er läuft dort, wo Ihre Agenten laufen: STDIO für lokale Clients, HTTP für entfernte.

Claude Code
VS Code
Zed
opencode
Jeder STDIO- oder HTTP-MCP-Client

Dokumentation des MCP-Servers

Cloud Geplant

searxNcrawl Cloud

Die quelloffenen Werkzeuge als verwalteter Dienst, dazu die Teile, die sich schwer selbst betreiben lassen: eine Firecrawl-kompatible API, Premium-Suche und -Crawling, Warteschlangen, Webhooks, Überwachung und Extraktion.

Drop-in für die Firecrawl-API

Eine Firecrawl-kompatible REST-API für scrape, crawl, map und search. Bestehende Firecrawl-SDKs und -Integrationen nutzen searxNcrawl, indem Sie nur die Base-URL ändern.

Auch für den Open-Source-Server geplant.

Gehosteter MCP-Endpunkt

Eine HTTPS-Adresse und ein API-Key. Funktioniert mit jedem MCP-Client, ohne eigenes SearXNG, eigenen Browser oder Server.

Suche mit Seiteninhalt

Ein Aufruf liefert die Suchergebnisse zusammen mit dem Markdown jeder Ergebnisseite.

Baut auf den Tools search und crawl auf.

Premium-Suche

Mehrere Suchquellen, auch kommerzielle Such-APIs, parallel abgefragt, zusammengeführt, ohne Dubletten und je Quelle gekennzeichnet, mit Ausweichquelle, wenn eine ausfällt.

Baut auf der Suche über mehrere Anbieter auf, im Open-Source-Projekt veröffentlicht mit v0.32.

Premium-Crawling

Ein gehärteter Browser mit realistischen Fingerprints und wechselnden Residential Proxies, für Websites, die Crawler aus Rechenzentren blockieren.

Batch-Crawls mit Webhooks

Viele URLs oder ganze Websites in die Warteschlange stellen und einen signierten Webhook erhalten, sobald die Ergebnisse bereitstehen.

Crawling hinter Logins

Login-Sessions verschlüsselt für Ihr Team gespeichert, damit Agenten geschützte Seiten crawlen, ohne Session-Dateien auf Laptops.

Baut auf crawl-capture und Session-Dateien auf.

Änderungs-Überwachung

Seiten regelmäßig prüfen, das Markdown vergleichen und bei einer Änderung benachrichtigt werden.

Strukturierte Extraktion

Ein JSON Schema mit einer URL senden und typisiertes JSON statt Markdown erhalten.

Geplanter Funktionsumfang. Umfang und Zeitplan können sich bis zum Start ändern; wer auf der Warteliste steht, erfährt es zuerst. Firecrawl ist eine Marke ihres Inhabers; searxNcrawl steht in keiner Verbindung dazu.

Vergleich

Open Source oder Cloud

Dieselben Werkzeuge und dasselbe Ausgabeformat. Der Unterschied ist, wer die Infrastruktur betreibt.

Open Source und Cloud im Vergleich, nach Funktion
Funktion Verfügbar Teilweise Geplant Nicht enthalten	Open SourceSelbst betreibenKostenlos, MIT-Lizenz	CloudVon uns betriebenGeplant, Warteliste offenAuf die Warteliste
Firecrawl-Kompatibilität
Firecrawl-kompatible REST-API	Nicht enthalten: Auch für Open Source geplant	Geplant: Base-URL ändern
Einstieg
Einrichtung	Verfügbar: `uvx searxncrawl setup` und SearXNG oder You.com	Geplant: Ein API-Key, keine Installation
MCP-Tools	Verfügbar: search, crawl, crawl_site	Geplant: Dieselben Tools
Wer betreibt es	Verfügbar: Sie: Server, SearXNG, Browser	Geplant: Wir
Suche
Suchquellen	Verfügbar: Ihr SearXNG und/oder You.com, zusammengeführt	Geplant: Mehrere Quellen, zusammengeführt
Ausweichquelle bei Ausfall	Teilweise: Der andere Anbieter antwortet weiter	Geplant: Automatisch
Kommerzielle Such-APIs	Verfügbar: You.com, mit eigenem API-Key	Geplant: In der Premium-Suche enthalten
Suche mit Seiteninhalt	Teilweise: Zwei Aufrufe: suchen, dann crawlen	Geplant: Ein Aufruf
Crawling
Seiten und Websites als Markdown	Verfügbar: Mit Tiefen- und Seitenlimit	Geplant: Dieselbe Ausgabe
Crawling hinter Logins	Verfügbar: Lokale Session-Datei aus crawl-capture	Geplant: Verschlüsselte Sessions pro Team
Batch-Crawls	Teilweise: Synchron, auf Ihrer Maschine	Geplant: In der Warteschlange, mit signierten Webhooks
Websites, die Crawler blockieren	Nicht enthalten: Standard-Chromium aus Ihrem Netz	Geplant: Stealth-Browser, Residential Proxies
Automatisierung
Änderungs-Überwachung	Nicht enthalten: Nicht enthalten	Geplant: Zeitgesteuert, mit Benachrichtigung
Strukturierte Extraktion	Nicht enthalten: Nicht enthalten	Geplant: JSON Schema zu typisiertem JSON
Unterstützung
Hilfe	Verfügbar: GitHub-Issues	Geplant: Support per E-Mail

Cloud Early Access

Auf die Warteliste

Hinterlassen Sie Ihre E-Mail-Adresse, und wir benachrichtigen Sie, sobald der Early Access zu searxNcrawl Cloud öffnet.

Eine E-Mail zum Start
Jederzeit widerrufbar
Keine Weitergabe an Dritte

Geschäftliche E-Mail-Adresse Ihre Rolle (optional) Was Sie bauen (optional)

FAQ

Häufige Fragen

Was ist searxNcrawl?

searxNcrawl ist ein quelloffener MCP-Server, der KI-Agenten Websuche und sauberes Markdown-Crawling gibt; eine verwaltete Cloud-Version ist geplant. Es sucht über Ihre eigene SearXNG-Instanz und, optional, über die You.com-API, führt die Ergebnisse zusammen, wandelt Webseiten in Markdown ohne doppelte Blöcke um, steht unter der MIT-Lizenz und wird von Das Digitale Momentum gepflegt.

Wie installiere ich searxNcrawl?

Führen Sie uvx searxncrawl setup aus. Es trägt den MCP-Server bei Claude Code, Codex, Gemini CLI, Cursor, VS Code und Claude Desktop ein, fragt nach Ihrer SearXNG-URL und einem optionalen You.com-API-Key, zeigt jede Änderung vor dem Anwenden und sichert jede Datei, die es anfasst. Um den Server von Hand zu starten, führen Sie uvx searxncrawl mit gesetztem SEARXNG_URL und/oder YDC_API_KEY aus. Chromium wird beim ersten Crawl heruntergeladen. Installationen mit Docker, pip und uv beschreibt die Installationsanleitung auf GitHub.

Kann searxNcrawl Firecrawl ersetzen?

Das ist der Plan: Eine Firecrawl-kompatible REST-API für scrape, crawl, map und search ist für den Open-Source-Server und für searxNcrawl Cloud geplant, sodass bestehende Firecrawl-SDKs mit geänderter Base-URL funktionieren. Heute bietet searxNcrawl die MCP-Tools search, crawl und crawl_site, eine CLI und eine Python-API.

Welche MCP-Clients funktionieren mit searxNcrawl?

Jeder MCP-Client. searxNcrawl unterstützt den STDIO-Transport für lokale Clients wie Claude Code, VS Code, Zed und opencode sowie den HTTP-Transport für entfernte und browserbasierte Clients.

Brauche ich einen API-Key?

Nicht mit SearXNG. Die Open-Source-Version braucht keinen API-Key und kostet keine Nutzungsgebühren, wenn sie über Ihre eigene SearXNG-Instanz mit aktivierter JSON-Ausgabe sucht. Die Suche über You.com ist optional: Sie braucht Ihren eigenen You.com-API-Key (YDC_API_KEY), und diese Anfragen gehen an You.com in den USA.

Was ist searxNcrawl Cloud?

searxNcrawl Cloud ist eine geplante verwaltete Version: ein gehosteter MCP-Endpunkt mit Suche und Seiteninhalt in einem Aufruf, Suche über mehrere Quellen, Batch-Crawls mit Webhooks, Crawling hinter Logins, Änderungs-Überwachung und strukturierter Extraktion. Die Warteliste ist offen.

Bleibt die Open-Source-Version kostenlos?

Ja. Das Open-Source-Projekt searxNcrawl bleibt unter der MIT-Lizenz und kostenlos im Eigenbetrieb. Die Cloud-Version ergänzt eine verwaltete Infrastruktur und baut auf dem Open-Source-Projekt auf.

DDMsearxNcrawl

Entwickelt in Deutschland

Entwickelt von DDM

searxNcrawl wird von DDM, der Das Digitale Momentum GmbH & Co. KG, entwickelt und gepflegt, einem Softwareunternehmen aus Much bei Köln. Es ist der Nachfolger des früheren Projekts searxng-mcp. Lesen Sie, wer searxNcrawl baut, oder nehmen Sie Kontakt auf.

searxNcrawl bei Das Digitale Momentum Alle Open-Source-Projekte von Das Digitale Momentum

Geben Sie Ihren Agenten das offene Web

Auf die Cloud-Warteliste

Websuche und Crawling per MCP-Server für Ihre KI-Agenten

Selbst betreiben

Von uns betrieben

Von der Suchanfrage zu Markdown in einem Aufruf

Websuche

Seiten-Crawl

Site-Crawl

Crawling hinter Logins

STDIO und HTTP

CLI und Python-API

So betreiben Sie searxNcrawl

Suchanbieter wählen

Bei Ihren Agenten eintragen

Suchen und crawlen

MCP-Konfiguration

MCP-Clients

searxNcrawl Cloud

Drop-in für die Firecrawl-API

Gehosteter MCP-Endpunkt

Suche mit Seiteninhalt

Premium-Suche

Premium-Crawling

Batch-Crawls mit Webhooks

Crawling hinter Logins

Änderungs-Überwachung

Strukturierte Extraktion

Open Source oder Cloud

Auf die Warteliste

Häufige Fragen

Was ist searxNcrawl?

Wie installiere ich searxNcrawl?

Kann searxNcrawl Firecrawl ersetzen?

Welche MCP-Clients funktionieren mit searxNcrawl?

Brauche ich einen API-Key?

Was ist searxNcrawl Cloud?

Bleibt die Open-Source-Version kostenlos?

Entwickelt von DDM

Geben Sie Ihren Agenten das offene Web