https://proooxy.com/de/Recent content on Proooxy — RAG-fertige Webdaten für KI-Agenten & LLMsHugodeWed, 15 Jul 2026 00:00:00 +0000https://proooxy.com/de/tools/macys-scraper/Wed, 15 Jul 2026 00:00:00 +0000https://proooxy.com/de/tools/macys-scraper/Macy&rsquo;s-Produkte, Preise, SKUs/UPCs &amp; News — Akamai-sicher, ohne Browser.https://proooxy.com/de/tools/bluesky-scraper/Wed, 01 Jul 2026 00:00:00 +0000https://proooxy.com/de/tools/bluesky-scraper/Bluesky-Beiträge, -Profile, -Feeds und -Interaktionen scrapen.https://proooxy.com/de/tools/clinical-trials-scraper/Wed, 01 Jul 2026 00:00:00 +0000https://proooxy.com/de/tools/clinical-trials-scraper/ClinicalTrials.gov-Studien, Eignungskriterien und Ergebnisse durchsuchen.https://proooxy.com/de/tools/courtlistener-scraper/Wed, 01 Jul 2026 00:00:00 +0000https://proooxy.com/de/tools/courtlistener-scraper/US-Rechtsprechung, Dockets und vollständige Urteilstexte für Rechts-KI.https://proooxy.com/de/tools/sec-edgar-scraper/Wed, 01 Jul 2026 00:00:00 +0000https://proooxy.com/de/tools/sec-edgar-scraper/SEC-Filings, 10-K/10-Q-Text und XBRL-Finanzdaten — RAG-fertig.https://proooxy.com/de/tools/usaspending-scraper/Wed, 01 Jul 2026 00:00:00 +0000https://proooxy.com/de/tools/usaspending-scraper/Bundesvergaben, Empfänger und Ausgaben-Aggregate von USAspending.gov.https://proooxy.com/de/tools/youtube-transcript-scraper/Wed, 01 Jul 2026 00:00:00 +0000https://proooxy.com/de/tools/youtube-transcript-scraper/YouTube-Transkripte als JSON, SRT, VTT oder LLM-fertiger Text.https://proooxy.com/de/tools/sephora-scraper/Sat, 18 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/sephora-scraper/Jede Sephora-Storefront scrapen — 21 Märkte, ein Actor.https://proooxy.com/de/tools/boohoo-scraper/Sat, 04 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/boohoo-scraper/Boohoo-Produktdaten aus 7 regionalen Shops scrapen.https://proooxy.com/de/tools/farfetch-scraper/Sat, 04 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/farfetch-scraper/Luxusmode-Produkte von Farfetch scrapen, mit Multi-Währungs-Unterstützung.https://proooxy.com/de/tools/load-tester/Sat, 04 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/load-tester/10K+ RPS simulieren mit geoverteiltem Lasttest.https://proooxy.com/de/tools/lululemon-scraper/Sat, 04 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/lululemon-scraper/Produktdaten mit Varianten und Medien von Lululemon extrahieren.https://proooxy.com/de/tools/schema-markup-scraper/Sat, 04 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/schema-markup-scraper/Strukturierte Daten extrahieren und SEO für jede Website auditieren.https://proooxy.com/de/tools/sephora-eu-scraper/Sat, 04 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/sephora-eu-scraper/Produktdaten von Sephora aus 9 europäischen Märkten extrahieren.https://proooxy.com/de/tools/shopify-scraper/Sat, 04 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/shopify-scraper/Produktdaten aus jedem Shopify-Shop extrahieren.https://proooxy.com/de/tools/ulta-scraper/Sat, 04 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/ulta-scraper/Vollständige Produktdaten von Ulta Beauty scrapen.https://proooxy.com/de/tools/web-printer/Sat, 04 Apr 2026 00:00:00 +0000https://proooxy.com/de/tools/web-printer/URLs und HTML in PDF, PNG, JPEG oder WebP umwandeln.https://proooxy.com/de/blog/web-scraping-best-practices-2026/Wed, 01 Apr 2026 00:00:00 +0000https://proooxy.com/de/blog/web-scraping-best-practices-2026/<p>Nach dem Aufbau und Betrieb von 15 produktionsreifen Scrapern, die über 3.100 Nutzer mit &gt;99% Erfolgsquote bedienen, hier die Praktiken, die wirklich zählen.</p> <h2 id="architektur-in-pipelines-denken-nicht-in-skripten">Architektur: In Pipelines denken, nicht in Skripten</h2> <p>Der größte Fehler, den ich immer wieder sehe: Scraping als Ein-Schritt-Prozess zu behandeln. Produktionsreife Scraper sind Datenpipelines:</p> <ol> <li><strong>URL-Erkennung</strong> — finden, was gescraped werden soll (Sitemaps, Kategorieseiten, Suche, APIs)</li> <li><strong>Request-Ausführung</strong> — Daten abrufen, mit sauberem Retry und Rotation</li> <li><strong>Parsing</strong> — strukturierte Felder aus Rohantworten extrahieren</li> <li><strong>Normalisierung</strong> — Output bereinigen, validieren und standardisieren</li> <li><strong>Speicherung</strong> — in Datasets, Datenbanken oder nachgelagerte Systeme schreiben</li> </ol> <p>Jeder Schritt sollte unabhängig testbar und wiederholbar sein. Wenn Sephora das Layout der Produktseite ändert, muss nur Schritt 3 angepasst werden — der Rest der Pipeline bleibt stabil.</p>https://proooxy.com/de/blog/bypassing-anti-bot-protection-guide/Sun, 15 Mar 2026 00:00:00 +0000https://proooxy.com/de/blog/bypassing-anti-bot-protection-guide/<p>Anti-Bot-Schutz ist ein Wettrüsten. Als jemand, der täglich produktionsreife Scraper baut, die diese Systeme umgehen, hier ein Praktiker-Blick auf die Landschaft — was die Schutzmechanismen tatsächlich prüfen und wie legitime Bypass-Techniken aussehen.</p> <h2 id="die-erkennungsebenen">Die Erkennungsebenen</h2> <p>Moderne Anti-Bot-Systeme arbeiten in Schichten. Diese Schichten zu verstehen, ist der Schlüssel zu zuverlässigem Bypass:</p> <h3 id="layer-1-ip-reputation">Layer 1: IP-Reputation</h3> <p>Die einfachste Prüfung. Anti-Bot-Dienste pflegen Datenbanken bekannter Rechenzentrums-IP-Bereiche, VPN-Exits und bereits markierter IPs.</p> <p><strong>Was geprüft wird:</strong></p> <ul> <li>Stammt diese IP von AWS, GCP, Azure oder einem bekannten Hosting-Anbieter?</li> <li>Wurde diese IP schon einmal wegen Bot-Aktivität markiert?</li> <li>Wie viele Anfragen kamen zuletzt von dieser IP?</li> </ul> <p><strong>Gegenstrategie:</strong> Residential Proxys von Diensten wie Apify Proxy oder Bright Data liefern IP-Adressen, die echten ISPs gehören — auf IP-Ebene nicht von normalen Nutzern zu unterscheiden.</p>https://proooxy.com/de/contact/Mon, 01 Jan 0001 00:00:00 +0000https://proooxy.com/de/contact/<h2 id="daten-die-nicht-im-katalog-stehen">Daten, die nicht im Katalog stehen</h2> <p>Ich baue maßgeschneiderte Web-Scraper und RAG-Datenpipelines — für KI-Teams, Datenplattformen und alle, die das offene Web als sauberes, strukturiertes JSON brauchen. Ob einmalige Datenlieferung oder fortlaufend aktualisierter Feed — ich helfe weiter.</p> <h3 id="was-ich-baue">Was ich baue</h3> <ul> <li><strong>Individuelle Scraper</strong> — maßgeschneidert für die jeweiligen Zielseiten, mit eingebautem Anti-Bot-Bypass</li> <li><strong>RAG-Datenpipelines</strong> — Extraktion, Normalisierung, Chunking und Auslieferung von retrieval-fertigem JSON in die eigene Vektordatenbank oder das eigene Warehouse</li> <li><strong>Reverse Engineering privater APIs</strong> — die Umwandlung undokumentierter Mobile-/Web-Endpunkte in stabile, strukturierte Quellen</li> <li><strong>Scraper-Wartung</strong> — bestehende Extraktoren am Laufen halten, wenn sich Zielseiten ändern</li> <li><strong>Technische Beratung</strong> — Architektur-Review für den bestehenden Scraping- und Daten-Ingestion-Stack</li> </ul> <h3 id="ablauf">Ablauf</h3> <ol> <li><strong>Daten beschreiben</strong> — Quelle, benötigte Felder und Lieferformat</li> <li><strong>Kostenlose Machbarkeitsprüfung</strong> — ich analysiere Komplexität und Anti-Bot-Schutz der Zielseite kostenlos</li> <li><strong>Angebot &amp; Zeitplan</strong> — klarer Scope, Festpreis, Liefertermin</li> <li><strong>Umsetzung &amp; Auslieferung</strong> — produktionsreifer Extraktor mit Dokumentation und sauberem Output</li> </ol> <h3 id="projekt-starten">Projekt starten</h3> <form action="https://api.web3forms.com/submit" method="POST" class="form contact-form"> <input type="hidden" name="access_key" value="9ed3e6ad-95b9-46d5-b3f7-3ffd428d9c3a"> <div class="field"> <label for="name">Name</label> <input type="text" name="name" id="name" required> </div> <div class="field"> <label for="email">E-Mail</label> <input type="email" name="email" id="email" required> </div> <div class="field"> <label for="project">Projekttyp</label> <select name="project" id="project"> <option value="custom-scraper">Individueller Scraper</option> <option value="rag-pipeline">RAG-Datenpipeline</option> <option value="api-reverse-engineering">Reverse Engineering privater APIs</option> <option value="consulting">Technische Beratung</option> <option value="other">Sonstiges</option> </select> </div> <div class="field"> <label for="message">Was wird benötigt?</label> <textarea name="message" id="message" rows="5" required></textarea> </div> <button type="submit" class="btn btn--primary btn--lg">Nachricht senden</button> </form> <h3 id="oder-direkter-kontakt">Oder direkter Kontakt</h3> <ul> <li><strong>E-Mail</strong>: <a href="mailto:p8p9cmk96@mozmail.com">p8p9cmk96@mozmail.com</a></li> <li><strong>GitHub</strong>: <a href="https://github.com/autofacts">@autofacts</a></li> <li><strong>Apify</strong>: <a href="https://apify.com/autofacts">apify.com/autofacts</a></li> </ul>https://proooxy.com/de/about/Mon, 01 Jan 0001 00:00:00 +0000https://proooxy.com/de/about/<h2 id="wer-ich-bin">Wer ich bin</h2> <p>Ich bin Richard Feng, freiberuflicher Web-Automatisierungs-Engineer mit über 12 Jahren Programmiererfahrung. Meine Spezialgebiete sind <strong>Web-Scraping, Datenextraktion und API-Reverse-Engineering</strong> — die Umwandlung komplexer, geschützter Websites in saubere, strukturierte Daten, die KI-Systeme tatsächlich nutzen können.</p> <p>Mein Werkzeugkasten umfasst <strong>Node.js (TypeScript), Python, Go und Java</strong>, mit tiefgehender Expertise in <strong>Crawlee, Playwright und Cheerio</strong>. Ich habe produktionsreife Systeme gebaut, die Millionen von Anfragen bei <strong>&gt;99% Erfolgsquote</strong> verarbeiten.</p> <h2 id="was-ich-mache">Was ich mache</h2> <p>Ich entwickle und betreue <strong>16 produktionsreife Apify-Actors</strong>, die über <strong>3.100 Nutzer</strong> bei konstant <strong>&gt;99% Run-Erfolgsquote</strong> bedienen. Jeder Actor liefert sauberes, <strong>RAG-fertiges JSON</strong> — schemakonsistent, dedupliziert und bereit für den Einsatz in einer Vektordatenbank, Retrieval-Pipeline oder als Trainingsdatensatz. Die meisten Actors für öffentliche Daten benötigen keinen API-Key. Meine Arbeit erstreckt sich über vier Bereiche:</p>