İçeriğe geç

Scraping Pipeline

Herkese açık web verisini doğrulanmış çıktıya taşır.

Kayıtları tipli şemayla çıkarır ve CSV/JSONL olarak teslim eder.

Kimin için
Herkese açık veri kullanan analitik ekipleri
Motor
Python · asyncio
Kaynak kodu
Açık · MIT
Satın alma
Yazılı, sabit bedelli pilot

Scraping Pipeline nedir?

Scraping Pipeline, herkese açık web sayfalarından tipli şemaya uygun, doğrulanmış veri çıkaran açık kaynak bir Python hattıdır. asyncio ile sayfaları çeker, selectolax veya BeautifulSoup ile ayrıştırır, Pydantic ve Pandera ile doğrular ve CSV, JSONL ya da Parquet olarak teslim eder. Testleri kayıtlı HTML ile çevrimdışı çalışır.

50 sayfa, 1.000 doğrulanmış kayıt, 27 saniye.

Yeni site = yeni ScraperConfig, kod değişmez

0 sayfa0 kayıt0 başarısız sayfa
ScraperConfig
kaynakbooks.toscrape.com
sayfa1–50
ayrıştırıcıselectolax
kolonlartitle · price_gbp · rating · in_stock · …

README'deki gerçek koşunun yeniden oynatımı (run 0606b9bb…, 50 sayfa, 1.000 kayıt, 27 sn). Kaynak sitenin izinleri ve hız sınırları her projede ayrıca incelenir.

Nasıl çalışır

Ürünün kendi belgelerinden. Rakamların yanında nerede ve hangi sürümle ölçüldükleri yazar.

  1. Seçiciler konfigürasyonda

    Yeni bir site için yeni bir ScraperConfig yeterli. Kod değişmez.

  2. Kibar async HTTP

    Yeniden deneme, zaman aşımı ve hız sınırı. Başarısız sayfalar ayrıca kaydedilir.

  3. Veri çıkmadan doğrulanır

    Her kayıt Pydantic ile, tablonun tamamı Pandera ile kontrol edilir.

  4. İzlenebilir teslim

    CSV, JSONL, Excel veya Parquet. Kaynak sayfaları listeleyen bir manifest ile.

1.000 kayıt
50 sayfa, 27 saniye. Çıktı ve manifest repoda duruyor. Kaynak
117 ilan
Tek sayfa, 2,8 saniye. İkinci bir site, aynı hat. Kaynak
Çevrimdışı test
Testler kayıtlı HTML ile çalışır; siteye istek atmaz.
İki ayrıştırıcı
selectolax veya BeautifulSoup + lxml, komut satırından seçilir.

Teknoloji

  • Python
  • asyncio
  • selectolax
  • Pydantic v2
  • Pandera
  • Parquet

Deneyin

pip install -e ".[dev]" "selectolax<1.0"
scrape-books --pages 50 --out examples/books.csv

Ne iddia etmiyor

Kaynak sitenin izinleri, hız sınırları ve verinin kullanımı her proje için ayrıca incelenir.

Bugünkü sınır

Kaynak sitenin izinleri, hız sınırları ve veri kullanımı her proje için incelenir.

Bir pilotta ne olur

Örnek başlangıç kapsamı. Nihai teslimler ve kabul ölçütleri yazılı teklifte sabitlenir.

Soru
Kaynak sayfalardan tutarlı veri nasıl alınır?
Gerekebilecek girdi
Kaynak URL'leri, izin koşulları ve hedef şema
Teslimler
  • Tipli çıkarım örneği
  • Doğrulama ve hata raporu
  • CSV veya JSONL teslim örneği
Problemi gönder

Karardan önce

Bu ürün şu anda satın alınabilir mi?

Ücretli pilot ve kurulum teklifi hazırlanabilir. Kapsam, veri erişimi, teslimler, süre ve sabit bedel keşif görüşmesinden sonra yazılı olarak netleşir.

Fiyat neden yazmıyor?

Veri miktarı, entegrasyon ve başarı ölçütü her işte farklı. Görüşmeden sonra sabit bedelli yazılı teklif gelir; onayınız olmadan ücretli iş başlamaz.

Gerçek verimi bu siteye yüklemem gerekiyor mu?

Hayır. Bu sitede dosya yükleme ya da hesap yok. Veri erişimi, saklama ve yetki koşulları yalnızca pilot anlaşmasında belirlenir.

İlk adım nedir?

Formda Scraping Pipeline ürününü seçip çözmek istediğiniz problemi yazın. Sonra veri ve pilot sınırları birlikte belirlenir.

  • CRM Cleaning API

    Dağınık müşteri adayı listelerini içe aktarıma hazırlar.

    Rust (Axum) · Python
  • ProofFrame

    Veri sözleşmeleri ve doğrulanabilir kalite kanıtları.

    Rust · Python · WASM
  • Fuzzy Dedupe

    İsim ve kurum kayıtlarında yakın tekrar tespiti.

    Rust · Python