Scraping Pipeline
Herkese açık web verisini doğrulanmış çıktıya taşır.
Kayıtları tipli şemayla çıkarır ve CSV/JSONL olarak teslim eder.
- Kimin için
- Herkese açık veri kullanan analitik ekipleri
- Motor
- Python · asyncio
- Kaynak kodu
- Açık · MIT
- Satın alma
- Yazılı, sabit bedelli pilot
Scraping Pipeline nedir?
Scraping Pipeline, herkese açık web sayfalarından tipli şemaya uygun, doğrulanmış veri çıkaran açık kaynak bir Python hattıdır. asyncio ile sayfaları çeker, selectolax veya BeautifulSoup ile ayrıştırır, Pydantic ve Pandera ile doğrular ve CSV, JSONL ya da Parquet olarak teslim eder. Testleri kayıtlı HTML ile çevrimdışı çalışır.
50 sayfa, 1.000 doğrulanmış kayıt, 27 saniye.
Yeni site = yeni ScraperConfig, kod değişmez
books.toscrape.com1–50selectolaxtitle · price_gbp · rating · in_stock · …README'deki gerçek koşunun yeniden oynatımı (run 0606b9bb…, 50 sayfa, 1.000 kayıt, 27 sn). Kaynak sitenin izinleri ve hız sınırları her projede ayrıca incelenir.
Nasıl çalışır
Ürünün kendi belgelerinden. Rakamların yanında nerede ve hangi sürümle ölçüldükleri yazar.
Seçiciler konfigürasyonda
Yeni bir site için yeni bir ScraperConfig yeterli. Kod değişmez.
Kibar async HTTP
Yeniden deneme, zaman aşımı ve hız sınırı. Başarısız sayfalar ayrıca kaydedilir.
Veri çıkmadan doğrulanır
Her kayıt Pydantic ile, tablonun tamamı Pandera ile kontrol edilir.
İzlenebilir teslim
CSV, JSONL, Excel veya Parquet. Kaynak sayfaları listeleyen bir manifest ile.
- 1.000 kayıt
- 50 sayfa, 27 saniye. Çıktı ve manifest repoda duruyor. Kaynak
- 117 ilan
- Tek sayfa, 2,8 saniye. İkinci bir site, aynı hat. Kaynak
- Çevrimdışı test
- Testler kayıtlı HTML ile çalışır; siteye istek atmaz.
- İki ayrıştırıcı
- selectolax veya BeautifulSoup + lxml, komut satırından seçilir.
Teknoloji
- Python
- asyncio
- selectolax
- Pydantic v2
- Pandera
- Parquet
Deneyin
pip install -e ".[dev]" "selectolax<1.0"
scrape-books --pages 50 --out examples/books.csvNe iddia etmiyor
Kaynak sitenin izinleri, hız sınırları ve verinin kullanımı her proje için ayrıca incelenir.
Bugünkü sınır
Kaynak sitenin izinleri, hız sınırları ve veri kullanımı her proje için incelenir.
Bir pilotta ne olur
Örnek başlangıç kapsamı. Nihai teslimler ve kabul ölçütleri yazılı teklifte sabitlenir.
- Soru
- Kaynak sayfalardan tutarlı veri nasıl alınır?
- Gerekebilecek girdi
- Kaynak URL'leri, izin koşulları ve hedef şema
- Teslimler
- Tipli çıkarım örneği
- Doğrulama ve hata raporu
- CSV veya JSONL teslim örneği
Karardan önce
Bu ürün şu anda satın alınabilir mi?
Ücretli pilot ve kurulum teklifi hazırlanabilir. Kapsam, veri erişimi, teslimler, süre ve sabit bedel keşif görüşmesinden sonra yazılı olarak netleşir.
Fiyat neden yazmıyor?
Veri miktarı, entegrasyon ve başarı ölçütü her işte farklı. Görüşmeden sonra sabit bedelli yazılı teklif gelir; onayınız olmadan ücretli iş başlamaz.
Gerçek verimi bu siteye yüklemem gerekiyor mu?
Hayır. Bu sitede dosya yükleme ya da hesap yok. Veri erişimi, saklama ve yetki koşulları yalnızca pilot anlaşmasında belirlenir.
İlk adım nedir?
Formda Scraping Pipeline ürününü seçip çözmek istediğiniz problemi yazın. Sonra veri ve pilot sınırları birlikte belirlenir.
Aynı alandaki ürünler
- CRM Cleaning APIRust (Axum) · Python
Dağınık müşteri adayı listelerini içe aktarıma hazırlar.
- ProofFrameRust · Python · WASM
Veri sözleşmeleri ve doğrulanabilir kalite kanıtları.
- Fuzzy DedupeRust · Python
İsim ve kurum kayıtlarında yakın tekrar tespiti.