Büyük Ölçekli Veri Toplama İçin Proxy: Kuyruk, Hız ve Kapasite

İstekleri bir döngüde art arda göndermek yerine URL'leri kuyruğa koyun ve işçilerin (worker) kuyruktan almasını sağlayın. Eşzamanlılığı iki düzeyde sınırlayın: toplam işçi sayısı ve alan adı başına aynı anda açık istek sayısı. İkinci sınır hedef sitenin kaldırabileceği yükten türetilmelidir; IP eklemek bu yükü değiştirmez.

1. 01Kuyruğa alınHer URL'ye bir kimlik, öncelik ve deneme sayacı verin. Aynı URL'nin kuyruğa iki kez girmesini kimlik üzerinden engelleyin.
2. 02Alan adı başına sınırlayınHer alan adı için eşzamanlı istek üst sınırı ve istekler arası en kısa bekleme belirleyin. Düşük bir değerle başlayın, hata oranına bakarak artırın.
3. 03Proxy üzerinden gönderinBağlanma ve okuma zaman aşımlarını ayrı ayrı tanımlayın. Hangi IP'nin hangi isteği taşıdığını kaydedin.
4. 04Sonucu sınıflandırınSonucu başarı, geçici hata (yeniden denenir) ve kalıcı hata (denenmez) olarak ayırın: 404 ve 410 kalıcıdır, zaman aşımı ve 5xx geçicidir.
5. 05Yazın ve onaylayınYanıtı saklayın, sonra kuyruktan silin. İşi yeniden çalıştırdığınızda çift kayıt oluşmaması için yazma adımı aynı girdiyle tekrarlanabilir (idempotent) olmalıdır.

Bir proxy üzerinden ilk isteği kurmak için Python ile proxy kullanımı yazısı yeterlidir; ölçekte asıl farkı kuyruk, sınır ve kayıt katmanları yaratır. Sayfa ayrıştırma ve otomasyon tarafı için web scraping çözüm sayfasına bakın.

Her hata aynı yanıtı hak etmez. Hatayı doğru sınıflandırmak yeniden deneme bütçenizi doğru yere harcamanızı sağlar; yanlış sınıflandırma ise kuyruğu gereksiz tekrarlarla doldurur. Durum kodlarının tanımı için RFC 9110 ve 429 için RFC 6585 başvurulabilir.

import random
import time

import requests

PROXY = "http://KULLANICI:[email protected]:PORT"
PROXIES = {"http": PROXY, "https": PROXY}
TRANSIENT = {429, 500, 502, 503, 504}


def fetch(url, max_attempts=4):
    for attempt in range(1, max_attempts + 1):
        try:
            resp = requests.get(url, proxies=PROXIES, timeout=(5, 20))
        except requests.exceptions.ProxyError:
            raise  # HTTPS'te 407 burada görünür: yeniden denemeyin, kimlik bilgisini düzeltin
        except (requests.ConnectionError, requests.Timeout):
            resp = None  # ağ hatası geçici sayılır

        if resp is not None and resp.status_code not in TRANSIENT:
            return resp  # 200, 404, 403 gibi kesin yanıtlar yeniden denenmez
        if attempt == max_attempts:
            return resp  # hak bitti; None dönerse çağıran bunu hata olarak işlemeli

        wait = 2 ** attempt + random.uniform(0, 1)  # üstel bekleme + rastgele sapma
        retry_after = resp.headers.get("Retry-After", "") if resp is not None else ""
        if retry_after.isdigit():
            wait = max(wait, int(retry_after))
        time.sleep(wait)

HTTPS hedeflerde proxy'nin 407 yanıtı tünel kurulurken döner; Python requests bunu yanıt olarak değil ProxyError olarak yükselttiği için örnekte ayrıca yakalanır. SOCKS5'te kimlik reddi, el sıkışma sırasında bağlantı hatası olarak görünür. Hata oranını IP ve alan adı bazında ölçün: tek IP'de yoğunlaşan hata o çıkışa özgü bir sorunu, tüm IP'lerde birlikte artan hata hedefin davranışını gösterir. Ayrıntı için 407, 403 ve 429 rehberine bakın; proxy'nin çalışıp çalışmadığını Proxy Kontrol ile ayırt edebilirsiniz.

Kapasiteyi iki eksende hesaplayın: istek hızı (kaç IP gerekir) ve veri hacmi (GB mı, limitsiz mi). İkisini de varsayımla değil, küçük bir denemenin ölçümleriyle besleyin.

1. Günlük istek = URL sayısı × günlük okuma sayısı.
2. Saniyedeki istek = günlük istek ÷ 86.400 (işi gün boyu yayıyorsanız).
3. Gereken IP sayısı = saniyedeki istek ÷ bir IP'den göndermeyi uygun gördüğünüz saniyedeki istek. Alan adı başına eşzamanlılık sınırını ayrıca uygulayın.
4. Aylık veri = günlük istek × ortalama yanıt boyutu × 30; hesabın üzerine pay bırakın.