Web Scraping İçin Proxy: Veri Çekme İş Akışına Göre Seçim

Deneme amaçlı bir betik ile üretimde çalışan bir veri hattı arasındaki fark, sorumlulukların aşamalara ayrılmasıdır. Aşağıdaki sıra tipik bir akışı ve her adımda proxy katmanından beklenen davranışı gösterir.

1. 01URL kuyruğuÇekilecek adresler bir kuyruğa alınır ve her hedef alan adı için ayrı bir sıra tutulur. Proxy bu aşamada henüz devrede değildir, ama hangi alan adının hangi çıkış adresi grubuyla çalışacağı burada kararlaştırılır.
2. 02Hız sınırıHer alan adı için saniyedeki istek sayısı ve eşzamanlı bağlantı üst sınırı tanımlanır. Hedefin kaldırabileceği yük bu katmanda korunur; daha fazla IP eklemek sınırı yükseltmek için bir gerekçe değildir. Bazı siteler sınırı tek IP yerine /24 gibi bir alt ağ düzeyinde uygular, bu yüzden adres sayısını artırmak kapasiteyi aynı oranda artırmayabilir. Alt ağ mantığı için CIDR ve alt ağ maskesi yazısına bakın.
3. 03İstek ve oturumGiriş, sepet ya da sayfalama gibi birbirine bağlı istekler aynı çıkış IP'sinden gitmelidir; bu statik adreslerin işidir. Birbirinden bağımsız genel sayfalarda çıkış adresi her istekte değişebilir; bu dönen havuzların işidir. Bu ayrım, statik ve dönen IP kararının temelidir.
4. 04Hata ve yeniden deneme429 ve 503 yanıtlarında kısa bir beklemeyle, katlanarak artan aralıklarla yeniden denenir. 407 kimlik bilgisi sorununu, 403 ise hedefin isteği reddettiğini gösterir; ikisi de körlemesine tekrarlanmaz. Ayrıntı için proxy hata kodları yazısına bakın.
5. 05Ayrıştırma ve kayıtÇekilen sayfa ayrıştırılır, gerekiyorsa ham yanıt saklanır. GB bazlı paketlerde görsel, betik ve stil dosyalarını hiç istememek hem süreyi hem harcamayı düşürür.

Karar çoğu zaman tek soruya iner: ardışık istekler birbirine bağlı mı? Bağlıysa IP'nin oturum boyunca sabit kalması gerekir. Bağımsızsa yükü yayan bir çıkış düzeni daha uygundur.

Maliyet modeli de kararı etkiler. Residential paketler GB bazlıdır, bu yüzden harcamayı sayfa ağırlığı belirler. Datacenter paketler 30 günlüktür ve IP sayısı üzerinden kurulur; mağazanın ürün sayfasında belirtildiği üzere trafik sınırsızdır. Güncel katalog fiyatları için Fiyatlandırma sayfasına bakın.

İyi tasarlanmış bir veri hattı hedef siteyi yormaz. İstekleri alan adı başına sıraya koyun, yanıttaki Retry-After başlığına uyun ve hata aldığınızda bekleme süresini artırın. Aşağıdaki Python örneği bu mantığın en küçük hâlidir; kimlik bilgileri yer tutucudur. Kurulumun ayrıntıları için Python ile proxy kullanımı yazısına bakın.

import time

import requests

PROXY = "http://KULLANICI:[email protected]:PORT"
PROXIES = {"http": PROXY, "https": PROXY}
BASLIKLAR = {"User-Agent": "ornek-veri-istemcisi/1.0 (+https://example.com/iletisim)"}
SAYFALAR = [
    "https://example.com/liste?sayfa=1",
    "https://example.com/liste?sayfa=2",
]


def getir(oturum, url, deneme=4, bekleme=2.0):
    for sira in range(deneme):
        yanit = oturum.get(url, proxies=PROXIES, headers=BASLIKLAR, timeout=20)
        if yanit.status_code in (429, 503):
            sure = yanit.headers.get("Retry-After", "")
            time.sleep(int(sure) if sure.isdigit() else bekleme * (2 ** sira))
            continue
        yanit.raise_for_status()
        return yanit.text
    raise RuntimeError("Yanıt alınamadı: " + url)


with requests.Session() as oturum:
    for url in SAYFALAR:
        html = getir(oturum, url)
        print(url, len(html))
        time.sleep(1.5)  # alan adı başına nazik bir bekleme