Çevrimiçi kazıma göreviniz aniden bir http hata koduna benzer bir sayı üretmeyi bitirdiğinde, duygularınızı kesinlikle anlıyoruz. Varsayılan ayarlarınızda veya proxy'nin kendisinde bir sorun mu var? Normalde, bu tür hatalar, proxy'ler yanlış yönetilirse ortaya çıkar ve hatanın anlamını bilmek, sizden bu tür özel bir sorunun çözümünü ister.
Bu kılavuzda, bunları ne zaman ve neden alabileceğinizi gösteren en yaygın proxy hatalarının bir listesini derledik. Proxy hatası anlamlarını öğrenebilecek ve bu tür hataların üstesinden gelmenize yardımcı olacak önerilen bazı eylemleri keşfedebileceksiniz.
Proxy Hatası Nedir?
Peki, proxy hatası genel anlamda ne anlama geliyor? Proxy aracılığıyla bir web sunucusuna gönderdiğiniz bir istek başarısız olduğunda, sunucu tarafında bir http hata koduna neden olur. Proxy'yi kullanmaya devam etmeniz sizin için hayati önem taşıdığından, bu tür bir hata kodunu anlamak ve daha fazla önlem almak için anlamının farkında olmanız gerekir. Şimdi “eylemler” kısmına gelmeden önce “anlama” kısmına bir göz atalım. Proxy kodları, ilki hata sınıfını temsil edecek şekilde üç basamaklı olarak gelir. Toplam ders sayısı beştir.
Proxy Hata Kodları Sınıfları
1xx – Bilgilendirici Hata Kodları
Bu hata kodları sınıfı nadiren kullanılır ve bir proxy tarafından işlenmekte olan isteklerin durumunu gösterir.
2xx – Başarı Hata Kodları
Kullanmakta olduğunuz proxy sunucusunun işlemi başarıyla gerçekleştirdiğini gösterir.
3xx – Yönlendirme Hata Kodları
İstenen işlemi gerçekleştirmek için istemci tarafında ek bir eylemin gerekli olduğunu gösterir.
4xx – İstemci Hata Kodları
Bu kodlar, hatanın istemci tarafında (istek sözdiziminde, İnternet tarayıcısında veya otomasyon botunda) üretildiğini gösterir.
5xx – Sunucu Hata Kodları
Bu tür bir hata, sunucu proxy'den alınan isteği başarıyla işleyemediğinde ortaya çıkar.
Proxy Hatalarının Ayrıntılı Açıklaması ve Olası Çözümler
1xx – Bilgilendirici Hata Kodları
Size bu tür kodların ayrıntılı bir açıklamasını vermeden önce, nadiren ortaya çıktıklarını ve sunucunun proxy'den alınan istekleri işlediğini gösterdiğini söylemeliyiz.
100 – Devam
Bu kod, isteğin kısmen alındığını ve isteğin kalan
kısmının artık proxy üzerinden gönderilmesinin beklendiğinin bir göstergesidir. Normalde, başlıkta "beklenti: 100 - devam et" gönderilerek bir aracı kod isteği aracılığıyla yürütülür. 100 alındığında, vücudun geri kalanı gönderilebilir.
101 – Anahtarlama Protokolleri
Bu sunucunun durum kodu, tarayıcının (Chrome, Firefox, vb.) geçerli veri aktarım protokolünü değiştirmek istediği anlamına gelir. Protokol anahtarı onaylandıktan ve onaylandıktan sonra, müşterinin tarayıcısı "100 – Anahtarlama Protokolleri" HTTP durum kodunu gönderir.
102 – İşleme (WebDAV uzantısı)
Bu kodla, hedef web sunucusu mevcut isteği işlemek için daha fazla zamana ihtiyacı olduğunu belirtir. İstemcinin tarayıcısından WebDAV kullanılarak gönderilen bir dizi alt istek olması durumunda, sunucu, mevcut istekleri tamamlamak için daha fazla zamana ihtiyacı olduğunu belirten "102 – İşleniyor" koduyla en sonunda yanıt verecektir.
103 – Erken İpuçları
Bu kodla web sunucusu, tarayıcıya henüz istekleri işlemeye başlamadığını erken gösterir.
2xx – Başarı Hata Kodları
Bu aralıktaki (200'den 299'a kadar) hata kodları, web sunucusunun isteği proxy'niz aracılığıyla aldığını ve bir yanıt aldığını gösterir. Burada en sık alınan kod , isteğin başarıyla yerine getirildiğini gösteren 200'dür . Ancak, farklı bir kod alırsanız, ilgilenmeniz gereken bir tür hata anlamına gelebilir.
201 – düzenlendi
Hedef web sunucusu, bir isteğe yanıt olarak yeni bir kaynağın oluşturulduğunu belirtmek için bu kodu üretir. Bu, sunucunun orijinal isteği bir sonraki yanıtı başlatma noktası olarak kullandığı anlamına gelir. Bu kod genellikle kullanıcı adı ve şifre talebi olan bir sunucu ile kimlik doğrulama sırasında kullanılır.
202 – Kabul edildi
Bu kod, sunucunun isteği aldığını ancak henüz işlemediğini belirtmek için kullanılır. Lütfen bunun yalnızca talebin kabul edildiğinin bir göstergesi olduğunu ve işlemenin tamamlandığı anlamına gelmediğini unutmayın.
204 – İçerik Yok
Bu kod, sunucunun isteği karşılayacak herhangi bir içerik bulamadığını gösterir.
205 – İçeriği Sıfırla
Bu kod, hiçbir içerik bulunamadığında 204 koduna benzer. Buradaki fark, bu kodun içerik görünümünün müşteri tarafından sıfırlanmasını istemesidir.
206 – Kısmi İçerik
Bu kod, hedef sunucudan alınan içeriğin başlıktan istenen içeriği yalnızca kısmen karşıladığı anlamına gelir. Bu, bir dizi dosya istendiğinde ve yalnızca bazıları alındığında olabilir.
3xx – Yönlendirme Hata Kodları
3xx yeniden yönlendirme kodları, müşteri tarafında bazı ek işlemlere ihtiyaç olduğunu gösterir. Proxy'leri çalıştırmak için kendi komut dosyalarınızı kullanıyorsanız, bu kodlara özellikle dikkat etmeniz gerekir.
300 – Çoktan Seçmeli
Artık bu kod, isteğin birden fazla hedefe yönlendirildiğini gösterir.
Sıyırıcınızın veya tarayıcınızın hangi verileri alacağınıza karar veremediği durumda, bu hata kodunu alırsınız. Bu sorunu çözmek için proxy'nizin veri alımı için tek bir kaynağa yönlendirildiğinden emin olun.
301 – Kalıcı Olarak Taşınan Kaynak
Bu kod, hedeflenen URL farklı bir URL'ye yönlendirildiğinde alınır.
Arama motoru tarayıcıları dahil olduğunda, bir URL için 5 adede kadar yönlendirmeyi işleyebilirler. Bundan sonra, sonsuz bir döngüden kaçınmak için bu hatayı geri alacaksınız.
Bu, açık ara en yaygın 3xx hata kodudur.
302 – Kaynak Geçici Olarak Taşındı
Hata kodu 302, hedeflenen URL'ye geçici bir yeniden yönlendirmenin ayarlandığını gösterir. Bu, isteğiniz gerçekleştiğinde başka bir URL'ye yönlendirileceği anlamına gelir.
4xx – İstemci Hata Kodları
İstemciye iletilen en sık meydana gelen hatalar 4xx ve 5xx kodlarıdır. Bir 4xx hata kodu alırsanız, hatanın istemci tarafında (istekte, tarayıcıda veya botunuzda) meydana geldiği anlamına gelir.
400 – Hatalı İstek
Bu kod, proxy'nin gelen isteği ayrıştıramadığı anlamına gelir.
401 – Yetkisiz
Bu kod, kimlik doğrulaması gerektiren bir kaynağa erişmeye çalıştığınızı gösterir. Temel olarak, proxy sunucusuna düzgün şekilde bağlanamıyorsunuz. Kimlik bilgilerinin tanınmasını sağlamak ve bu bağlantı sorununu çözmek için doğru kullanıcı adını ve parolayı sağlamanız yeterlidir.
402 – Ödeme Gerekli
Şimdi bu, ileride kullanılmak üzere ayrılan nadir bir kod. Hedeflenen sitede bir dijital ödeme sisteminin varlığını belirtmek içindir.
404 Bulunamadı
Bu kod, istek gerçekten geçerli olsa bile hedeflenen kaynağın bulunamadığını gösterir. Normalde, ölü bağlantıların bir sonucudur, yani orijinal kaynak uygun şekilde yeniden yönlendirilmeden kaldırılmış veya değiştirilmiştir.
405 – Yasak Yöntem
Bu hata kodu, kullanıcının bu belirli istek için uyguladığı yönteme izin verilmediğini gösterir.
407 – Proxy Kimlik Doğrulaması Gerekli
407 durum kodunun görünmesinin olası bir nedeni, proxy kimlik bilgilerinizi (kullanıcı adları, parolalar) betiğinize veya kazıyıcınıza yanlış girmektir. 407 hata kodu sorununu çözmek için proxy kimlik bilgilerinizi doğrulamanız ve gereken tüm bilgileri girdiğinizden emin olmanız gerekir. Başka bir olası neden, cihazınızın IP'sini kullandığınız proxy'lerle beyaz listeye almak olabilir. Listede olduğundan emin olun ve sorun devam ederse proxy sağlayıcınızla iletişime geçin.
429 – Çok Fazla İstek
Bu hata, belirli bir zaman aralığında çok fazla istek
Buradaki bir çözüm, bu belirli kaynak için IP dönüşleri arasında uygun şekilde ayarlanmış gecikmelerle dönen proxy'ler kullanmak olacaktır.
5xx – Sunucu Hata Kodları
5xx kodları aralığı, sunucunun isteği aldığı ancak isteği başarıyla işleyemediği durumlarda oluşan hatalarla ilgilidir.
5xx hatalarına yönelik ortak bir çözüm, proxy IP'lerini otomatik olarak döndürmek (proxy ağını değiştirmek) olabilir. kullandığınızda bu hataların meydana gelme olasılığı daha düşüktür. Ayrıca, hedeflediğiniz sunucu konumlarına da dikkat etmek istersiniz.
500 – Dahili Sunucu Hatası
Sunucunun yanıt vermesini durduran beklenmeyen bir sunucu durumu oluştuğunda 500 proxy hata kodu döndürülür.
501 – Uygulanmadı
Bu hata, istekte kullanılan bazı desteklenmeyen yöntemler nedeniyle sunucunun isteği düzgün işleyemediğini gösterir.
502 sunucu hatası
Proxy'niz hedef sunucudan geçersiz bir yanıt aldığında http kodu 502 döndürülür.
Bu sorunu çözmenin yolu önbelleğinizi ve çerezlerinizi temizlemek olacaktır. Sorun devam ederse, DNS'inizi değiştirmeyi ve sistemi proxy olmadan kullanmayı deneyin.
503 Hizmet Kullanılamıyor
Proxy hatası 503 ile hedeflenen sunucu, geçerli isteğin çözümlenemeyeceğini belirtir. Veya sunucunun bakım nedeniyle şu anda kullanılamadığı anlamına gelir.
504 Geçidi Zaman Aşımı
Bu hata durumu, proxy'niz hedeften zamanında yanıt alamayınca oluşur. Bunun nedeni, isteğin hâlâ işleniyor olması ve proxy sunucunuzun daha fazla bekleyememesi olabilir. Bu kod gelmeye devam ederse, proxy isteğinizin başlığındaki zaman aşımı ayarlarını düzenleyin veya proxy sağlayıcınızla iletişime geçin.
505 – HTTP Sürümü Desteklenmiyor
Bu http proxy hata kodu, sunucunuz istekte kullanılan HTTP sürümünü desteklemediğinde görünür. Bu sorunu çözmek için şunları yapabilirsiniz:HTTP proxy satın al şu anda çalıştırdığınız proxy'ler yerine sürümle eşleştirme.
507 – Yetersiz Alan
Bu kod, erişmeye çalıştığınız sunucuda yer kalmadığı ve isteğinizi işleyemediği anlamına gelir.
510 – Uzantılar Eksik
Bu hata kodu, talep edilen desteklenmeyen bir uzantı nedeniyle sunucu talebinizi işleyemediğinde döndürülür.
HızlıProxy'ye Özel Proxy Hata Kodları
Statik Proxy Hata Kodları
Statik proxy sunucularımız, gerçek bir HTTP sunucusu tarafından döndürülebilecek standart kodlarla çakışmaması için çoğunlukla standart dışı hata kodları kullanır. Tek standart olan 407'dir .
Geçersiz bir HTTP proxy isteği ile karşılaşıldığında, sunucu sessizce bağlantıyı kapatır.
Döndürülen hatalarla birlikte yanıtta özel bir başlık bulunur ve Sunucu başlığı şöyle görünür: "Sunucu: FaaS vX.X-XXXXXXXX-XXXXXXXXXX", burada X bir rakam veya bir harftir. Özel başlık X-Request-Error'dur.
Karşılaşabileceğiniz hata kodlarının listesi aşağıda verilmiştir:
407 Proxy Kimlik Doğrulaması Gerekli – kötü kimlik bilgileri veya kimlik bilgileri yok, ancak sistemimizde IP adresi yok veya yanlış bir adres yetkilendirildi. Paket oluşturulduktan hemen sonra kimlik bilgilerinin yanı sıra yetkili IP'lerde yapılan değişikliklerin geçerlilik kazanmasının birkaç dakika sürdüğünü unutmayın. X-Request-Error bu durumda mevcut değildir, çünkü bu hata yalnızca proxy sunucusu tarafından döndürülür.
451 Yasal Nedenlerle Kullanılamıyor – şu anda sistemimize erişimi olmayan bir siteyle bağlantı kurmaya çalıştığınız veya bir ana bilgisayarda engellenen bir bağlantı noktasına erişmeye çalıştığınız anlamına gelir (izin verilen bağlantı noktaları 80, 443, ve 2080, 2525, 3306, 5432, 6379, 9200, 9300, 10000 ve 11211 hariç, 1025'e eşit veya daha büyük olan her şey). Bu durumda X-Request-Error, TARGET_HOST_IS_BLOCKED'e eşittir. Yanıt gövdesi, isteğin engellenme nedenini içerecektir. Bu hata, 403 yerine kullanılır, çünkü 403, hedef ana bilgisayar tarafından döndürülebilir. 451, hedef ana bilgisayar tarafından da döndürülebilir, ancak bu, genellikle kullanılmayan nadir bir hatadır.
570 DNS Çözümleme Başarısız - Proxy sunucusu, A DNS kaydı olmadığı veya ana bilgisayardaki yetkili DNS sunucusuyla ilgili bir sorun olduğu için hedef ana bilgisayarın IP adresini çözümleyemedi.
572 Hedef Ana Bilgisayar Bağlantısı Başarısız - proxy sunucusu hedef ana bilgisayara bağlanamadı. Bu genellikle ana bilgisayarın kapalı olduğu veya proxy IP'yi bir güvenlik duvarı ile engellediği anlamına gelir.
573 Hedef Ana Bilgisayar İletişim Hatası – hedef ana bilgisayara bir istek gönderilirken veya yanıt okunurken bir hatayla karşılaşıldı. Bu hata yalnızca CONNECT olmayan istekler için döndürülür.
529 Proxy Hız Sınırına Ulaşıldı – paketiniz her bir proxy IP'sine bağlantı sayısı sınırlı olduğunda gönderilir. Varsayılan olarak böyle bir sınır yoktur.
Geri Bağlantı Proxy Hata Kodları
Geri bağlantı proxy'lerinde birkaç hata daha var:
429 – Çok Fazla İstek – Bu portta bağlantı limitine ulaştınız. Bu proxy hatasını bir site tarafından döndürülebilecek bir 429'dan ayırt etmek için yanıtın gövdesini inceleyin, "Geri bağlantı: çok fazla istek alındı" yazmalıdır.
500'ün 2 farklı anlamı vardır:
Yanıt gövdesi: Hedef proxy'ye bağlantı başarısız oldu, isteği yeniden deneyin. Geri bağlantı sunucusu, ayrılan süre içinde hedef proxy ile bağlantı kuramadı.
Yanıt gövdesi: IP havuzunuz boş, lütfen seçenekler için destekle iletişime geçin. Şu anda paketiniz, havuzunuzda 0 proxy IP içeriyor. Bu durum, denetleyicilerimiz tarafından günlük olarak güncellenen bir otomatik havuzunuz olduğunda meydana gelebilir.
Ayrıca , geri bağlantı sunucusu bir isteği ayrılan süre içinde okuyamazsa 408 hatası kullanılır.
Geri bağlantı, hedef ana bilgisayarla bağlantı kurmak için kendi statik proxy'lerimizi kullandığından, statik proxy'lerden 403 ve 503 gibi bazı hatalar da görebilirsiniz .
Proxy Hatalarının Nasıl Düzeltileceğine İlişkin Öneriler
Artık en sık görülen proxy hata kodlarını ele aldığımıza göre, proxy hatalarının nasıl düzeltileceğine daha fazla ışık tutabiliriz. Bunun bir yolu, proxy yöneticisi adı verilen özel bir açık kaynaklı yazılım aracının kullanılmasıdır. Bu yönetici ile, kimlik bilgilerinde ve bölge bilgilerinde zamanında güncellemeler yapmak gibi belirli ayarlamaları yapabileceksiniz. Bu, birçok hatadan kaçınmanıza yardımcı olacaktır.
Proxy yöneticisi, hatalardan kaçınmak için bazı eylemleri programlamanıza da yardımcı olur. Örneğin, 403 hatasını (Yasak erişim) çözmek için dönüşümlü konut proxy'lerini kullanabilirsiniz. Rotasyonları ayarlayarak, kendinize başka türlü kısıtlanmış bir web sitesine erişim izni vermeyi başarabilirsiniz.
Şimdi, proxy hatalarından nasıl kaçınılacağına dair bazı önerilere göz atalım.
Konut Proxy'lerini Kullanmayı Düşünün
Veri merkezinizin bir kısmını konut proxy'leriyle değiştirirseniz, hata sayısını azaltmada bir miktar iyileşme tespit edilebilir. Biraz pahalı olmasına rağmen, konut proxy'lerinin algılanma olasılığı daha düşüktür. Ayrıca, hatalardan kaçınmak için bunları başarılı bir şekilde döndürebilirsiniz.
İstek Sayısının Azaltılması
Web siteleri, kazıyıcınızın veya botunuzun kendisine gönderebileceği isteklerin sayısı konusunda son derece dikkatlidir. Bu sayı çok yüksekse, şüphelenecek ve proxy'nizin IP'sini engelleyecektir. Buradaki çözüm, daha insan benzeri bir veri erişimini taklit etmek için istekler arasında bir gecikme ayarlamak olacaktır. Ayrıca, durumu daha da iyileştirmek için aynı IP'den gelen istek sayısını en aza indirmelisiniz.
Güncellenmiş Araçları Kullanın
Şimdi, düşük performansa sahip güvenilmez bir kazıyıcı kullanmaya başlarsanız, bu önerilerin tümü geçersiz olacaktır. Lütfen, proxy'leri barındıran tüm üçüncü taraf araçlarınızın güncel olduğundan ve hata sayısını en aza indirmek için beklentilerinize göre çalıştığından emin olun.
