1. "HTTPError: 403 Forbidden" Hatası
Birçok geliştirici, web scraping sırasında "403 Forbidden" hatasıyla karşılaşır. Bu hata, web sitesinin size izin vermediğini gösterir. Çoğu zaman, web sitesi scraping botlarını tespit eder ve engeller. Peki çözüm ne?
Çözüm: User-Agent başlığını ayarlayarak kendinizi tarayıcı gibi gösterebilirsiniz. Bunun için Python’da `requests` kütüphanesini kullanarak header bilgilerinizi değiştirebilirsiniz:
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get('https://example.com', headers=headers)
print(response.text)
2. "TimeoutError" Hatası
Veri çekmeye çalıştığınız site, bağlantı isteğinize cevap vermediğinde "TimeoutError" hatasıyla karşılaşırsınız. Bu durum, ağ problemleri veya sunucunun aşırı yük altında olmasından kaynaklanabilir.
Çözüm: İsteklerinizi daha uzun bir süre bekleyecek şekilde ayarlayabilirsiniz. Bunun için `requests` kütüphanesinin `timeout` parametresini kullanabilirsiniz.
response = requests.get('https://example.com', timeout=10) # 10 saniye bekle
3. "AttributeError: 'NoneType' object has no attribute" Hatası
Web scraping sırasında HTML elementleri üzerinde işlem yaparken bazen beklenmeyen `None` değerleriyle karşılaşabilirsiniz. Bu da "AttributeError: 'NoneType' object has no attribute" hatasına yol açar. Bu, doğru öğeyi bulamadığınızda meydana gelir.
Çözüm: Öğenin olup olmadığını kontrol etmek için bir koşul ekleyin. Aşağıdaki gibi bir kontrol ile hatadan kaçınabilirsiniz:
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
element = soup.find('div', class_='example')
if element:
print(element.text)
else:
print("Element bulunamadı!")
4. "ConnectionError" Hatası
Web sitesine bağlanmaya çalışırken "ConnectionError" hatasıyla karşılaşabilirsiniz. Bu, internet bağlantınızda bir problem olduğunu veya hedef web sitesine erişiminizin engellendiğini gösterir.
Çözüm: Bu durumda internet bağlantınızı kontrol edin ve web sitesinin durumunu denetlemek için başka araçlar kullanın. Ayrıca, bazı proxy servisleri kullanarak bağlantıyı yeniden deneyebilirsiniz.
5. "Too Many Requests" Hatası
Bir web sitesine çok fazla istek gönderdiğinizde, site sizi geçici olarak engelleyebilir. Bu hata, sunucunun aşırı yük altında olduğunu gösterir.
Çözüm: İsteklerinizi geciktirerek web sitesine yük bindirmemelisiniz. Python’da `time.sleep()` fonksiyonu ile istekler arasında bekleme süresi ekleyebilirsiniz:
import time
for i in range(5):
response = requests.get('https://example.com')
print(response.text)
time.sleep(3) # 3 saniye bekle
6. "Invalid URL" Hatası
Web scraping yaparken URL'yi doğru yazmadığınızda, "Invalid URL" hatası alırsınız. Bu genellikle yanlış veya eksik URL kullanıldığında meydana gelir.
Çözüm: URL'yi kontrol edin ve doğru formatta olduğundan emin olun. Ayrıca, `requests` kütüphanesi ile URL doğrulaması yaparak bu hatayı önleyebilirsiniz.
7. "Parsing Error" Hatası
HTML veya XML verisini doğru bir şekilde işleyemediğinizde "Parsing Error" hatası alırsınız. Genellikle bu, kullanılan kütüphanenin HTML'i doğru analiz edememesi durumunda ortaya çıkar.
Çözüm: HTML içeriğinin doğru bir şekilde parse edilmesi için uygun kütüphaneyi kullanmalısınız. `BeautifulSoup` ve `lxml` gibi kütüphaneler bu tür hataları önlemede etkilidir.
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'lxml') # 'lxml' parser'ı kullan
Sonuç
Python ile web scraping yaparken karşılaşılan bu yaygın hatalar, çoğu zaman geliştiricilerin korkulu rüyası olabilir. Ancak, doğru araçlar ve biraz dikkat ile bu hataların üstesinden gelebilirsiniz. Unutmayın, her hatanın bir çözümü vardır ve bu hataları aşarak daha verimli ve güvenilir web scraping projeleri geliştirebilirsiniz.
