reppy

reppy 0.1.0

reppy nagsimula sa labas ng isang kakulangan ng memoization suporta sa ibang robots.txt parsers naranasan, at ang kakulangan ng suporta para sa Crawl-delay at Sitemap sa built-in robotparser. Pagtutugma Ang pakete na ito ay sumusuporta sa 1996 RFC, pati...

Magbasa nang higit pa