Spidr

Ang script ay maaaring tumakbo sa isang solong pahina, website, maramihang mga domain o kahit non-stop.
Spidr ay idinisenyo upang maging mabilis at madaling gamitin

Features .

• Ibalik ang pila at kasaysayan spidering mula sa isang nakaraang session .
• string Custom User-Agent.
• Mga setting ng Custom proxy.
• HTTPS support.


• Sumusunod:
• a tag.
• tags iframe.
• tags frame.
• Cookie protektado link.
• HTTP 300, 301, 302, 303 at 307 redirect.
• Meta-refresh ang mga redirect.
• HTTP Basic Auth protektado link.

URLs Black-list o puting-listahan batay sa:
• URL scheme.
• name Host
• Port number
• Buong link
• extension URL


• Nagbibigay call-backs para sa:
• Ang bawat binisita Page.
• Ang bawat binisita URL.
• Ang bawat binisita URL na tumutugma sa isang tinukoy na pattern.
• Ang bawat pinagmulan at patutunguhan URI ng isang link.
• Ang bawat URL na bigo na binisita.


• Nagbibigay pamamaraan ng pagkilos sa:
• I-pause spidering.
• Laktawan pagproseso ng mga pahina.
• Laktawan pagproseso ng mga link.

Ano ang bago sa release na ito:

• catch ng OpenSSL :: SSL :: SSLError eksepsiyon kapag sinimulan ng HTTPS Mga sesyon.