Pinapayagan ka ng programa na mag-crawl sa website na may iba't ibang mga pagpipilian: sundin ang robots.txt, bilangin ang numero ng salita, lagyan ng tsek ang mga URL ng imahe, i-crawl ang numero ng thread, oras ng access sa URL, User Agent. Para sa...

Magbasa nang higit pa