Chilkat Spider ActiveX

Crawl ng isang Web site na may ganitong libreng ActiveX spidering component. Advanced na mga tampok ay kinabibilangan ng pag-cache, "maiwasan ang" pattern, at robots.txt pagsunod. Awtomatikong humahawak URL ng HTTPS. Kasama ang mga panukala ng kaligtasan para sa pag-iwas sa mga malalaking / walang katapusan na mga pahina size Web o walang katapusan na lumalagong-in-length na mga URL. Kasama ang isang wind-down na mga tampok para sa pag-crawl ang isang maximum na bilang ng mga pahina sa bawat site.