Databot

Ang lahat ng mga website ay nakalista sa loob ng isang text file, na kung saan ay maaaring gamitin bilang isang input para sa mga script na tumakbo.
Ang code ay well nagkomento at dapat magbigay ng lahat ng mga tips na kailangan para sa pagsasaayos.
Ang mga pahina ay maaaring sa pe parse at impormasyon na nakuha mula sa kanila.
Ang resultang na-save ng mga file ay naka-imbak sa isang sub-folder na pinangalanang mula sa URL ng nakuhang mga pahina at mga file ay pinangalanang sa mga kasalukuyang petsa / oras stamp upang maiwasan ang mga file mula sa pagiging mapapatungan.