robots.js 0.9.4

Maaaring gamitin upang bunutin ang mga data mula sa robots.txt file at feed na ito sa iba pang mga application o mga kasangkapan ng mga istatistika.Ay kunin target URL, ang dahilan ng pag-access at status data Ano ang bago sa release na ito. ...