PHPCrawl

Maaaring gamitin sa pagsusulat ng paghahanap crawler (spider) na mina pahina sa Web para sa iba't-ibang impormasyon.
PHPCrawl nakakakuha ng impormasyon ito ay naka-configure upang makuha ang pass at ito sa mas malakas na apps para sa karagdagang processing

Mga Tampok :.

• Ang mga filter para sa URL at Nilalaman-Uri ng data
• Tukuyin ang mga paraan upang mahawakan ang cookies
• Tukuyin ang mga paraan upang mahawakan ang robots.txt file
• Limitahan ang aktibidad nito sa iba't ibang mga paraan
• Multi-processing mode

Ano ang bagong sa paglabas:

• Fixed bug:
• Mga Link na bahagyang urlencoded at bahagyang hindi makakuha ng muling itayo / naka-encode nang tama ngayon.
• Inalis ang mga hindi kinakailangang pag-debug var_dump () mula sa PHPCrawlerRobotsTxtParser.class.php
• Server-name-pahiwatig sa TLS / SSL gumagana nang tama ngayon.
• & quot; base href-& quot;. -tags Sa mga website makakuha binigyang-kahulugan nang tama muli ngayon

Ano ang bagong sa bersyon 0.80 beta:

• Code ay ganap na refactored, nai-port sa PHP5-OO- code at maraming code ay rewritten.
• Nagdagdag ng kakayahan upang magamit ang paggamit ng maramihang mga proseso upang Spider isang website. Pamamaraan sa & quot; goMultiProcessed () & quot; naidagdag.
• Bagong overridable paraan & quot; initChildProcess () & quot; Idinagdag para sa pagsisimula ng anak-proseso kapag ginagamit ang crawler sa multi-proseso-mode.
• Implementet isang kahalili, panloob SQLite pag-cache-mekanismo para sa mga URL na ginagawang posible na spider napakalaking website.
• Pamamaraan & quot; setUrlCacheType () & quot; naidagdag.
• Bagong pamamaraan setWorkingDirectory () idinagdag para sa pagtukoy ng lokasyon ng mga crawler ng pansamantalang trabaho-directory nang manu-mano. Para doon paraan & quot; setTmpFile () & quot; ay minarkahan bilang hindi na ginagamit (may ngayon walang pag-andar).
• Bagong paraan ng & quot; addContentTypeReceiveRule () & quot; pumapalit sa lumang paraan & quot; addReceiveContentType () & quot;.
• Ang function na & quot; addReceiveContentType () & quot; ay naroroon pa rin, ngunit minarkahan bilang hindi na ginagamit.

Mga Kinakailangan :

• PHP 5 o mas mataas
• PHP na may OpenSSL suporta