Hadoopy

Ito ay karaniwang isang Python library para MapReduce nakasulat sa Cython

Features .

• magkatulad interface bilang Hadoop API (pattern disenyo magagamit sa pagitan ng mga interface sawa / Java)
• Pangkalahatang compatibility sa dumbo upang payagan ang mga gumagamit upang magpalipat-lipat sa
• Magagamit sa Hadoop tumpok walang sawa o admin access
• Mabilis conversion at pagproseso
• Manatiling maliit at mahusay dokumentado
• Maging transparent sa kung ano ang nangyayari sa
• Handle programa na may masalimuot .so, ang ctypes, at extension
• Code isinulat para hack-kakayahan
• Simple HDFS access (halimbawa, pagbabasa, pagsusulat, ls)
• Support (at hindi magtiklop) ang mas higit Hadoop ecosystem (eg, Oozie, ugong)
• Automated trabaho parallelization 'auto-oozie' na magagamit sa mga proyekto hadoopy daloy (pinananatili sa labas ng branch)
• Mga Lokal na pagpapatupad ng mga di-binagong trabaho MapReduce may launch_local
• Basahin / write sequence file ng TypedBytes direkta sa HDFS mula sawa (readtb, writetb)
• Pinapayagan imprenta sa stdout at stderr sa Hadoop gawain nang hindi nagiging sanhi ng mga problema (gumagamit ng 'pipe hopping' pamamaraan, parehong magagamit sa stderr ang gawain ng)
• Mga gawain sa mga kumpol nang walang anumang karagdagang pag-install, Python, o anumang mga aklatan Python (gumagamit Pyinstaller na kasama sa source na ito tree)
• Gumagana sa OS X
• kritikal na landas ay nasa Cython
• Simple HDFS access (readtb at ls) sa loob ng Python, kahit na sa loob ng pagpapatakbo ng mga trabaho
• test Unit interface
• status Reporting gamit at counter (at i-print ang mga pahayag! Hindi na kailangan upang madala sa kanila sa Hadoopy)
• Sinusuportahan ang disenyo ng mga pattern sa Lin & Dyer book
• Typedbytes support (masyadong mabilis)
• pag Oozie

Kinakailangan :

• Cython 0.13 o mas mataas