Apache Hadoop

Ang malaking data ay isang kataga sa pagmemerkado na sumasaklaw sa buong ideya ng data na minarkahan mula sa mga mapagkukunan tulad ng mga search engine, mga pattern ng pagbili ng grocery store na sinusubaybayan sa pamamagitan ng mga card ng card atbp Sa modernong mundo, ang internet ay may napakaraming ang mga mapagkukunan ng data, na mas madalas kaysa sa hindi ang sukat na ginagawa itong hindi magamit nang walang pagproseso at pagproseso ay maaaring tumagal ng hindi kapani-paniwala na dami ng oras sa pamamagitan ng alinman sa isang server. Ipasok ang Apache Hadoop

Sa pamamagitan ng paggamit ng arkitekturang Hadoop upang ipamahagi ang mga gawain sa pagpoproseso sa maraming mga machine sa isang network , ang mga oras ng pagpoproseso ay nabawasan ng astronomya at maaaring matukoy ang mga sagot sa makatwirang panahon. Ang Apache Hadoop ay nahati sa dalawang magkakaibang bahagi: isang bahagi ng imbakan at isang sangkap sa pagpoproseso. Sa mga pinakasimpleng tuntunin, Hapood ay gumagawa ng isang virtual server mula sa maraming mga pisikal na machine . Sa katunayan, namamahala si Hadoop sa komunikasyon sa pagitan ng maramihang mga makina kung kaya't nagtutulungan silang magkasamang malapit na lumilitaw na parang may isang makina na nagtatrabaho sa mga pagkalkula. Ang data ay ipinamamahagi sa maraming mga machine upang maimbak at Ang mga gawain sa pagpoproseso ay inilalaan at pinag-ugnay ng architecture ng Hadoop

. Ang ganitong uri ng sistema ay isang kinakailangan para sa pag-convert ng raw data sa kapaki-pakinabang na impormasyon sa laki ng input ng Big Data. Isaalang-alang ang dami ng data na natanggap ng Google bawat segundo mula sa mga gumagamit na nagpapasok ng mga kahilingan sa paghahanap. Bilang isang kabuuang bukol ng data, hindi mo alam kung saan magsisimula, ngunit ang Hadoop ay awtomatikong bawasan ang data na naka-set sa mas maliit, organisadong mga subset ng data at magtatalaga ng mga pinamamahalaang subset na ito sa mga partikular na mapagkukunan. Ang lahat ng mga resulta ay inuulat muli at tipunin sa magagamit na impormasyon .

Madaling maitakda ng isang server

Kahit na ang system ay kumplikado, karamihan sa mga gumagalaw na bahagi ay hindi naitatag sa likod ng abstraction. Ang pag-set up ng server ng Hadoop ay medyo simple , i-install lang ang mga bahagi ng server sa hardware na nakakatugon sa mga kinakailangan ng system. Ang mas mahirap na bahagi ay nagpaplano sa network ng mga computer na ang server ng Hadoop ay gagamitin upang ipamahagi ang mga tungkulin sa imbakan at pagpoproseso. Maaaring kasangkot ito sa pag-set up ng isang lokal na network ng lugar o pagkonekta ng maraming network nang sama-sama sa Internet . Maaari mo ring magamit ang mga umiiral na serbisyo ng ulap at magbayad para sa isang kumpol ng Hadoop sa mga sikat na cloud platform tulad ng Microsoft Azure at Amazon EC2. Ang mga ito ay mas madali upang i-configure ang bilang maaari mong iikot ang mga ito up ad hoc at pagkatapos decommission ang mga kumpol kapag hindi mo na kailangan ang mga ito ngayon. Ang mga uri ng mga kumpol na ito ay perpekto para sa pagsubok habang nagbayad ka lamang para sa oras na ang Hadoop cluster ay aktibo.

Paraan ng iyong data upang makuha ang impormasyong kailangan mo

Ang malaking data ay isang napakalakas na mapagkukunan, ngunit ang data ay walang silbi maliban kung maayos itong ikategorya at naging impormasyon. Sa kasalukuyan, ang Hadoop mga kumpol ay nag-aalok ng isang lubhang epektibong pamamaraan para sa pagpoproseso ng mga koleksyon ng data na ito sa impormasyon.