Dapper Dataflow Engine

maselang nakasuot (ipinamamahagi at Parallel Program Pagpapatupad Runtime) ay isang kasangkapan para sa taming ang complexities ng pagbuo para sa malakihan ulap at grid computing, pagpapagana ng mga gumagamit na lumikha ibinahagi komputasyon mula sa mahahalaga - ang code na Execut
Bakit maselang nakasuot?
Kami ay nakatira sa mga kagiliw-giliw na beses, na kung saan ang breakthroughs sa siyensiya unting depende sa lumalaking availability at kasaganaan ng commoditized, network computational mapagkukunan. Sa tulong ng mga ulap o grid, computations na iba ang tumakbo para sa araw sa isang solong desktop machine ngayon ay ibinahagi at / o parallel formulations na maaaring magbati sa pamamagitan ng, sa isang bagay ng oras, set input sampung beses bilang malaki sa isang daang machine . Bilang kaakit-akit bilang ang ideya ng lakas sa mga numero ay maaaring, nagkakaroon lamang ng pisikal na hardware ay hindi sapat - isang programmer ay sa bapor ang aktwal na pagtutuos na tatakbo sa mga ito. Samakatuwid, ang mataas na halaga na nakalagay sa pagsisikap ng tao at pagkamalikhain ay nangangailangan ng isang programa sa kapaligiran na nagbibigay-kakayahan, at kahit na naghihikayat, maikli at malinaw na pagpapahayag ng ibinahagi computations, at pa sa parehong panahon ay hindi sakripisyo pahayag.
Maselang nakasuot, nakatayo para sa ibinahagi at Parallel pagpapatupad Program Runtime, ay isa tulad kasangkapan para sa mga bridging mga detalye ng mataas na antas ng mga scientist / programmer na makuha ang kakanyahan ng isang programa, na may mababang mga mekanismo level na sumasalamin sa hindi kanais-nais na katotohanan ng ibinahagi at parallel computing. Sa ilalim ng kanyang dataflow-oriented diskarte, maselang nakasuot daan sa mga gumagamit upang code sa local Java at magsagawa globally sa ulap o grid. Unang magsusulat user ay codelets, o maliit na snippet ng code na maisagawa ang mga simpleng gawain at hindi, sa kanilang sarili, ay bumubuo ng isang kumpletong programa. Pagkatapos, siya ay tumutukoy kung paano ang mga codelets, makikita bilang vertices sa dataflow, magpadala ng data sa bawat isa sa pamamagitan ng mga relasyon gilid. Ang resultang itinuro graph acyclic dataflow ay isang kumpletong programa interpretable ng maselang nakasuot server, na kung saan, sa pagiging ugnayan sa pamamagitan ng matagalan worker kliyente, maaari coordinate ng isang ipinamamahagi pagpapatupad.
Sa ilalim ng maselang nakasuot model, hindi na kailangang mag-alala tungkol sa kaugalian ng ad-hoc na aspeto ng pamamahala ng mga ulap o grid, kung saan kasama ang paghawak interconnects at dependencies data, Pagbawi mula sa mga error, pamamahagi code, at simula ng trabaho sa mga gumagamit. Marahil na mas mahalaga, ito ay nagbibigay ng isang buong toolchain at runtime Java-based para sa framing ay halos lahat ng mga bulgar haspe ibinahagi computations sa isang pare-parehong format na nagbibigay-daan para sa mabilis na paglawak at madaling padala sa ibang mga mananaliksik.

Mga Tampok :

• Ang isang code distribution system na nagpapahintulot sa maselang nakasuot server upang magpadala ng mga kinakailangang programa ng code sa loob ng mga network at may mga kliyente dynamically-load ito. Ang resulta ng mga ito ay na, maliban sa mga panlabas na mga executables, mga update sa maselang nakasuot programa na kailangan lamang mangyari sa server-side.
• Ang isang malakas na subflow method embed para sa mga dynamic pagbabago ng dataflow graph sa runtime.
• Ang isang runtime sa Vanilla Java, isang wika na marami ay walang alinlangan pamilyar sa. Bukod sa mga pangangailangan ng isang kamakailan-lamang na JVM at opsyonal Graphviz Dot, maselang nakasuot ay matimpi.
• Ang isang mahusay na control protocol. Inaasahan ng maselang nakasuot server ng anumang bilang ng mga kliyente upang mabigo, sa anumang oras, at may customizable re-pagpapatupad at timeout patakaran upang makaya. Dahil dito, ang isa ay maaaring magsimula at huminto (matagalan) kliyente nang walang takot na ang paglagay sa buong sistema sa isang pabagu-bago ng estado.
• Flexible semantics na nagpapahintulot ng paglipat ng data sa pamamagitan ng mga file o TCP batis.
• Interoperability sa firewalls. Dahil ang iyong mga lokal na ulap o grid marahil ay nasa likod ng isang firewall, kami ay devised espesyal semantics para sa streaming paglipat ng data.
• Liberal tuntunin paglilisensya. Maselang nakasuot ay inilabas sa ilalim ng LGPL upang maiwasan ang kontaminasyon ng iyong codebase.
• Operation bilang isang naka-embed na application. Inilalarawan A user manual programming API na maaaring sundin ang mga gumagamit upang patakbuhin ang mga maselang nakasuot server sa loob ng isang application tulad ng Apache pusang lalaki.
• Operation bilang isang standalone na user interface. Sa mga ito, ang isa ay maaaring magpatakbo ng off-the-shelf na demo at alamin ang mga pangunahing konsepto mula sa visual na mga halimbawa. Sa pamamagitan ng pagsunod ng isang minimal na hanay ng mga kombensiyon, maaaring pagkatapos ng isa bundle ng sariling maselang nakasuot programa bilang archives pagpapatupad, at pagkatapos ay makakuha realtime status dataflow at feedback debugging.

Ano ang bago sa release na ito:

• Ang paraan ServerLogic # closeIdleClients ay nabago na sa mas mahusay na tumutugma sa intuitive paniwala user ng katamaran.
• option isang user para sa pagtukoy ng hostname ng server ay naidagdag na.
• Networking internals ay reworked na gumamit ng bagong APIs.
• Ang proseso ng build ay nai-update upang suportahan ang parehong 32- at 64-bit Windows cross-compilation.
• maselang nakasuot Ang. * Hierarchy ay pinalitan ng pangalan upang org.dapper. *.

Ano ang bago sa bersyon 0.96:

• Added ang FlowListener abstraction, sa gayon ay maaari iugnay ngayon metadata gumagamit may dataflows at ang kanilang mga nodes.
• Mga Fixed isang memory tumagas sa maselang nakasuot server.
• Idinagdag apiviz doclet tag upang ang relasyon sa pagitan ng mga klase ay maaaring maging mas mahusay na makita.
• Added apiviz para sa paggunita ng mga dependencies sa Javadoc.
• Mga Fixed isang maliit na bug sa BuildAndTest executable.
• Ang proseso ng build ay ganap na naisama na ngayon sa Apache Ivy. Ang source pamamahagi ngayon na ships sa SST. Sa halip, ang dependencies ay awtomatikong nai-download; kung hindi na, maaaring i-download ang isa sa mga source SST, sumulat ng libro na ito, at i-publish sa isang lokal na repository. Tingnan manual para sa karagdagang detalye.
• Na-update build proseso at inalis maulit hakbang.

Abiso
• Gawing normal ang copyright at lisensya sa lahat ng mga file.
• Java 1.6 ngayon ay kinakailangan upang bumuo at tumakbo.
• Baguhin ang build proseso upang gamitin Apache Ivy, na nangangahulugan na ang mga panlabas na dependencies na kailangang na nakabalot sa mga pangunahing distribution SST.
• 'doxygen' target Added upang bumuo ng proseso upang ang mga katutubong sangkap ay maaaring dokumentado.

Ano ang bago sa bersyon 0.95:

• Ang isang bagong, infrastructure flexible logging ay naidagdag
• initializers para logging istruktura ay inilipat sa labas ng Server at Client klase at sa mga driver.
• May hangganan ng estado machine ay na-update sa bagong annotation-driven na API.
• Ang source code ay na-normalize na may 8 na mga puwang sa halip ng mga tab.

Ano ang bago sa bersyon 0.94:

• Mga opsyon Command linya para sa mga client at server ay magagamit na ngayon, kagandahang-loob ng Apache Commons CLI library.
• Ang proseso ng client lifecycle ngayon ay tinukoy bilang nagtatapos kapag ang isang idiskonekta mula sa server ang mangyayari.
• stem generation functionality ay inilipat mula sa pagiging isang miyembro ng paraan ng OutputHandleResource sa pagiging isang static na paraan ng CodeletUtilities.
• Ang FlowNodeFactory klase ay ginagamit sa pabor ng direct Instantiation ng FlowNodes.
• Building ng katutubong sangkap ay lumipat sa CMake.
• Logging ay lumipat sa SLF4J.
• Ang isang Readme ay naidagdag na sa lahat ng distribusyon.

Ano ang bago sa bersyon 0.93:.

• Lubhang pinabuting paturo mga halimbawa
• Na-update manual.
• Added convenience gawain sa dapper.codelet.CodeletUtilities para sa mapagkukunan querying.
• Inalis Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource, at FileBatchResource. Sila ay pinalitan ng ang konsepto ng abstract na humahawak ng data sa form ng HandleEdge, InputHandleResource, OutputHandleResource. Tingnan manwal para sa mga pagbabago.
• Na-update dapper.codelet.Resource mag-export ng mga input at output stream.

Kinakailangan :

• Java 2 Standard Edition Runtime Environment