DataCleaner

DataCleaner ay isang open source at libre na solusyon para sa mga organisasyon at mga negosyo na nais upang madagdagan at sukatin ang kalidad ng kanilang data.
Sa DataCleaner, ang mga gumagamit ay magagawang sa profile, ihambing, patunayan data laban sa mga patakaran ng negosyo, at subaybayan ang pag-unlad ng mga sukat sa paglipas ng panahon.
Kabilang sa mga tampok nito, maaari naming banggitin monitoring data, profiling data at pagtatasa DQ, data hugas at pagpapayaman, tuklasin at pagsamahin ang mga duplicate, kalidad ng data ng customer, pati na rin ang pinaka-mabilis ETLightweight (Extract-ibang-anyo-Load).
Upang matuto nang higit pa tungkol sa mga pag-andar at mga kakayahan DataCleaner, pati na rin kung paano gumagana sa mga ito, mangyaring sumangguni sa http://eobjects.dk/docs

What ay bago sa paglabas :

• Ang mga pagpapabuti at mga bagong tampok:
• Gumawa kami ng posible upang lumikha at i-drop talahanayan sa pamamagitan ng desktop UI ng DataCleaner. Tandaan na ang mga kataga & quot; table & quot; dito ang tunay na sumasakop sa higit pa sa pamanggit talahanayan ng database. Kasama rin dito Sheet sa MS Excel datastores, koleksyon sa MongoDB, mga uri ng Document sa CouchDB at ElasticSearch at iba pa ... Talaga lahat ng uri datastore na sumusuporta sa write-operasyon, maliban datastores single-talahanayan tulad ng datastores CSV, suportahan ang functionality na ito! Ang pag-andar ay nailantad sa pamamagitan ng:
• & quot; Lumikha table & quot; pinagana sa pamamagitan ng right-click menu ng schema sa tree sa kaliwang bahagi ng application.
• & quot; Lumikha table & quot; Pinagana din sa pamamagitan ng table-selection input sa mga sangkap tulad ng Insert sa table, lookup table at Update table.
• & quot; Drop table & quot; pinagana sa pamamagitan ng right-click menu ng mga table sa tree sa kaliwang bahagi ng application.
• Nagdagdag kami ng (opsyonal) kakayahan ng pagtukoy ng iyong mga serbisyo ng web Salesforce.com Endpoint URL. Ito ay nagpapahintulot sa inyo na gamitin ang DataCleaner upang kumonekta sa sandbox kapaligiran ng Salesforce.com pati na rin sa iyong sariling pasadyang mga dulo.
• Ang ElasticSearch support ay napabuti, na nagpapahintulot sa mga pasadyang mga pagmamapa pati na rin ang muling paggamit ng mga ElasticSearch kahulugan datastore ngayon din para sa paghahanap at pag-index.
• Ang mga halimbawa ng mga rekord at mga pagpipilian ng mga potensyal na mga duplicate sa mga Duplicate detection function ay pinabuting, na humahantong sa mas mabilis na pagsasaayos dahil ang mga desisyon na ginawa sa panahon ng session pagsasanay ay mas kinatawan.
• Ang Duplicate detection format ng file ng modelo ay na-update na inalis ang kailangan para sa isang hiwalay na file 'reference' upang i-save ang mga nakalipas na mga pagpapasya na pagsasanay. Kaangkupan sa mga lumang format ay mananatili, ngunit gamit ang bagong format nagdadagdag ng maraming mga benepisyo para sa mga karanasan ng user.
• Bugfixes:
• Ang isang isyu thread gutom ay naayos na sa DataCleaner monitor. Ang epekto ng isyu na ito ay mahusay, ngunit ito ang nangyari lamang sa bihirang at napaka-customize na mga kaso. Kung custom tagapakinig bagay sa DataCleaner monitor ay ihagis ng isang error, ito ay magreresulta sa isang mapagkukunan na hindi kailanman ay napalaya up at pagkuha up ng isang thread mula sa Quartz-iiskedyul ng pool sa server. Kung ito ay mangyayari ng maraming beses ang server ay maaaring huli maubusan ng thread sa na pool.
• Ang vertical menu sa screen ng resulta ngayon ay ginagawa ng isang maayos na trabaho ng pagpapakita ng mga etiketa ng mga sangkap na magkaroon ng mga resulta. Ginagawa nitong mas madali upang makilala kung aling menu item puntos sa kung ano ang item na resulta.

Ano ang bagong sa bersyon 3.5.7:

• Ang 'kasingkahulugan lookup' pagbabago ay may isang opsyon na ngayon upang tumingin up ang bawat token ng pag-input. Ito ay kapaki-pakinabang kung ikaw ay gumagawa ng kapalit ng mga kasing-kahulugan sa loob ng mga halaga ng isang mahabang patlang ng teksto.
• Pag-block ng pagpapatupad ng DataCleaner trabaho sa pamamagitan ng mga serbisyo ng web ng monitor para sa mga ito kung minsan ay mabibigo sa isang bug na sanhi ng pag-block thread. Ang isyu na ito ay naayos na.
• Isang pagpapabuti ay ginawa sa trabaho na paraan at ang pagkakasunod-sunod ng mga bahagi ay sarado / clean up pagkatapos ng execution.
• Ang JNLP / Java WebStart bersyon ng DataCleaner ay napakita sa pamamagitan ng isang bug sa Java runtime nagiging sanhi ng ilang mga jar file na hindi kinikilala ng WebStart launcher, sa ilalim ng ilang mga pangyayari. Ang isyu na ito ay naayos na sa pamamagitan ng paggawa ng bahagyang pagbabago sa mga jar file.
• Ang ilang mga patay na link sa papeles ay naayos na.

Ano ang bagong sa bersyon 3.5.4:

• Ito ay posible na ngayon upang itago ang mga haligi output ng Pagbabago . Pagtatago ay hindi makakaapekto sa daloy ng processing sa lahat, ngunit lamang itago ang mga ito mula sa mga user interface, at sa gayon potensyal na paggawa ng mas malinis na ang mga karanasan, kapag nakikipag-ugnayan sa iba pang mga sangkap.
• Ang isang bagong serbisyo sa web ay naidagdag na sa ang pagmamanman ng web application, na nagbibigay ng isang paraan upang poll ang katayuan ng pagpapatupad ng isang partikular na trabaho.
• Ang isang bug ay maayos, nagiging sanhi ng mga ulat na HTML na hindi magawa dahil sa tiyak na mga uri ng pagtatasa kapag walang mga talaan ay na-proseso.
• At 6 iba pang mga menor de edad bug ay adressed.

Ano ang bagong sa bersyon 3.5.1:

• Capture nagbago talaan:
• Ang isang bagong filter ay naidagdag upang paganahin ang incremental na pagproseso ng mga talaan na hindi pa na-proseso bago, hal para sa profiling o pagkopya binago lamang records. Ang pangalan ng mga bagong filter ay Capture nagbago records, tumutukoy sa mga konsepto ng capture Baguhin data.
• Nakapila na pagpapatupad ng mga trabaho:
• Ang DataCleaner monitor lilinya ngayon ang pagpapatupad ng parehong trabaho, kung ito ay na-trigger ng maraming beses. Tinitiyak nito na hindi mo sinasadyang tumakbo ang parehong trabaho concurrently na maaaring humantong sa lahat ng mga uri ng mga isyu, depende sa kung ano ang ginagawa ng trabaho.
• Maliliit na bugfixes:
• Maraming bugfixes ay ipinatupad.

Ano ang bagong sa bersyon 3.5:

• Maraming mga wizard ay magagamit na ngayon para sa pagrerehistro datastores; kabilang ang file-upload sa server para sa CSV file, entry database ng koneksyon, may gabay na pagpaparehistro ng Salesforce.com credentials at iba pa.
• Ang mga wizard gusali trabaho ay may din ay pinalawak na may ilang mga pinahusay na mga katangian; Pinili ng pamamahagi ng halaga at pattern sa paghahanap ng mga patlang sa Quick analysis wizard, isang ganap na bagong wizard para sa paglikha EasyDQ trabaho batay paglilinis customer at ng isang bagong wizard ng trabaho para sa pagpapaputok Pentaho Integration Data trabaho (magbasa nang higit pa sa ibaba).
• Maaari mo na ngayong ad-hoc direktang tanong sa anumang datastore sa web user interface. Ginagawa nitong mas madali upang makakuha ng mabilis o hiwa-hiwalay na mga pananaw sa mga data na walang-set up ng mga trabaho o iba pang mga pinamamahalaang approach ng pagproseso ng data.
• Kapag trabaho o datastores ay nilikha, ang gumagamit ay guided upang gumawa ng pagkilos sa mga bagong tayong object. Halimbawa, maaari mong mabilis na magpatakbo ng isang trabaho kanan matapos na ito ay binuo, o isang query ng isang datastore ito pagkatapos na ito ay nakarehistro.
• Ang mga administrator ay maaari na ngayong direktang mag-upload ng mga trabaho sa lalagyan, na kung saan ay lalo na madaling gamitin kung gusto mong ipasa-edit ang XML na nilalaman ng mga file ng trabaho.
• Ang isang pulutong ng mga teknikal na cruft ay nakatago ang layo ngayon sa pabor ng pagpapakita ng simpleng dialog. Halimbawa, kapag ang isang trabaho ay nag-trigger ng isang malaking indicator loading ay ipinapakita, at kapag natapos ay ipapakita ang mga resulta. Ang mga advanced na pag-log screen na dati ay may maaari pa ring ipinapakita pagkatapos ng pag-click sa isang link para sa mga karagdagang detalye.

Ano ang bagong sa bersyon 3.1.2:

• Nagdagdag kami ng isang web serbisyo sa pagmamanman ang mga aplikasyon para sa pagkuha ng isang (listahan ng mga) metric halaga. Ginagawa nitong ang monitoring kahit na mas kapaki-pakinabang bilang isang pangunahing bahagi ng imprastraktura, bilang isang paraan upang masubaybayan ang data (quality) at ilantad ang mga resulta sa third party na application.
• Ang component 'Table lookup' ay na-pinabuting sa pamamagitan ng pagdaragdag sumali semantics bilang configurable property. Paggamit ng mga sumali semantics maaari kang mag-tweak kung nais mo ang lookup upang gumana semantically tulad ng isang kaliwa SUMALI o isang Inner SUMALI.
• Ang mga bahagi EasyDQ may na-upgrade, ang pagdaragdag ng karagdagang mga pagpipilian sa configuration at isang mas mayamang interface resulta Deduplication.
• Pagpapabuti ng pagganap na ito ay isang tiyak na pokus ng mga ito release. Pagpapabuti na ito ay ginawa sa engine ng DataCleaner sa higit pang magamit ang isang diskarte streaming processing sa ilang mga kaso na sulok kung saan ay hindi sakop ng dati.

Ano ang bagong sa bersyon 3.1.1:

• Ang mga petsa at mga pagpipilian sa pagsusuri oras na may kaugnayan ay pinalawak , ang pagdaragdag ng analyzers pamamahagi para sa mga numero ng linggo, buwan at taon. Lahat analyzers kaugnayan sa petsa at oras ay naka-grupo ngayon sa loob ng submenu na tinatawag na & quot; Petsa at oras & quot; sa ilalim ng & quot; Pag-aralan ang & quot;.
• Isang opsyonal na & quot; mapaglarawang mga istatistika & quot; option ay naidagdag na sa mga Numero analyzer at ang Petsa / oras analyzer. Nagdadagdag ng pagpipilian na ito ng karagdagang mga sukatan upang ang mga resulta ng mga analyzers, tulad ng mga taga Media, skewness, percentiles at kurtosis. Ang mga panukat na ito ay opsyonal mula sa kanilang memory bakas ng paa ay medyo mas malaki kaysa sa mga umiiral na mga sukatan.
• Ang mga linya sa chart timeline ng web application monitoring ngayon ay may maliit na tuldok sa mga ito. Ito ay lalong kapaki-pakinabang para sa mga tsart na may ilang (o kahit isa lamang) obserbasyon sa mga ito -. Upang ituro kung saan mismo ang observation puntos ay
• Ang query parser kapag invoking query ad-hoc na rin ay malaki pinabuting. Ngayon tanong ay maaaring maglaman ng hiwalay clause, * -wildcards, subqueries at kasalanan-mapagparaya patungo isyu text-case.
• Dalawang bagong transformer ang naidagdag para sa pagbuo ng UUIDs at para sa pagbuo ng mga timestamp.

Ano ang bagong sa bersyon 3.1:

• formula Metric - elaborated KPI Kalidad Data:
• Ngayon ay posible upang bumuo ng mas masalimuot KPI Kalidad Data sa pagmamanman ng web application DataCleaner ni. Ang user interface ay nagbibigay-daan sa iyo upang bumuo ng mga kumplikadong mga formula sa isang spreadsheet-tulad ng estilo formula; paggamit ng mga variable na nakolekta sa pamamagitan DataCleaner trabaho.
• formula Metric maaaring ipagsama ang anumang bilang ng mga sukatan, constants at mga operasyon, hangga't maaari itong ipinahayag sa isang mathematical equation.
• Halimbawa - sukatin ang mga rate ng dobleng mga talaan sa porsyento ng kabuuang bilang ng record. O masukat ang halaga ng mga code ng produkto na sumunod sa isang hanay ng mga maramihang pattern string.
• Ad-hoc querying - ng anumang datastore:
• Sa DataCleaner 3.1 maaari mo na ngayong magsagawa ng mga query sa ad-hoc sa anumang datastore! Mga query ay maaaring ipinahayag sa plain SQL at ay ilalapat sa database pati na rin ang mga file, NoSQL database at iba pa, na nagbibigay ng isang tunay na kapaki-pakinabang na mekanismo query na umaabot sa iyong karanasan sa pagtuklas at data profiling.
• Ang option query ay makukuha rin sa pamamagitan ng isang web serbisyo sa pagmamanman user na may mga ADMIN papel. Ang tanong ay ibinigay bilang isang HTTP parameter o POST katawan, at ang resulta ay ibinigay bilang isang XHTML table.
• Value matcher - isang bagong opsyon analysis:
• Kadalasan beses mayroon kang isang matatag na ideya sa kung aling mga halaga ay dapat na pinapayagan at inaasahan para sa isang partikular na larangan. Sa DataCleaner mayroong palaging ng opsyon analysis Value Distribution kung saan ay makakatulong sa iyo igiit ang iyong palagay. Sa DataCleaner 3.1 bagaman, mayroon kang isang mas tiyak na handog - ang Halaga matcher. Ito ay nagpapahintulot sa option analysis sa iyo upang tukuyin ang isang hanay ng mga inaasahang halaga at pagkatapos ay gawin ang halaga ng pamamahagi tulad ng pagtatasa, na partikular na upang patunayan at makilala ang mga hindi inaasahang mga halaga.
• Kinokopya, pagtanggal at pamamahala ng mga trabaho:
• Pamamahala ng mga trabaho at mga resulta sa DataCleaner monitor application ay lubos na pinabuting. Maaari mo na ngayong i-click ang isang trabaho sa pahina ng Pag-iiskedyul ng monitor, at makahanap ng mga pagpipilian sa pamamahala na magagamit para sa mga pagpapatakbo tulad ng pagpapalit ng pangalan, pagkopya, pagtanggal at higit pa. Nirerespeto bawat operasyon ang ugnayan sa iba pang mga artifacts sa monitor, tulad ng mga resulta ng pagtatasa, iskedyul at marami pa. Ito ay nangangahulugan na ang pamamahala ng taguan pagmamanman ay naging isang pulutong mas madali at mature.
• Pamahalaan ang kasaysayan ng kalidad data:
• Kung minsan naka ka mga sitwasyon kung saan ang tunay na nais na gawin ang pagsubaybay sa makasaysayang data nakaharap! Maaaring ito ay na ikaw ay may makasaysayang lungkot o mga backup ng database, na kung saan nais mong ipakita at sabihin ang kuwento ng. Maaari mo na ngayong gawin ang mga pagtatasa ng makasaysayang data, i-upload ito sa DataCleaner monitor, at ang paggamit ng isang bagong serbisyo sa web, i-set ang isang makasaysayang data ng mga partikular na resulta ng pagtatasa. Ito ay nangangahulugan na ang iyong mga timeline ay maayos na plot ang mga resulta ng paggamit ng kanilang mga hinahangad na petsa, ngunit sa mga resulta na iyong nakolekta siguro sa ibang punto sa oras.
• Clustered scheduler support (ee lamang):
• Ang scheduler ng DataCleaner monitor ay externalized, kaya na ito ay maaaring mapalitan sa pamamagitan ng paraan ng simpleng configuration. Sa Enterprise Edition (ee) ng DataCleaner, nagbibigay kami ng isang tinipong scheduler, na nagbibigay ng kakayahan upang i-load balanse at ipamahagi ang iyong mga pagbitay sa kabuuan ng isang kumpol ng mga machines.
• Single-signon (SSO) gamit Cas (ee lamang):
• Sa Enterprise Edition (ee) ng DataCleaner nagbibigay kami ng isang pagpipilian single-signon para sa monitor application ngayon. Ngayon DataCleaner maaaring maging isang pinagsamang bahagi ng iyong IT infrastructure, ring security-pera.
• ... At marami pa:
• sa itaas ay isang buod lamang. Higit sa tatlumpung mga isyu ay nalutas sa paglabas. May lutasin kaming ilang mga kahilingan na nagmumula sa mga forum at komunidad, at hinihikayat namin ang lahat na gamitin ang medium na ito bilang isang sasakyan para sa pagbabago. Kami ay labis na masaya na gawin ang pag-unlad ng DataCleaner mabigat na naiimpluwensyahan sa pamamagitan ng mga stream sa komunidad.

Ano ang bagong sa bersyon 3.0.3:

• Nagdadagdag ng isang serbisyo para sa pagpapalit ng pangalan ng mga trabaho sa repository monitoring .
• Maaari mong ma-access ang mga ito bilang isang tahimik na serbisyo sa Web o interactive sa UI.
• Ang isang Web serbisyo ay idinagdag para sa pagpapalit ng mga makasaysayang petsa ng isang resulta ng pagtatasa sa lalagyan ng pagsubaybay.
• Ang Web application na ito ay ginawa katugma sa legacy JSF lalagyan.
• Pag-cache ng configuration sa Web application ay lubhang pinabuting, na humahantong sa mas mabilis na oras ng pagkarga ng pahina at Pinasimulan trabaho.

Ano ang bagong sa bersyon 3.0.2:

• Kapag nagti-trigger ng trabaho sa web application monitoring, ang panel auto-refresh ang bawat segundo upang makuha ang pinakabagong estado ng execution.
• based File-datastores (tulad ng CSV o Excel spreadsheet) na may lubos na landas ay tama ang nalutas na ngayon sa pagmamanman ng web application.
• Ang & quot; Pumili mula sa key / halaga na mapa & quot; Sinusuportahan na ngayon ng transformer nested piliin expression tulad ng & quot; Address.Street & quot; o & quot; OrderLines [0] .product.name & quot;.
• Ang mekanismo lookup table ay nai-optimize para sa pagganap, gamit ang mga pahayag na inihanda kapag tumatakbo laban JDBC database.
• Ang mga administrator ay maaari na ngayong i-download ang file-based datastores nang direkta mula sa & quot; datastores & quot; pahina.
• Exception paghawak sa pagmamanman ng web application ay pinabuting ng kaunti, na ginagawang mas tumpak at madaling maunawaan ang mga mensahe ng error.