S3QL

Sinusuportahan ng S3QL Amazon S3 pati na rin sa di-makatwirang SFTP server at epektibong ay nagbibigay sa iyo ng isang hard disk ng pabago-bago, walang katapusan na kapasidad na maaaring ma-access mula sa anumang computer na may internet access.
S3QL ay nagbibigay ng isang standard, full itinatampok na UNIX file system na conceptually hindi maulinigan mula sa anumang lokal na file system. Higit pa rito, S3QL ay may karagdagang mga tampok tulad ng compression, pag-encrypt, ang data de-pagkopya, walang pagbabago puno at snapshotting na gawing mas lalo na angkop para sa mga online backup at arkibal.
S3QL ay dinisenyo upang paboran ang pagiging simple at kagandahan sa paglipas ng pagganap at tampok-kilabot. Pangangalaga ay dadalhin sa gumawa ang source code bilang nababasa at maglingkod hangga't maaari. Solid error detection at handling error isinama mula sa unang linya, at S3QL ay may malawak na automated na mga kaso ng pagsubok para sa lahat ng mga bahagi nito.
Bago ma-mount ang isang file system, ang backend na matagal ang data ay dapat nasimulan. Ginagawa ito sa mkfs.s3ql command. Narito ginagamit namin ang Amazon S3 backend, at nikratio-s3ql-bucket ay ang S3 bucket kung saan ang file system ay maiimbak.
mkfs.s3ql S3: // nikratio-s3ql-bucket
I-mount ang sistema S3QL file na naka-imbak sa S3 bucket nikratio_s3ql_bucket sa direktoryo / mnt / s3ql, ipasok ang:
mount.s3ql S3: // nikratio-s3ql-bucket / mnt / s3ql
Ngayon ay maaari mong atasan ang iyong mga paboritong backup na programa upang magpatakbo ng isang backup sa directory / mnt / s3ql at ang data ay naka-imbak ng Amazon S3. Kapag tapos ka na, ang file system ay dapat unmount sa
umount.s3ql / mnt / s3ql

Mga Tampok :

• Transparency. Conceptually, S3QL ay hindi mapagsiya mula sa isang lokal na file system. Halimbawa, sinusuportahan ito ng hardlinks, symlink, ganap na mga pahintulot Unix, pinalawig na mga katangian at laki ng file ng hanggang sa 2 TB.
• Dynamic na Sukat. Ang laki ng isang S3QL file system ay lumalaki at Pinaliliit dynamic na bilang kinakailangan.
• Compression. Bago storage, lahat ng data ay maaaring compress gamit ang LZMA, BZIP2 o LZ algorithm.
• Pag-encrypt. Pagkatapos compression (ngunit bago i-upload), maaari AES-encrypt ang lahat ng data gamit ang isang 256 bit key. Isang karagdagang SHA256 HMAC checksum ay ginagamit upang protektahan ang data laban sa pagmamanipula.
• Data De-duplicate. Kung ilang mga file ay may magkaparehong mga nilalaman, ang mga paulit-ulit na data ay naka-imbak nang isang beses lamang. Ito ay gumagana sa lahat ng mga file na naka-imbak sa file system, at din kung lamang ang ilang bahagi ng mga file ay magkakahawig habang ang iba pang mga bahagi-iba.
• hindi nababago Trees. Puno Directory ay maaaring gawin walang pagbabago, kaya na ang kanilang mga nilalaman ay hindi na maaaring mabago sa anumang paraan kahit ano pa man. Ito ay maaaring magamit upang matiyak na ang pag-backup ay hindi maaaring baguhin matapos na ginawa.
• Kopyahin-on-Write / Snapshotting. S3QL maaari magtiklop buong puno na direktoryo nang hindi gumagamit ng anumang karagdagang espasyo sa imbakan. Tanging kung ang isa sa mga kopya ay nabago, ang bahagi ng data na na-modify na tatagal hanggang dagdag na espasyo sa imbakan. Ito ay maaaring magamit upang lumikha ng intelligent na mga snapshot na mapanatili ang estado ng isang direktoryo sa iba't ibang mga punto sa oras gamit ang isang minimum na halaga ng puwang.
• Mataas na Pagganap ng independiyenteng ng latency network. Ang lahat ng mga pagpapatakbo na hindi magsulat o magbasa ng mga nilalaman ng file (tulad ng paglikha ng mga direktoryo o paglipat, pagpapalit ng pangalan, at pagpapalit ng mga pahintulot ng file at mga direktoryo) ay napakabilis dahil ang dala nila ang walang anumang mga transaksyon sa network.
• S3QL Nakakamit na ito sa pamamagitan ng pag-save ang buong file at istraktura ng direktoryo sa isang database. Database na ito nang lokal na naka-cache at na-update ang remote kopya asynchronously.
• Suporta para sa mababang bandwidth na koneksyon. S3QL hating mga nilalaman ng file sa mas maliit na mga bloke at ang mga cache ng mga bloke nang lokal. Minimizes na ito ang parehong bilang ng mga transaksyon network kinakailangan para sa data pagbasa at pagsulat, at ang dami ng data na may upang ilipat kapag mga bahagi lamang ng file ay read o nakasulat.

Ano ang bagong sa paglabas:

• Ang mga pagtatangkang i-upgrade ang isang filesystem na ay narito na sa pinakabagong rebisyon Hindi na-render na hindi magamit kopyahin ang mga lokal na metadata.
• Google ng mga pangalan storage bucket na naglalaman ng mga tuldok hindi na maging sanhi ng mga problema sa pagpapatotoo ng SSL certificate.
• Pag-aayos ng isang pag-crash kapag statvfs () ay tinatawag na sa isang halos walang laman ang system file.
• Walang ay isang bagong & quot; swiftks & quot; backend para sa OpenStack / Swift server.
• -aalis ng isang kondisyon lahi na maaaring humantong sa mount.s3ql ang pag-crash sa isang & quot; KeyError sa koleksyon / abc.py & quot;.
• Pag-aayos ng pag-crash na maaaring mangyari kapag sinusubukang upang linisin pagkatapos matanggap ang isang koneksyon o server error kapag pag-upload ng isang bagay.

Ano ang bagong sa bersyon 2.2:

• Ginagamit na ngayon S3QL mga koneksyon ng SSL sa pamamagitan ng default at ma-verify certificate ng server.
• Ang isang kundisyon lahi na nagresulta sa isang nakikitang pagkawala ng remote metadata ay naayos na.
• Ang S3 backend tinatanggal ngayon ng maramihang mga object imbakan gamit ang isa kahilingan kung maaari, pagbabawas ng latency, trapiko, at bilang ng mga kahilingan sa S3.
• S3QL ay magawang makita ang server error at redirections bago ang lahat ng data ay naipadala sa server ngayon.
• Isang bagong 'rackspace' backend na nagbibigay-daan sa pagtutukoy ng bagay na imbakan rehiyon sa imbakan URL ay idinagdag.
• Nagbibigay-daan na ngayon ang mount.s3ql --compress opsyon na detalye ng antas ng compression.

Ano ang bagong sa bersyon 1.15:

• Cycling ng backup ng metadata kapag ginagamit ang mga lokal na backend ngayon magkano ang inaabot mas kaunting oras.
• Ito ay hindi na kinakailangan na S3QL at Python APSW ma-link sa parehong SQLite nakabahaging library.
• Sa mount.s3ql, isang pag-crash kapag gumagamit ng --metadata-upload-agwat ay 0 naayos na.
• Sa halip na ganap unmounting sa file system (at hindi umaalis sa puntong bundok hindi naa-access) kapag backend data ay nawawala o sira, nagbabalik ngayon S3QL ng error at switch sa read-only pagpapatakbo.

Ano ang bagong sa bersyon 1.13:

• Ang bersyon na ito Inaayos ng isang bug na sanhi sirang metadata na nakasulat out kapag ginagamit ang kamakailang eglibc bersyon.
• Inaayos nito ang mga isyu kapag sinusubukang i-access ang isang direktoryo sa root ng filesystem na kamakailan-lamang ay tinanggal gamit s3qlrm.
• kunwari ACL suporta ay inalis na.
• mas mahusay na release na ito ay handle bucket na may mga pangalan ng di-wastong DNS.
• Ito ay subukang muli kung DNS ay hindi available.

Ano ang bagong sa bersyon 1.11.1:

• Ang bersyon na ito Inaayos ng isang pag-crash kapag ginagamit ang S3 backend (pagbabalik ipinakilala sa paglabas 1.11), pinatataas ang minimum na iniulat laki filesystem sa 1 TB, at gumagana sa paligid ng isang bug df kaya laki ay iniulat ng maayos.

Ano ang bagong sa bersyon 1.11:

• Metadata tungkol sa mga bagay na nakaimbak ay nahati ngayon sa maraming mga patlang, kaya walang patlang na ito ay mas mahaba kaysa sa 256 mga byte. (Ito ay gumagawa ng S3QL tugma sa isang mas malawak na hanay ng mga nagbibigay ng imbakan.) Ang SWIFT backend retries ngayon kung ito na natatanggap ng 5xx mga code ng error mula sa remote na server, at hindi na nabigo kapag sinusubukang i-upload ang data na may nag-expire na token auth.

Ano ang bagong sa bersyon 1.10:

• Ang s3s, s3cs, at GSS backends ang natanggal. Gamitin ang bagong --ssl opsyon kasama ang S3, s3c, at .gs backends sa halip.
• Hindi na nagpapanatili sa S3QL track ng garantiya pagkakapare-pareho para sa iba't ibang mga backends.
• Ang pagpapataas ng bilang ng iba't ibang mga storage provider nag-aalok ng iba't ibang mga rehiyon, kalabisan, at mga antas ng availability Ginagawa ito na hindi na magagawa.
• Ang Gabay ng Gumagamit ay naglalaman ng isang bagong seksyon, & quot; Mahalaga Panuntunan sa Iwasan ang pagkawala ng Data & quot;.
• Binabasa ang madiin naming minumungkahi.

Ano ang bagong sa bersyon 1.9:

• Ang bersyon na ito ay ginagawang beses file hindi na mababago kapag ang pagbabago ng sistema ang time zone, pag-aayos at nagpapabuti sa contrib / benchmark.p, Inaayos ang & quot; Masyadong maraming chained redirections & quot; bug, retries sa mga error sa server 5xx, at nagdaragdag ng mga pang-eksperimentong katutubong suporta para sa OpenStack / SWIFT server at proxy pang-eksperimentong suporta.

Ano ang bagong sa bersyon 1.8:

• Ang isang & quot; ValueError: Hindi dump null halaga & quot; kapag metadata file system na-upload sa panahon ng mabibigat na aktibidad na file system ay naayos ng pag-crash.
• s3qlcp at direktoryo ng pagganap para sa mga napakalaking mga direktoryo ng listahan ay napabuti.
• Ang isang pagbabalik pagganap Rm ay naayos na.
• -. Blocksize ay muling pinangalanan sa --max-obj-size
• Ang ilang mga pag-crash na naganap sa ilalim ng husto sabay-sabay na paggamit ng file system ay naayos na.
• python-llfuse 0.37 ay ginagamit ngayon.

Mga Limitasyon :

• May pa rin ng maraming mga bug sa code at dapat ay handa na upang harapin ang ang mga ito. Gayunpaman, maaari kang maging makatuwirang natitiyak na ang mga bug (kahit na hindi bagay) ay hindi ilagay sa panganib ang iyong mga naka-imbak ng data.