Apache Parquet

Apache Parquet ay isang "haligi" data storage format na partikular na nilikha para sa Apache Hadoop pamilya ng mga proyekto.

Parquet ay inirerekomenda na gagamitin sa malaking data, higit sa lahat dahil ito ay gumagamit ng isang komplikadong sistema data compression, umaasa sa isang serye ng mga na-optimize record lasi at muling pagpupulong algorithm.

Ito ay nagpapahintulot sa data na pinaghiwa-hiwalay, nakaayos sa isang nested format, at reassembled sa tuwing query.

Ang Parquet format ay maaari ding gamitin sa labas ng Hadoop ecosystem, na partikular na idinisenyo upang maging kasing agnostiko hangga't maaari, nagtatrabaho sa anumang uri ng data processing framework at data storage modelo.

< strong> Ano ang bago sa ito release:

• Palitan ang pangalan ng pakete at maven coordinate sa org.apache
• Magdagdag encoding stats upang ColumnMetaData
• Mga stream thrift API
• New lohikal uri

Ano ang bago sa bersyon 2.3.0:

• Palitan ang pangalan ng pakete at maven coordinate sa org.apache
• Magdagdag encoding stats upang ColumnMetaData
• Mga stream thrift API
• New lohikal uri

Limitasyon

• Ang mga proyekto ay pa rin sa ilalim ng pag-unlad sa lalagyan Apache pagpapapisa ng mga itlog at maaaring baguhin drastically mula sa bersyon sa bersyon.