Apache Hadoop ay una na binuo sa pamamagitan ng Yahoo at ang proyekto ay isang kumbinasyon sa pagitan ng mga nakaraang Apache Hadoop Core at Apache Hadoop Common repos.
Ang Hadoop proyekto ay nagkamit ng isang pulutong ng pagiging sikat salamat sa kanyang mahusay na mga resulta sa pagpapatupad ng isang multi-server ipinamamahagi computing system para sa paghawak ng malaking halaga ng data.
Ang proyekto mismo ay aktwal na ginawa ng apat na bahagi. Ang isa ay Hadoop Common, sa gayon tinatawag na core na nagpapahintulot sa lahat ng iba pang mga modules upang gumana, ang pangalawang ay ang kanyang napaka-sariling filesystem - HDFS (Hadoop Naipamahagi File System), ang ikatlong ay ang Hadoop Sinulid scheduling framework, at sa wakas doon ay ang Hadoop MapReduce sistema para sa pagsuporta sa parallel computing.
Ang paggamit ng mga lupa paglabag ng sistema, ang Apache ay pinamamahalaang upang lumikha ng maraming iba pang mga proyekto side, tulad ng:
- Apache Ambari
- Apache Avro
- Apache Cassandra
- Apache HBase
- Apache Hive
- Apache kutsero ng mga elepante
- Apache Pig
- Apache Spark
- Apache Tez
- Apache Zookeeper
Ang lahat ng mga umaasa sa malakas na data sa pagpoproseso ng engine Hadoop o nito ipinamamahagi computing mga tampok, pagsasama ang isa sa kanyang mga module sa kanilang mga core ni isang paraan o sa iba pang.
Ano ang bago sa ito release:
- Suporta para sa Archival Storage
- Transparent data nagpapahinga encryption (beta)
- Operating ligtas DataNode nang hindi nangangailangan ng root access
- Hot swap drive: support magdagdag / alisin ang data node volume nang walang restarting data node (beta)
- AES suporta para sa mas mabilis wire encryption
- Suporta para sa matagal na tumatakbo serbisyo sa Sinulid
- Support node label sa panahon iiskedyul
- Suporta para sa oras-based na mapagkukunan reserbasyon sa Capacity Scheduler (beta)
- Global, shared cache para artifacts application (beta)
- Support pagtakbo ng aplikasyon natively sa Docker lalagyan (alpha)
Ano ang bago sa bersyon 2.7.1:
- Suporta para sa Archival Storage
- Transparent data nagpapahinga encryption (beta)
- Operating ligtas DataNode nang hindi nangangailangan ng root access
- Hot swap drive: support magdagdag / alisin ang data node volume nang walang restarting data node (beta)
- AES suporta para sa mas mabilis wire encryption
- Suporta para sa matagal na tumatakbo serbisyo sa Sinulid
- Support node label sa panahon iiskedyul
- Suporta para sa oras-based na mapagkukunan reserbasyon sa Capacity Scheduler (beta)
- Global, shared cache para artifacts application (beta)
- Support pagtakbo ng aplikasyon natively sa Docker lalagyan (alpha)
Ano ang bago sa bersyon 2.7.0:
- Suporta para sa Archival Storage
- Transparent data nagpapahinga encryption (beta)
- Operating ligtas DataNode nang hindi nangangailangan ng root access
- Hot swap drive: support magdagdag / alisin ang data node volume nang walang restarting data node (beta)
- AES suporta para sa mas mabilis wire encryption
- Suporta para sa matagal na tumatakbo serbisyo sa Sinulid
- Support node label sa panahon iiskedyul
- Suporta para sa oras-based na mapagkukunan reserbasyon sa Capacity Scheduler (beta)
- Global, shared cache para artifacts application (beta)
- Support pagtakbo ng aplikasyon natively sa Docker lalagyan (alpha)
Ano ang bago sa bersyon 2.6.0:
- Suporta para sa Archival Storage
- Transparent data nagpapahinga encryption (beta)
- Operating ligtas DataNode nang hindi nangangailangan ng root access
- Hot swap drive: support magdagdag / alisin ang data node volume nang walang restarting data node (beta)
- AES suporta para sa mas mabilis wire encryption
- Suporta para sa matagal na tumatakbo serbisyo sa Sinulid
- Support node label sa panahon iiskedyul
- Suporta para sa oras-based na mapagkukunan reserbasyon sa Capacity Scheduler (beta)
- Global, shared cache para artifacts application (beta)
- Support pagtakbo ng aplikasyon natively sa Docker lalagyan (alpha)
Ano ang bago sa bersyon 2.5.0:.
- pagpapabuti Authentication kapag gumagamit ng isang HTTP proxy server
- Ang isang bagong Hadoop Metrics lababo na nagbibigay-daan sa pagsulat ng direkta sa Graphite.
- Specification para sa Hadoop Compatible Filesystem pagsisikap.
- Suporta para sa POSIX-style filesystem pinalawig na mga katangian.
- OfflineImageViewer upang mag-browse ng isang fsimage pamamagitan ng WebHDFS API.
- pagpapabuti supportability at pag-aayos ng bug sa NFS gateway.
- Modernized web UIs (HTML5 at Javascript) para HDFS daemons.
- REST API suporta ni Sinulid pagsusumite at pagpatay aplikasyon.
- Kerberos integration para timeline store ang Sinulid ni.
Ano ang bago sa bersyon 2.4.0:
- Suporta para sa Access Control Mga Listahan sa HDFS
- Katutubong suporta para sa Rolling Upgrades sa HDFS
- Paggamit ng protocol-buffers para HDFS FSImage para sa makinis na pagpapatakbo upgrades
- Kumpletuhin HTTPS suporta sa HDFS
- Suporta para sa Automatic Failover ng Sinulid ResourceManager
- Pinahusay na suporta para sa mga bagong application sa Sinulid sa History Application Server at Application Timeline Server
- Suporta para sa malakas na SLAs sa Sinulid CapacityScheduler pamamagitan Preemption
Ano ang bago sa bersyon 2.3.0:.
- Suporta para sa magkakaiba Storage hierarchy sa HDFS
- In-memorya ng cache para sa HDFS data na may sentralisadong pangangasiwa at pamamahala.
- Pinasimple pamamahagi ng MapReduce binaries pamamagitan HDFS sa Sinulid Ipinamamahagi Cache.
Ano ang bago sa bersyon 2.2.0:
- Sinulid - Isang sistema pangkalahatang layunin resource management para Hadoop upang payagan MapReduce at iba pang mga iba pang mga data processing frameworks at mga serbisyo
- High Availability para HDFS
- HDFS Federation
- HDFS Snapshots
- NFSv3 access sa data sa HDFS
Ano ang bago sa bersyon 2.1.0-beta:
- HDFS Snapshots
- Suporta para sa pagpapatakbo ng Hadoop sa Microsoft Windows
- Sinulid API pagpapapanatag
Ano ang bago sa bersyon 2.0.3-alpha:
- QJM para HDFS HA para NameNode
- Multi-mapagkukunan scheduling (CPU at memory) para sa Sinulid
- Sinulid ResourceManager Restart
- Makabuluhang katatagan sa scale para sa Sinulid (higit sa 30,000 mga nodes at 14 milyong mga application sa ngayon, sa oras ng release)
Ano ang bago sa bersyon 1.0.0:.
- Better security
- HBase (ikakabit / hsynch / hflush, at seguridad).
- webhdfs (may ganap na suporta para sa seguridad).
- Pagganap ng pinahusay na access sa mga lokal na file para HBase.
- Iba pang mga pagpapahusay ng pagganap, pag-aayos ng bug, at mga tampok.
Ano ang bago sa bersyon 0.20.2:
- RPC Server send buffer napapanatili laki ng pinakamalaking tugon kailanman naipadala na.
- C ++ aklatan huwag bumuo sa Debian Lenny.
- Ang ilang mga c ++ script ay hindi chmodded bago ant execution.
- Streaming:. Proseso ibinigay mensahe ng katayuan ay mapapatungan sa bawat 10 seoncds
- IllegalArgumentException kapag CombineFileInputFormat ay ginagamit bilang trabaho InputFormat.
- Maramihang mga bug w / Hadoop archives.
- Payagan caching ng filesystem pagkakataon hindi pinagana sa isang per-halimbawa na batayan.
- Nawawalang pag-synchronize para defaultResources in Configuration.addResource.
- GzipCodec hindi dapat kumakatawan BuiltInZlibInflater bilang decompressorType.
- NameNode ni HttpServer hindi maaaring magbigay ng halimbawa InetSocketAddress: IllegalArgumentException ay itinapon .
- HttpServer sleeps na may mga negatibong mga halaga.
- Namenode nagpapatakbo ng sa labas ng memorya dahil sa memory tumagas sa ipc Server.
- IPC client bug ay maaaring maging sanhi rpc call hang.
- Hindi pagtupad pagsusulit maiwasan ang natitirang bahagi ng mga target ng pagsubok mula sa pagpapatupad.
- Contrib pagsusulit ay hindi pagtupad Clover'ed magtayo.
- Tests huwag tumakbo sa 0.20 branch.
- TestStreamingStatus ay nanghihina sa 0.20 branch.
Mga Komento hindi natagpuan