Apache Kafka

Apache Kafka ay katulad sa Scribe engine Facebook (kung hindi ka pamilyar sa mga ito) at maaaring gamitin upang hawakan ang mga stream ng aktibidad.

Ito ay gumagana sa pamamagitan ng pagpapahintulot sa mga developer upang mapanatili ang isa o higit pang mga stream ng aktibidad (o feed).

Ang mga feed ay maaaring ayusin sa mga paksa, at pagkatapos ay i-broadcast (na-publish) sa lahat ng mga naka-subscribe sa mga mamimili.

Ang mga bahagi ng Kafka na pamahalaan at i-publish ang mga feed ay tinatawag na mga producer.

Kafka ay isa lamang ang gitnang layer sa pagitan ng mga producer at mga mamimili, ang isang komplikadong sistema na maaaring humawak ng anumang uri ng trapiko at mga kahilingan sa anumang uri ng scale.

Ito ay dahil Kafka ay itinayo upang pangasiwaan ipinamamahagi architecture server, na nagpapahintulot sa mga developer upang masukat ang kanilang Pub / sub sistema sa mga serbisyo ng ulap.

Ano ang bagong sa release na ito:.

• Ang isang bagong producer Java para sa kadalian ng pagpapatupad at mga pinahusay na pagganap
• Tanggalin support topic.
• Per configuration paksa ng kagustuhan para sa pagkakapare-pareho sa paglipas ng availability.
• Scala 2.11 suporta at pag-drop ng suporta para sa Scala 2.8.
• LZ4 compression.

Ano ang bagong sa bersyon 0.8.2.1:

• A bagong producer Java para sa kadalian ng pagpapatupad at pinahusay pagganap.
• Tanggalin support topic.
• Per configuration paksa ng kagustuhan para sa pagkakapare-pareho sa paglipas ng availability.
• Scala 2.11 suporta at pag-drop ng suporta para sa Scala 2.8.
• LZ4 compression.

Ano ang bagong sa bersyon 0.8.0-beta1:.

• Mga Fixed umiiral na mga kasangkapan perf
• Wire umiiral producer at consumer upang gamitin ang bagong istraktura ZK data.
• Lumikha ng / tanggalin ZK landas para sa isang paksa sa isang tool admin.
• Ipinatupad isang naka-embed controller.

Ano ang bagong sa bersyon 0.7.1:

• Iwasan ang mga dobleng mensahe sa panahon ng consumer rebalance
• Support configurable magpadala / tumanggap size socket buffer sa server
• javaapi ZookeeperConsumerConnectorTest duplicate ng maraming mga pagsubok sa bersyon Scala
• Gumawa ng # ng mga consumer rebalance retries configurable
• SyncProducer dapat na mag-log-host at port kung hindi maaaring kumonekta.
• Bawasan ang mga dobleng mga mensahe na inihatid ng mga kafka consumer para sa hindi naka-compress na mga paksa
• Iwasan ang direktang pag-log stacktrace
• Gumawa ng oras backoff panahon consumer rebalance configurable
• Pagbutihin log4j appender gamitin kafka.producer.Producer, at suporta zk.connect | pagpipilian broker.list
• Ibukod out Kafka panggagaya sa isang stand-alone app
• Dapat gamitin producer Hadoop balancer load software

Ano ang bagong sa bersyon 0.7.0:

• Sinusuportahan na ngayon ng Kafka block antas compression. Tingnan wiki compression para sa mga detalye. Sa kasalukuyan lamang gzip ay humigop-port.
• Mag-log retention ay maaari na ngayong depende sa space (log.retention.size).

Ano ang bagong sa bersyon 0.6:

• Mga Fixed bug:
• SimpleProducer mawalan ng mensahe kapag socket ay makakakuha ng isang io exception
• Kung ang mga producer ay nagpapadala ng isang di-wastong MessageSet ang broker ay idagdag ito, upang hamakin ang log

error tungkol sunduin size
• ByteBufferMessageSet log
• shutdown Kafka kapag may anumang mga error IO disk
• palaganapin server lahat ng mga pagbubukod sa consumer
• ay dapat na naka-synchronize close () sa SimpleConsumer
• babasahin Code Consumer
• Pagbutihin EventHandler sa AsyncProducer
• Ang batay zookeeper Producer ay hindi tanggalin ang isang patay na broker na listahan nito habang naghahain ng kahilingan gumawa ng
• Consumer logs ERROR panahon malapit
• Pagpapabuti:
• Clean-up jUnit test
• MessageSet hindi ipatupad ang Java iterable
• Default Encoder para sa Kafka log4 appender
• Tahasang pangalanan ang lahat ng mga thread
• Refactor pampublikong API sa java at Scala API
• Pagbutihin ang docs API para sa lahat ng pampublikong mga API
• Alisin ang java FileMessageSet API
• test Unit mabibigo sa ilang mga machine Linux
• Lumikha ng SBT sub proyekto para sa perf, mga halimbawa, contrib na kasalukuyang gumagamit ng Ant
• Magdagdag JMX para sa pagbabago ng antas ng log4j dynamically sa Kafka server
• Mag-upgrade sa Zookeeper 3.3.3
• javaapi MessageSet ay hindi kailangan upang ipatupad writeTo socket
• Mga Bagong Tampok:
• Bagong producer API