https://www.cainiaoya.com/kafka/kafka-tool-and-application.html

Kafka 工具&应用程序

• 

  工具

  Kafka工具打包在“org.apache.kafka.tools.*”下。工具分为系统工具和复制工具。

• 

  系统工具

  可以使用运行类脚本从命令行运行系统工具。语法如下-

  bin/kafka-run-class.sh package.class - - options

  复制

  下面提到了一些系统工具-

• Kafka迁移工具 - 此工具用于将代理从一个版本迁移到另一个版本。

• Mirror Maker - 此工具用于将一个Kafka群集镜像到另一个。

• 消费者偏移检查器 - 此工具显示指定主题和消费者组的消费者组，主题，分区，偏移，logSize，所有者。

• 

  复制工具

  Kafka复制是高级设计工具。添加复制工具的目的是为了实现更高的持久性和更高的可用性。下面提到了一些复制工具-

• 创建主题工具 - 这将创建一个具有默认分区数，复制因子的主题，并使用Kafka的默认方案进行副本分配。

• 列表主题工具 - 该工具列出给定主题列表的信息。如果命令行中未提供主题，该工具将查询Zookeeper以获取所有主题并列出其信息。该工具显示的字段是主题名称，分区，领导者，副本，isr。

• 添加分区工具 - 创建主题，必须指定主题的分区数。稍后，当主题的数量将增加时，主题可能需要更多的分区。该工具有助于为特定主题添加更多分区，并且还允许对添加的分区进行手动副本分配。

• 

  应用程序

  Kafka支持当今许多最佳的工业应用。在本章中，我们将简要概述Kafka的一些最著名的应用程序。

• 

  推特(Twitter)

  Twitter是一种在线社交网络服务，提供了发送和接收用户推文的平台。注册用户可以阅读和发布推文，但未注册用户只能阅读推文。Twitter使用Storm-Kafka作为其流处理基础结构的一部分。

• 

  领英(LinkedIn)

  LinkedIn上将Apache Kafka用于活动流数据和运营指标。Kafka mes-saging系统可以帮助LinkedIn提供各种产品，例如LinkedIn Newsfeed，LinkedIn Today，以用于在线消息消费以及Hadoop等离线分析系统。Kafka的坚固耐用性也是与LinkedIn相关的关键因素之一。

• 

  奈飞(Netflix)

  Netflix是点播互联网流媒体的美国跨国提供商。Netflix使用Kafka进行实时监控和事件处理。

• 

  Mozilla

  Mozilla是一个免费软件社区，由Netscape成员于1998年创建。Kafka很快将替换Mozilla当前生产系统的一部分，以从最终用户的浏览器中收集遥测，测试飞行员等项目的性能和使用情况数据。

• 

  甲骨文(Oracle)

  Oracle通过其称为OSB（Oracle Service Bus）的企业服务总线产品提供了与Kafka的本地连接，该产品允许开发人员利用OSB内置的中介功能来实现分段数据管道。

======================================================

https://www.cainiaoya.com/flink/flink-case.html

Flink 使用案例

• 

  Flink 使用案例

  在本章中，我们将了解Apache Flink中的一些测试用例。

• 

  Apache Flink - Bouygues电信

  Bouygues Telecom是法国最大的电信组织之一。它拥有11+百万移动用户和2.5+百万固定客户。Bouygues在巴黎举行的Hadoop小组会议上首次听说了Apache Flink。从那时起，他们一直在将Flink用于多个用例。他们每天通过Apache Flink实时处理数十亿条消息。

  这是Bouygues对Apache Flink的评价：“我们最终选择了Flink，因为该系统在API和运行时级别上都支持真正的流传输，从而为我们提供了所需的可编程性和低延迟。此外，与其他解决方案相比，我们能够在短时间内使用Flink来启动并运行我们的系统，从而为开发人员扩展了系统中的业务逻辑提供了更多可用的开发人员资源。”

  在Bouygues，客户体验是重中之重。他们实时分析数据，以便可以向工程师提供以下见解-

  他们创建了一个名为LUX（登录用户体验）的系统，该系统使用内部数据参考处理了来自网络设备的大量日志数据，以提供体验质量指标，该指标将记录其客户体验并构建了警报功能，以检测60分钟内数据消耗中的任何故障秒。

  为此，他们需要一个可以实时处理海量数据，易于设置并提供丰富的API来处理流数据的框架。Apache Flink非常适合Bouygues Telecom。

• 通过网络的实时客户体验

• 全球网络上发生了什么

• 网络评估和运营

• 

  Apache Flink-阿里巴巴

  阿里巴巴是全球最大的电子商务零售公司，2015年的收入为3940亿美元。阿里巴巴搜索是所有客户的切入点，它显示了所有搜索并提出了相应建议。

  阿里巴巴在其搜索引擎中使用Apache Flink来实时显示结果，并为每个用户提供最高的准确性和相关性。

  阿里巴巴正在寻找一个框架，这是-

  Apache Flink符合上述所有要求。他们需要一个框架，该框架具有单个处理引擎，并且可以使用相同的引擎处理批处理和流数据，而这正是Apache Flink所做的。

  他们还使用Blink（Flink的分叉版本）来满足其搜索的一些独特要求。他们还使用了Apache Flink的Table API，但对其搜索的改进很少。

  这就是阿里巴巴对apache Flink的评价：“回顾过去，无疑对于Alibaba的Blink和Flink来说是丰收的一年。没有人认为我们会在一年内取得如此巨大的进步，我们非常感谢所有人是在社区中为我们提供帮助的人们。事实证明Flink可以在很大范围内发挥作用。我们比以往任何时候都更加致力于与社区继续合作，以推动Flink向前发展！ ”

• 在整个搜索基础架构过程中维护一个代码库非常敏捷。

• 为网站上的产品可用性更改提供低延迟。

• 一致且具有成本效益。

标签： Linux 分布式

选择打赏方式

微信 支付宝 QQ钱包

打赏

打赏

打赏