下面继续探讨kafka的消费者,正如上篇文章最后所说,消费者的逻辑牵涉到很多内容,并不是简单地死循环获取消息那么简单。本篇文章着重介绍消费者中比较重要的概念:消费位移。
下面继续探讨kafka的消费者,正如上篇文章最后所说,消费者的逻辑牵涉到很多内容,并不是简单地死循环获取消息那么简单。本篇文章着重介绍消费者中比较重要的概念:消费位移。
学习完生产者,下面自然就是消费者。消费者要学习的内容比生产者要多,本篇主要聚焦于消费者/消费组的基本概念以及客户端的基本开发(包括如何订阅主题和分区、如何消费消息)。
在完成kafka的入门以及基本的操作之后,相信已经对kafka有了基本认识,下面我们一起从kafka的生产者开始,深入学习一下。
工作中经常会用到定时任务,有的用linux
的crontab
来实现系统级别的定时调用,当然这种只能调用脚本,不能在我们的程序中实现高度灵活的配置。定时任务的实现有很多,我之前也做过一些笔记,因为在分布式应用中,定时需要小心处理,否则会很容易地出现数据错乱,因此出现了很多适用于分布式场景定时器。当然分布式不在本文讨论范围,这里只想聊聊简单的单机应用,而且是最简单的Spring Task
。
为了方便对实习生小课题中kafka方便调试,我决定在自己的腾讯云服务器上部署一个单机kafka,其实跟本地windows没啥区别,不过还是做一下记录吧。服务器环境是centod7.3。
最近公司用kafka,本地需要测试测试,本地为windows环境,因此学习一下windows下对kafka的基本操作,便于代码的调试,也是作为知识的记录。
本系列博客主要以《深入理解kafka核心设计和实践原理》和《kafka权威指南》这两本书为基础深入学习kafka的使用和原理。
我们或多或少都听说过kafka
,为了深入学习一下kafka
,本文作为学习的第一篇文章,主要目标是搞清楚kafka
的基本概念,因为kafka
涉及一些专用名词,只有先了解这些名词,才有可能理解kafka
的设计思想。
在开发中可能会遇到多个库的连接,那么一个库就是一个数据源,在程序中如何快速动态地切换数据源呢?本文来探讨一下spring提供的AbstractRoutingDataSource实现方案。
本文原文出处是:Spring中Rod Johnson与“轮子理论”.,值得我们学习与反思。文中的一句话:多去研究别人发明的轮子,而不是依赖于某几个轮子,会用几个轮子就自以为是、沾沾自喜。不但要去探索、研究轮子的发明技术,原理,还要大胆地、不断地尝试发明更好,更合适自己的轮子。失败不用怕,怕的是我们连失败的机会都没有,有机会也因为世俗一些观念影响而不敢去争取及尝试。不要过分的依赖于现有的这些进口轮子,去大胆的发明轮子吧。我也要谨记,上升点层面,这是我们所有程序猿应该为止奋斗的事情。
毕业也都十几天了,这十几天里,主要就是和宿舍的小伙伴,同师门的伙伴们一起胡吃海喝各种浪。很感激结识的这些伙伴,祝他们前途似锦。