Flume 1.5.0.1:windows下安装Flume agent
2014-11-27
背景
最近要采集windows下的数据,希望能用Flume来进行采集汇总,但是不知道Flume在windows下的兼容性怎么样,OK,测试一下。
在windows下配置Flume
系统环境
相关版本信息:
- Flume:apache-flume-1.5.0.1-bin.tar.gz
- windows:Microsoft Windows Server 2008 R2 Enterprise(x64-based PC)
解决办法
- 下载
apache-flume-1.5.0.1-bin.tar.gz
(当前的最新版本,之后的版本应该也是可以的) - 解压之后,在
conf
目录下创建文件``
windows下tail命令
至此为止,windows上,已经成功部署了flume。
思路
截止上一部分,已经实现了Windows下flume的部署,这一部分主要是闲谈点其他的东西。
官方文档上,看了一下,没有说windows上部署的问题;再查看flume的启动脚本,只有一个脚本flume-ng
,而且是bash写的。凭借自己对flume官方文档的一些了解,基本没有提及windows上安装部署的问题;Flume是ASF下的项目,通过官网知道,Flume的开发、讨论都在Flume JIRA上;抓紧上去查一下,看看有没有人提到:windows下flume的安装配置问题,找到两个主要相关内容:FLUME-1334和FLUME-1335。大概理解一下,奥,原来一帮engineer在讨论Flume直接运行在windows的问题,他们的目标大意是:利用一个脚本,直接在windows安装、启动flume服务。而且已经有人提供了一些patch,当前初步打算,利用这些patch来更新当前flume代码,并且在本地进行试用。
情况总是变化的,查看FLUME-1335时,看到其下面评论run flume 13x on win;同时在google上搜索flume windows
,看到了几个地方:
上面看到,apache的官网在2012-12也提到在windows下编译、运行flume,所以当即决定,参照apache的官网来进行windows下flume的编译和安装配置。
总结一下上面的思路:
- 官方文档、官方讨论交流区发现patch;(最新)
- 官方早期文档、其他开发人员提供windows下flume编译、配置;(较旧)
- 采用官方早期文档进行windows下编译、配置;
- 结果:发现flume 1.5.0.1版本,不需要在windows下编译,直接进行配置,也能启动flume;
参考来源
杂谈
说出解决问题的思路,这种分享精神,我自己都感动到了。
原文地址:https://ningg.top/flume-on-windows/