帮酷LOGO
0 0 评论
  • 显示原文与译文双语对照的内容
文章标签:Splunk  Generator  EVE  event  SPL  
Splunk Event Generator

  • 源代码名称:eventgen
  • 源代码网址:http://www.github.com/splunk/eventgen
  • eventgen源代码文档
  • eventgen源代码下载
  • Git URL:
    git://www.github.com/splunk/eventgen.git
  • Git Clone代码到本地:
    git clone http://www.github.com/splunk/eventgen
  • Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/splunk/eventgen
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
    
  • Splunk事件生成器

    Splunk事件生成器是一个允许用户轻松构建实时事件生成器的工具。 这里项目最初由 David Hazekamp ( dhazekamp@splunk.com ) 启动,然后由 Clint Sharp ( clint@splunk.com ) 增强。 项目有三个主要目标:

    这个项目的目标是雄心勃勃的,但是很简单:

    • 消除Splunk应用中手工编码事件生成器的需求。
    • 允许在应用程序之间实现事件生成器的可移植性,并允许在用例之间快速地调整模板。
    • 允许在eventgen中对每种类型的事件或者事务进行建模。

    Eventgen提供这些功能,对于它,我们有几个关键的设计目标:

    • 允许用户在不需要编写代码的情况下生成基于配置的事件生成器,快速而可靠
    • 在Splunk应用程序中Eventgens应该是 packagable,这样应用程序可以随配置一起构建,构建一个eventgen并依赖一个通用
    • Eventgens应该很容易在Splunk内部和外部运行
    • Eventgens输出应可以配置,允许同样的eventgen输出到Splunk模块输入,文本文件或者一个简单的方式。
    • Eventgens可以很容易地配置为使假数据尽可以能的实现,或者通过日期的时间和代码替换
    • 对于不能使用简单令牌替代构建的场景,允许开发人员通过编写生成器 MODULE 更快地构建复杂的事件生成器。
    • 最后但不是最重要的是,发电机应该能够扩大占最大机器的100%倍。

    用户可以很容易地采取样本文件,从重播的事件集到噪声生成器,不需要编写任何代码。 希望利用丰富eventgen框架的开发者也可以构建自己的生成器插件,使他们能够在代码中建模更复杂的场景,而不是仅仅。

    教程

    请参见README目录中的教程。

    体系结构

    有关代码和Eventgen如何运行的概述,请参见README目录中的体系结构指南。

    插件插件

    有关编写插件的概述,请参见README目录中的插件文档。

    性能

    Eventgen只需几个配置设置即可轻松扩展到消耗整个机器。 testing,在 24核心机器上的Eventgen可以在 weblogs/秒/秒/秒/秒的日志中轻松生成 600个-700k事件,几乎可以生成 weblogs/天的日志。 关于如何缩放Eventgen的详细文档在README目录的性能文档中。

    许可证

    Splunk事件生成器是在Apache许可证 2.0下许可的。 可以在许可证文件中找到详细信息。

    支持

    这个软件是按如下方式发布的。 Splunk不提供任何担保,也不支持这里软件。 如果你有任何问题,请在我们的问题页面上发布一个发布问题。

    我们欢迎对我们开放源码项目的贡献。 如果你对贡献感兴趣,请遵循相应的链接:

    变更日志

    欢迎使用splunk事件生成器配置。

    版本 1.0功能

    • 健壮的配置语言和规范,定义如何为替换而建模事件。
    • 可以重写默认值,它简化了每个单独示例的设置。
    • 一个平滑的设置,它的中可以使用 正规表达式 配置 eventgen.conf,从上面的条目继承下来的条目。
    • 支持作为Splunk应用程序部署,并收集部署中安装的所有应用程序的示例和事件。 splunk安全套件利用技术 add-ons 对各种数据类型提供道具和转换,同时也包括事件生成器,并在产品中显示示例数据。
    • 对数据进行标记的方法,允许在文件的行中替换时间戳。随机数据( mac地址,ipv4,ipv6,整数,字符串数据)。static 替换和随机选择。
    • 用户指定范围内的随机时间戳分布以允许事件随机性。
    • 文件的完整文件或者文件的子集的重放。
    • 基于可以配置的间隔生成事件。

    此外,我们还对该版本进行了非常重要的增强:

    • 增加了重放模式允许我们从另一个Splunk实例重播一个文件,以适当的时间间隔泄露事件,让事件看起来像是实时生成。
    • 添加了回填支持,以允许事件生成器启动并立即生成用户可以配置的事件值。 也支持定义仅在存在间隙的情况下进行搜索的搜索。
    • 增加了对一个普通企业内的事务流进行模型化的对速率事件和一周的某一天的。
    • 支持对来自示例文件的事件随机化。 这样可以给我们提供几千行的样本,并且容易产生来自该文件的各种噪声。
    • 添加支持允许标记引用同一个CSV文件,并从同一个随机选择中提取多个标记。 例如这允许标记从一个文件中替换城市。州和 Zip。
    • 添加模块输出以允许Eventgen输出到各种不同的格式:
    • 输出到接收器/splunk REST端点的流。 这允许我们从eventgen文件的配置中配置索引。主机。源和 sourcetype !
    • 输出到 $SPLUNK_HOME/var/spool/splunk ( 或者为该特定示例配置的另一个目录) 中的假脱机文件的传统默认值。
    • 输出到旋转日志文件。 这被添加了,这样文件可以通过Splunk转发器读取,也可以通过竞争实验室的竞争产品阅读。
    • 使用风暴输入API输出到 Splunk Storm。 也允许在配置文件中指定主机,源和数据源。
    • 在每个事件基础上添加了CSV示例输入以允许重写索引。主机。源和 Sourcetype。 我们可以建模复杂的数据集,比如vmware或者模型事务,可以能发生在各种源和sourceTypes上。
    • 增加浮点和十六进制随机替换类型。
    • 增加额定随机替换类型,允许生成随机值,然后按周或者天的天数进行额定值。
    • 允许eventgen作为Splunk应用部署,在其他应用程序中作为脚本输入,或者从 命令行 ( 有关警告,请参见下面的部署选项) 中独立运行。
    • 编写新的线程代码以确保Eventgen在Splunk停止时正确停止。
    • 完全重写了配置代码,以便在需要时更简单地增强 eventgen。

    版本 1.1变更日志

    • 增加了一半的性能增强,以增加超过 6 x的样本模式的性能,以及重播模式近 4 x。 每秒可以生成数千个事件。
    • 增加了对使用 %s 作为时间格式的支持。 这将读取或者生成一个UNIX时代的时间戳,这是。
    • 固定 Bug 不允许在 Windows 上进行mvfile替换。
    • 增加了随机选择元数据中发送的主机以从文件中随机选择的能力。
    • 通过使文件和mvfile相同的配置来简化配置。 使用分号和列号的文件将使它的像mvfile一样执行。
    • 修正了 Bug 在使用 outputMode SplunkStream时产生比普通模式产生大约 20%个事件的。
    • 为timeMultiple增加支持,根据需要在10分钟内回放回放模式,并在10分钟内播放数据回放,这是一个3 分钟的示例,具体取决于多。
    • 允许从全局配置打开调试日志记录。
    • 添加了 integerid replacementType这将使用不断递增的标识作为替换类型。 当样本休眠或者程序关闭时,将更新状态文件。
    • 如果要嵌入Splunk应用程序而不是将eventgen作为自己的应用程序发送,则删除不同的默认文件和配置文件 NAME。

    版本 2.0变更日志

    • 显著提高性能
    • 新的令牌替换
    • 允许中断方案类型建模的新分级

    版本 3.0变更日志

    由于一些我不记得的原因,3版就像美国电梯上的13th 地板。 我们跳过了它。

    版本 4.0变更日志

    这个版本在制作过程中几乎是 2年。 我们几乎已经完全重构和重写了代码库的巨大部分。

    特性:

    • 新的插件架构插件,实现模块化系统
      • 发生器插件允许用例编写几行 python 模拟事务或者它的他对数据的简单随机替换的模拟。
      • 插件可以指定需要的配置变量,并提供验证规则&回调
      • 用 python 编写的插件可以通过简单地将它们放入任何Splunk应用程序的bin目录( 或者Eventgen本身的目录)。
    • 大规模规模改进插件: 单个实例现在可以生成尽可能多的工作进程,每天生成tb级数据
    • 用于查看性能。输出示例以及查看Eventgen内部日志以进行故障排除的新 UI
    • 用于测试和调试的新 命令行 接口
      • 在你的应用程序目录中简单点 eventgen python eventgen.py <path/to/app>
      • 简单地测试单个示例,将输出覆盖到stdout以便查看
      • 在测试时,显示详细内容以调查eventgen内部组件
      • 在性能测试( Geneartors,Outputters,禁用输出队列等)的命令行 选项中可用的可伸缩性 tuneables
    • 指定要为它的生成事件的时间范围
      • 为固定时间范围或者相对时间范围生成事件
      • 轻松生成一个文件,例如整个月
    • 通过自动检测常用时间戳格式添加标记来最小化配置的Autotimestamp特性
    • 对重播模式进行的增强,以检测和支持反向时间样本并在没有找到时间戳( 只丢弃整个示例)。
    • 重写的教程文档

    内部内部:

    • 完整的代码库重构
      • 代码现在更易于理解和理解
      • 添加了架构文档帮助未来开发人员
    • 核心代码库现在处理:
      • i 至 r 错误代码
      • 并发,员工管理和通信
    • 所有其他逻辑都被移到一个可以插入的模块化系统,带有插件
      • 分级事件计数
      • 生成事件
      • 输出事件
    • 新模块输入,S2S和HTTP事件收集器输出插件
    • 在测试目录下添加了测试方案和配置的数量


    文章标签:Generator  EVE  event  SPL  Splunk  

    Copyright © 2011 HelpLib All rights reserved.    知识分享协议 京ICP备05059198号-3  |  如果智培  |  酷兔英语