apache-nifi – Apache NiFi处理器中数据来源的目的是什么?

对于每个处理器,都有一种配置处理器的方法,并且有一个上下文菜单来查看数据来源.

什么是数据来源有一个很好的解释?

NiFi screenshot

最佳答案
数据来源是关于理解数据的起源和归属.在典型的系统中,您可以获得“日志”.当您考虑流经一系列流程和队列的数据时,您最终会遇到很多问题.如果你想要遵循给定数据所采用的路径,或者花费多长时间来获取该路径,或者将对象分解为不同的对象所发生的事情等等,所有这些都非常耗时且难以实现. NiFi支持的出处就像登录类固醇一样,都是为了保持和跟踪数据与影响其发生的事件的事件之间的关系. NiFi正在跟踪每个数据的来源,它对数据的了解,在分割,连接,转换,发送它的位置以及最终丢弃数据时保持跟踪.可以把它想象成数据的监管链.

由于一些原因,这非常有价值.一,理解和调试.拥有这种来源捕获意味着来自特定事件,您可以在流程中前进或后退,以查看数据来自何处.鉴于NiFi还有一个不可变版本的内容存储库,您也可以使用它直接点击流程每个阶段的内容.您还可以根据最新流程重放给定事件的内容和上下文.这反过来意味着更快地迭代到您想要的配置和结果.出于合规性原因,该出处模型也很有价值.您可以证明您是否将数据发送到正确的系统.如果您了解到您没有,那么您可以使用数据来解决问题,或者为后续操作创建强大的审计跟踪.

Apache NiFi中的出处模型非常强大,它正在扩展到Apache MiNiFi,它也是Apache NiFi的子项目.更多系统产生更多来源意味着您具有更强大的端到端数据跟踪能力.当然,当它可以与其他血统系统或集中式血管商店结合使用时,它会变得更加强大. Apache Atlas可能是一个很好的集成系统,可以实现集中视图. NiFi不仅可以执行我上面描述的操作,还可以将这些事件发送到这样的中央商店.所以,这将是激动人心的时刻.

希望有所帮助.

转载注明原文:apache-nifi – Apache NiFi处理器中数据来源的目的是什么? - 代码日志