數據開發工具

　　在當今的數字革命浪潮中，大數據成為公司企業分析客戶行為和提供個性化定制服務的有力工具。下面由學習啦小編為大家整理的數據工具，希望大家喜歡!

　　數據工具

　　1、 Talend Open Studio

　　是第一家針對的數據集成工具市場的ETL(數據的提取Extract、傳輸Transform、載入Load)開源軟件供應商。Talend的下載量已超過200萬人次，其開源軟件提供了數據整合功能。其用戶包括美國國際集團(AIG)、康卡斯特、電子港灣、通用電氣、三星、Ticketmaster和韋里遜等企業組織。

　　2、DYSON

　　探碼科技自主研發的DYSON智能分析系統，可以完整的實現大數據的采集、分析、處理。DYSON智能分析系統專業針對互聯網數據抓取、處理、分析，挖掘。可以靈活迅速地抓取網頁上散亂分布的信息，并通過強大的處理功能，準確挖掘出所需數據，是目前使用人數最多的網頁采集工具.

　　3、Chukwa

　　監測大型分布式系統的一個開源數據采集系統，建立在HDFS/MapReduce框架之上并繼承了Hadoop的可伸縮性和可靠性，可以收集來自大型分布式系統的數據，用于監控。它還包括靈活而強大的顯示工具用于監控、分析結果。

　　數據管理工具

　　1、YARN

　　一種新的Hadoop資源管理器，它是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度，解決了舊MapReduce框架的性能瓶頸。它的基本思想是把資源管理和作業調度/監控的功能分割到單獨的守護進程。

　　2、Mesos

　　由加州大學伯克利分校的AMPLab首先開發的一款開源群集管理軟件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架構。對數據中心而言它就像一個單一的資源池，從物理或虛擬機器中抽離了CPU，內存，存儲以及其它計算資源， 很容易建立和有效運行具備容錯性和彈性的分布式系統。

　　3、 Logstash

　　一個應用程序日志、事件的傳輸、處理、管理和搜索的平臺。可以用它來統一對應用程序日志進行收集管理，提供了Web接口用于查詢和統計。

　　數據集成工具

　　1、Flume

　　Cloudera提供的一個高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸的系統。Flume支持在日志系統中定制各類數據發送方，用于收集數據。同時，Flume支持對數據進行簡單處理，并寫入各種數據接受方(可定制)。

　　2、RabbitMQ

　　一個受歡迎的消息代理系統，通常用于應用程序之間或者程序的不同組件之間通過消息來進行集成。RabbitMQ提供可靠的應用消息發送、易于使用、支持所有主流操作系統、支持大量開發者平臺。

　　3、ActiveMQ

　　Apache出品，號稱“最流行的，最強大”的開源消息集成模式服務器。ActiveMQ特點是速度快，支持多種跨語言的客戶端和協議，其企業集成模式和許多先進的功能易于使用，是一個完全支持JMS1.1和J2EE 1.4規范的JMS Provider實現。