開發數據工具

　　“紙上得來終覺淺，絕知此事要躬行”，但是對于大多數的學生來講，現實世界的開發工具太過昂貴。下面由學習啦小編為大家整理的開發數據工具，希望大家喜歡!

　　開發數據工具

　　一、Solr

　　基于Apache Lucene，是一種高度可靠、高度擴展的企業搜索平臺。知名用戶包括eHarmony、西爾斯、StubHub、Zappos、百思買、AT&T、Instagram、Netflix、彭博社和Travelocity。

　　二、Shark

　　即Hive on Spark，本質上是通過Hive的HQL解析，把HQL翻譯成Spark上的RDD操作，然后通過Hive的metadata獲取數據庫里的表信息，實際HDFS上的數據和文件，會由Shark獲取并放到Spark上運算。Shark的特點就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()這樣的API，把HQL得到的結果集，繼續在scala環境下運算，支持自己編寫簡單的機器學習或簡單分析處理函數，對HQL結果進一步分析計算。

　　三、Terracotta

　　聲稱其BigMemory技術是“世界上首屈一指的內存中數據管理平臺”，支持簡單、可擴展、實時消息，聲稱在190個國家擁有210萬開發人員，全球1000家企業部署了其軟件。

　　搜索開發數據工具

　　一、 Elasticsearch

　　是一個基于Lucene的搜索服務器。它提供了一個分布式、支持多用戶的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發的，并作為Apache許可條款下的開放源碼發布，是當前流行的企業級搜索引擎。設計用于云計算中，能夠達到實時搜索、穩定、可靠、快速、安裝使用方便。

　　二、Lucene

　　基于Java的Lucene可以非常迅速地執行全文搜索。據官方網站聲稱，它在現代硬件上每小時能夠檢索超過150GB的數據，它擁有強大而高效的搜索算法。

　　三、 Kibana

　　是一個使用Apache 開源協議的Elasticsearch 分析和搜索儀表板，可作為Logstash和ElasticSearch日志分析的 Web 接口，對日志進行高效的搜索、可視化、分析等各種操作。

　　收集開發數據工具

　　一、 Splunk

　　是機器數據的引擎。使用 Splunk 可收集、索引和利用所有應用程序、服務器和設備(物理、虛擬和云中)生成的快速移動型計算機數據，從一個位置搜索并分析所有實時和歷史數據

　　二、Pentaho

　　是世界上最流行的開源商務智能軟件，以工作流為核心的、強調面向解決方案而非工具組件的、基于Java平臺的商業智能(Business Intelligence)套件。包括一個web server平臺和幾個工具軟件：報表、分析、圖表、數據集成、數據挖掘等，可以說包括了商務智能的方方面面。

　　三、Lingual

　　是Cascading的高級擴展，為Hadoop提供了一個ANSI SQL接口極大地簡化了應用程序的開發和集成。Lingual實現了連接現有的商業智能(BI)工具，優化了計算成本，加快了基于Hadoop的應用開發速度。