Hunk 的預先處理功能(The Preprocessor)把Splunk 6的技術推入更高的層次,因為Hunk居於Hadoop’s MapReduce的頂層,所以Hunk可以預先處理框架,基本上你可以用任何資料,用純文字寫一段code,然後搜尋看看這個資料被存在哪裡?
以下是這個功能的小Demo,你可以挑一個你想要的顏色,然後找找看跟這個顏色符合的照片,他的搜尋功能像是個樣子!
Splunk 6搜尋圖片時進行預先處理,因此不需要圖片索引沒有索引的成本,若要搜尋儲存在HDFS (Hadoop Distributed File System)上的圖片,最方便的做法是先預先將圖片的顏色和分布進行描述,最後Splunk會將搜尋的結果依照與指令的相關度排序傳回.
圖片搜尋的方法有以下三種:
- 用預先處理(The Preprocessor)
- Splunk 搜尋
- 透過Splunk 6 UI
要如何搜尋、分析、處理、呈現已經存在 Hadoop 內的資料？不需要再撰寫程式丟給 Map Reduce 去跑，不需要再自己開發圖表呈現，使用 Splunk Hunk 就能做到，操作方式與 Splunk 完全相同，讓 Hadoop 的導入即刻就能帶來價值與效益，而不是六個月以上的學習門檻。
- Splunk的虛擬化索引 - 可跨越多個Hadoop進行巨量資料探索，分析和可視化資料，流暢的資料運用就好像資料是存在Splunk中
- 易於部署及快速分析 - 直接使用Hunk，不需重新開發程式、移動資料、或介接程式，不需其他動作即可立即開始探索數據
- 可與Hadoop中的數據進行互動分析 - 巨量資料(TB或PB)深入分析，圖案檢測並關聯數據發現趨勢
