[應用案例]Splunk 在e-Travel 的應用

e-Travel SA於2005年由100個員工開始到目前，e-Travel SA是歐洲前10大網路旅行社(online travel agency，OTA)，其服務範圍涵蓋南歐及東歐共14個國家，而大部分的業務又是來自於俄羅斯(trip.ru)是e-Travel SA系列中最多客戶的品牌！目前一共擁有7個不同的品牌，列表如下：

1. www.trip.ru
2. www.pamediakopes.gr
3. www.airtickets24.com
4. www.fantasticgreece.com
5. www.avion.ro
6. www.trip.ua
7. www.trip.bg

• 客戶背景說明

e-Travel SA高度倚賴團隊中的IT部門與產品部門，這兩個部門扮演公司營運成功與否的關鍵腳色，IT部門與產品開發部門必須根據線上使用者的經驗和消費習慣進行新產品／服務開發與上架的工作，並不斷地優化消費者的消費使用經驗，藉此提升營運績效。大略來說，這兩個部門最重要的工作有以下兩點：

1. 自動偵錯：

直到2010年e-Travel SA還是用人工進行系統除錯以及效能偵測，但系統的效能偵錯是一件需要快速回應的工作，系統開發者必須先連上遠端遙控系統再用UNIX系統工具進行偵錯及效能分析，事實上，同期e-Travel SA的IT 團隊有採用其他的系統偵錯工具，但面對e-Travel SA的多種系統以及龐大的資料量，該系統會因為無法負荷而當機，但是系統當機造成的時間差與資訊落差會導致無法全面偵測錯誤，故e-Travel SA團隊並沒有沿用此系統。

2. 營運分析

e-Travel SA針對客戶的購買習慣和偏好進行產品開發和上架，故IT團隊必須了解行銷策略的效益、系統架構的營運績效、消費者經驗反饋、消費者購物行為統計分析、系統平台開發策略等以上五點，在尚未導入Splunk時，IT部門是利用系統的歷史資料進行分析，但無法即時關聯e-Travel SA的線上資料，這樣的作法也會造成預估上的時間與資訊落差。

身為網路旅行社，以上兩點攸關整個集團營運與否，對此，身負重任的IT團隊希望有更好的解決方案可以確保系統的正常運作。

• Splunk解決方案

Splunk提供e-Travel SA巨量資料即時分析與搜尋的功能除了減少人工作業的時間與人力外，也降低了營運的成本：

1. 節省事件偵錯時間與成本：

根據e-Travel SA提供的數據顯示，在傳統偵測模式之下，進行單一事件偵測IT人員需要花費4小時，故每年平均維運成本高達€124,800歐元，但導入Splunk之後，透過Splunk的巨量資料處理能力可以即時搜尋關聯線上資料並進行log搜尋，大幅降低IT人員手動偵錯的時間，而因為IT的偵錯時間縮短，相對的也將每年平均維運成本高達€124,800歐元降低了90%，目前平均成本為€15,600歐元，下表為e-Travel SA的詳細成本計算：

2. 降低停機修復的時間與成本

導入Splunk之前e-Travel SA每周停機修復時間為4小時，而平均每停機1小時所損失的利潤為€50,000 歐元，估計每年因為固定的停機修復而損失的利潤高達€10,400,000歐元，但導入Splunk之後，因為即時搜尋且偵測事件的能力提高，停機修復的時間可縮短為0.5小時，每年平均損失的利潤降為€1,300,000歐元，導入Splunk之後不僅縮短的停機修復的時間，同時也降低90%因為修復所損失的利潤，下表為相關詳細資訊：

   

3. 全球經銷商經費報銷追蹤分析

身為線上旅行社e-Travel SA必須與全球分銷系統（GDS，Global Distribution System）合作以擴大服務的範圍和接觸更多的消費者，但在尚未導入Splunk之前，e-Travel SA並沒有追蹤預付款的明細與實際報銷的狀況，因此有許多預付但實際沒有發生的費用並沒有追回，預付款費用報銷的問題在導入Splunk之後才明確知道，e-Travel SA在全球預付的款項平均每個月約有60筆的費用不會發生，平均每筆費用大約€92歐元，平均每年可追回的款項約為€64,032歐元，下表為詳細資訊：

4. 分析消費者習慣打造所需旅遊產品

以前e-Travel SA用傳統的方式進行產品開發和使用者經驗優化，通常產品經理江開發出的商品進行上架測試使用者的反應，再決定產品的去留，雖然這種方式可以最直接知道消費者的喜好，但非常冒險也花時間，幸而在導入Splunk之後，Splunk可以分析歷史資料以及連結線上資料進行消費者偏好分析，對比以往直接測試的方式，Splunk的分析可以節省時間可達到按照消費者行為及偏好設計產品的用意，可降低產品銷售不如預期的風險。

5. 提升訪客轉換率

對電子商務網站來說，轉換率的提升可以有效提升網站的營收及利潤，e-Travel SA也不例外，透過Splunk可以即時監測消費地的購物路徑，也可了解消費者在購物的哪個階段停止交易跳出網頁，藉著這樣的log監控可以更了解消費者的喜好，調整旅遊產品或是優化整體的交易步驟及流程，而這樣的偵測確實有效地提升每位消費者進入網站所帶來的利潤。

• 導入後效益分析說明

網路旅行社的市場隨著IT技術的發展而迅速擴張，在競爭激烈的網路旅行市場中，提出誘人的人旅遊方案和改善消費者消費經驗是提升業績的不二法門，Splunk為e-Travel SA從兩方面進行開源、節流:

1. 進行產品預測增加市場競爭力：e-Travel SA透過Splunk處理歷年來訂單資料及結合線上資料即時處理，針對消費者的偏好提出新產品企劃建議，並追蹤消費者購物路徑分析流失客戶的特徵，提出消費者購物路徑的優化建議。

2. 歷史資料分析降低系統為運成本：分析歷年來的log資料，可自動偵測系統錯誤降低原本傳統人工偵測所耗費的時間與修費時間，將系統維運成本降低90%以上，另外預付給全球經銷的預付費用也可明確追蹤，降低呆帳比例。

e-Travel SA藉著Splunk對外獲取消費者洞察、對內可以進行系統稽核以及核對預付款項，不但大幅提升e-Travel SA的競爭力也讓e-Travel SA的電子商務系統更加穩定。

Splunk為e-Travel SA進行系統營運偵測及消費者洞察，證明了Splunk可透過log即時協助服務業調整產品內容並獲得消費者反饋進而優化使用者經驗！為e-Travel SA在競爭激烈的旅遊服務業中提升品牌競爭力。

Splunk tag:splunk> take the sh out of IT.

相信有來參加過Splunk活動的朋友一定都有拿過Splunk T,Splunk 胸前的標語絕對是深入你我的心,IT界的每位宅宅(誤)每位辛苦的工程師,你們心中有沒有每次遇到de不掉的bug,或是不停loop,就想要飆出來的那一句......?

貼心的Splunk都幫大家想好了喔!除了下面這件splunk> take the sh out of IT,

還有這件splunk>search WTF | report FTW | alert WFH,

和這件splunk>Finding your faults, just like mom.

事實上,Splunk總共有23種T-shirt,每件身上都有一句經典標語,趕快看看你拿到的T-shirt是哪一個標語?

小編在這裡率先跟大家分享,我拿到的是這件splunk>Because ninjas are too busy

事不疑遲,回家快點把自己的splunk T標語留言在我們部落格吧!

[應用技巧]全方位網頁分析軟體Splunk

網頁分析已經是企業執行精準行銷最重要的一環工作了,而我們也很常有使用者問我們既然Splunk是一個智慧營運平台,是不是有甚麼操作方式或技巧直接進行網頁的tracking,再將資料加以分析呢?如此一來,資料除了可以省去不必分段運作的麻煩之外也可避免把重要資料交給第三方單位進行分析而有資料外洩的疑慮,接下來我們針對了自行利用Splunk進行客戶分析列了幾個重點,也會在以下的章節教各位朋友怎麼埋code,進行tracking!\自行追蹤分析的四大好處:

1. 防止重要的原始資料被提供分析服務第三方單位再利用
2. 可按照需求自由,有彈性且免費的存取所蒐集到原始資料
3. 可自行客製化並無限制的追蹤客戶行為:無蒐集範圍的限制,無蒐集面向的限制,可全方位追蹤客戶行為
4. 可將追蹤的資料與既有的客戶資料(如:客戶基本資料,訂單資料等)進行關聯(Correlate)

[應用技巧]用Splunk和Hunk搜尋圖片

Hunk 的預先處理功能(The Preprocessor)把Splunk 6的技術推入更高的層次,因為Hunk居於Hadoop’s MapReduce的頂層,所以Hunk可以預先處理框架,基本上你可以用任何資料,用純文字寫一段code,然後搜尋看看這個資料被存在哪裡?
以下是這個功能的小Demo,你可以挑一個你想要的顏色,然後找找看跟這個顏色符合的照片,他的搜尋功能像是個樣子!



Splunk 6搜尋圖片時進行預先處理,因此不需要圖片索引沒有索引的成本,若要搜尋儲存在HDFS (Hadoop Distributed File System)上的圖片,最方便的做法是先預先將圖片的顏色和分布進行描述,最後Splunk會將搜尋的結果依照與指令的相關度排序傳回.
圖片搜尋的方法有以下三種:

1. 用預先處理(The Preprocessor)
2. Splunk 搜尋
3. 透過Splunk 6 UI

[應用技巧] 利用簡單XML語法呈現客製化月曆報表

利用簡單的XML語法呈現客製化月曆報表,是因為當初想要了解每個月分特殊使用者每天登入的狀況與頻率,所以才有這樣的想法,原先已經可以SPL的搜尋語法來了解特殊使用者的登入狀況,但當初還沒有客製化的圖表顯示相關的結果,所以這次Splunk 6 就把相關功能上線服務囉!

搜尋功能

其實要做到這樣的搜尋隊Splunk來說是非常容易的,比較困難的部分是要把搜尋的事件結果用日期排序以圖表顯示出來。

Splunk 吉祥物- The Pwny Buttercup

相信有參加.conf 2013或沒參加.conf 2013只有看到照片分享的朋友都發現了,Splunk .conf 2013的會場中有一隻小馬,這隻小馬是Splunk的吉祥物,她叫Buttercup!但……為什麼Splunk的吉祥物是一隻小馬,不是小豬,不是小熊,不是小獅子呢?

說到Buttercup,就要把時間回溯到2006年年中的時候,當時Splunk已經有許多案子正在進行,因為我們希望可以在更多的平台上面執行Splunk所以同時也有許多的待處理的程式要寫,我們急需可以全職處理這些程式的工程師,

Splunk 6 Enterprise 正式發表！

目前Splunk正在Las Vegas舉辦一年一度的年度盛會-Splunk .conf 2013,在會場公開宣布令人驚艷的 Splunk 6 Enterprise 已經正式發表並且已經開放下載，各位可以到 http://www.splunk.com/ 下載體驗喔！

Splunk .conf 2013現場盛況

[Splunk Videos] Splunk App for Vmware

Splunk的官方Splunk App影片都在Splunk Youtube 頻道,放在頻道首頁的
Splunk Amazing Stories我們在5月份已經分享過了,今天要跟各位朋友分享的是Splunk App for Vmware (Youtube影片).

影片內容大致講述,虛擬環境可以為企業省下可觀的成本和時間,但也會為企業的IT環境帶來新的問題,和實體環境相同,虛擬環境也必須與使用者和虛擬伺服器連接並留下log,這樣在系統出現異常時才能有跡可循,面對巨量資料亦是如此,目前虛擬環境可多工進行許多工作也接受各式各樣的資料log,要如何一一留下這些資料來源的log?

以上問題Splunk有解!Splunk App for Vmware(官網介紹)

無論您的環境如何(虛擬或實體),Splunk都可以儲存所有資料,包含IT環境營運資料,應用程式資料,使用者log等,留住這些log,Splunk就可以利用本身巨量資料處理能力進行資料分析,即時搜尋,產出可視化報表等工作,滿足工作上的業務需求!如果想要更詳細了解,可以直接觀看以下的影片喔!

[Splunk App 介紹] Splunk IP Reputation Version 0.7

Splunk  IP Reputation Version 0.7，能夠將 IP (例如Firewall, Proxy, 以及 DNS, E-Mail, Web 這些網路服務上的來源 IP) 與 Honeynet Project 收集的 IP 黑名單資料庫做比對，這樣就可以知道遠端的IP 究竟是乾淨的正常使用者還是惡名昭彰的「有心人士」囉！

[Splunk 應用技巧] Splunk Weblog Add-on

Splunk於加州時間9/4釋出Splunk Weblog Add-on App。事實上，Splunk在2011年的時候就發表了Splunk Web Intelligence beta版，經過1年多的上面服務Splunk Web Intelligence beta版下載次數為7,500次，Splunk也從Web Intelligence beta了解更多客戶的需求，因此Splunk決定將Web Intelligence beta往上晉級為Weblog Add-on，從今天開始Weblog Add-on將繼續提供大家更完整的Web分析功能，以下是功能更強大的Weblog Add-on 的兩個特性.

1. Field Extraction: 可以簡單的mapping Apache 和 IIS的Weblog，無論是標準的資料格式或是客製化的資料格式建立或mapping不需額外寫code就可以輕鬆完成.
2. Event-Type Library: 將Web Intelligence beta版 1.0內的資料轉成資料庫，讓原本Web Intelligence的使用者可以更靈活運用行銷資料.

活動快訊: 9/11 Splunk Live 台北場(採預先報名制)

一年一度由Splunk原廠辦理的Splunk Live將於 9月11日台北喜來登飯辦理， 精誠資訊Splunk 團隊在當天下午有一個Session將會跟各位朋友介紹 Splunk 在數位行銷智慧上的解決方案喔~除了有精采的演講之外，精誠資訊Splunk團隊當天也有攤位展示專為 Splunk 打造，隨插即用超easy的 SBOX appliance，歡迎各位朋友來我們攤位逛逛，現場也有 Splunk重度且資深的使用者和資料科學家等專業人士在現場，各位朋友在Splunk的使用有任何疑問也歡迎過來一起來聊聊！

要參加Session聽課的朋友,記得點選以下進行報名喔~

[點此連結進行報名]

[Splunk新手小學堂]9/13新手小學堂-Unix 系統效能與運行分析

Splunk 提供許多現成的 Apps，不需要再經歷曠日廢時的開發階段，讓使用者能夠快速的使用與上手，提供企業使用資料做分析與應用時經濟快速的選擇。

Splunk 「*nix」 Apps 套件為 Linux 和 Unix 管理上
提供預設的資料輸入、檢索、報告、警報和儀表板功能。
現在，您可以從 Splunk 監控、管理和故障排除 *nix 作業系統。
利用 Script 的輸入來收集 CPU、硬碟、I/ O、儲存空間、日誌、設定檔和帳號資料。
透過該 Apps 進入 Splunk 的使用是一件輕而易舉的事。

[Splunk 影片] Splunk 與物聯網應用

過去已經聽到一些實際的應用案例，例如分析大樓電梯狀態與用量、與心律監測設備整合、分析飛機航班準確率以及跑道軌跡等，現在有個完整的影片介紹 Splunk 在物聯網上的應用。

[Splunk 應用技巧] 全新的 Splunk Apps 網站上線囉！

原來的 splunkbase 網站同時提供 Apps 以及 Answers 兩項服務，但是在操作上容易混淆，現在 Splunk 把使用日益頻繁的 Splunk Apps 獨立出來，同時改版讓介面可以包容更多的資訊，例如將操作說明與 App 說明分離。

活動快訊:巨量資料淬鍊術，找出觸發交易DNA

各位Splunk User 您好，在今年5月我們曾經辦過一場手機App深度行為分析研討會，因為題目和講師都太精彩了，才剛開始報名就爆滿啦，導致很多客戶沒有參加到那場研討會，所以我們決定在8/23再度舉辦巨量資料淬鍊術，找出觸發交易DNA研討會，會同時帶到電子商務網站最需要的精準行銷，與現行最夯的行銷工具手機APP的分析，歡迎大家一起來參加喔。

[Splunk新手小學堂]8/27的新手小學堂- Windows 資安稽核

系統管理者總是希望能夠充分掌握系統運行與使用者活動的情形，究竟有沒有辦法做到？ 資安管理人員希望要有資安稽核報表，究竟哪些才算是稽核報表？系統管理與資安稽核，有沒有可能共生共存，一兼二顧？

Splunk 提供了許多 Apps ，可以讓 Splunk 擴充功能，衍生新特性扮演不同角色，滿足各種領域管理人員的需求。那麼在 Windows 資安稽核這個領域，Splunk 應該如何發揮功能，有效協助 Windows 系統管理員與資安稽核人員雙方充分利用？又應該要下載安裝什麼 Apps 才能夠快速達成這個目的？

[Splunk 應用技巧] Predict App 操作教學

https://www.youtube.com/watch?v=ROvaqJigNFg

這是一部簡短的教學影片。 Predict App 是 Splunk 的Chief Mind 開發出來的一個 App ，可以經由歷史資料學習的方式來預測資料不足的內容，例如從名字推斷其性別，或是從使用者評論中推斷正面評價或負面評價。

更多 Predict App 詳情在此：http://splunk-base.splunk.com/apps/68776/splunk-predict-app

如果對社群網站以及語意分析有興趣，還可以試用作者的另外一個作品 Sentiment Analysis：
http://splunk-base.splunk.com/apps/57214/sentiment-analysis

Sentiment Analysis 是針對社群媒體(如 Twitter)上的語意分析來判斷使用者對某件事情的正負評價。

電子商務網站的獲利模式已在全球各地全面引爆， 大如Amazon書店到個人經營的購物網站都在爭食這塊大餅，但網站的使用者行為猶如一個黑色的箱子，很難探尋黑盒子的內容物，發送大量的廣告信件已經是電子商務網站過時且沒有效率的招數了。 如何精準的行銷你的網站與商品、創造訂單才是獲利的關鍵！網站訪客來來去去，有些在站內四下穿梭，有些機器人拿了資訊就走，那麼從網站日誌中，究竟可以從中間看到些什麼關鍵資訊？ 本堂《Splunk 新手小學堂》能夠讓網站管理者們獲得有價值的資訊。 技術人員關心的是回應速度與資訊正確。 企劃人員關心的是點擊率與留駐時間。 客服人員關心的是用戶經驗與查詢紀錄。 營運人員關心的是轉化率與購物交易。 老闆，關心的是他能從網站中賺到多少利潤。 從同一份網站日誌檔案，分析出不同面相和維度的結果，邀請您一同體驗「從難懂的流量日誌，挖掘網站價值」。

• 課程時間 : 2013/8/9 14：00～16：30
• 課程地點 : 台北恆逸教育訓練中心(台北市復興北路99號 14樓)

Splunk推薦-【WIRED特刊】你不能不知的最夯人才「資料科學家」- 他們是從資料庫中挖掘21世紀文藝復興的奇才！

在資訊爆炸的網路時代，消費者可透過不同的平台進行商業交易，多結構化巨量資料也正快速地累積，巨量資料成長已是不可逆的趨勢，WIRED雜誌將一群專門與Big Data為伍的人才稱作「資料科學家」-認為他們是從資料庫中挖掘21世紀文藝復興的奇才!

以數位媒體建構出的消費市場有別於傳統市場的單一性，Big Data隱含的資料包羅萬象，精誠資訊擁有完整的 資料科學家 團隊編制，其中包含統計學家、廣告與行銷專家、用戶經驗專家、資安分析師、物聯網專家、程式設計師、系統分析師等，如此才能善加利用 Splunk 與其他各種工具從巨量資料中提煉價值，解讀隱藏在資料背後的意涵，從而協助客戶從中獲利。

Splunk 是 Big Data 時代的絕世神兵，而精誠資訊則擁有全台灣唯一能將這把絕世神兵發揮得淋漓盡致的團隊，有了這樣的靈魂， Splunk 才能為客戶帶來最大的效益。

[Splunk 應用技巧] Splunk App for Enterprise Security and PCI Compliance Correlation Search Drill-downs

Splunk App for Enterprise Security (ES) and PCI Compliance (PCI) 是 Splunk 兩個資安上的重量級應用，也是 Splunk 少數的收費 Apps ，裡面大量使用了 Splunk 的 關連搜尋(Correlation Searches) 與 深入搜尋(Drill-down searches) 兩項技術。

關連搜尋技術如同傳統 SIEM 的技術一般，能夠把不同類型的事件串連，這裡就不多說。而 Drill-down 充分發揮了 Splunk 的搜尋能力，讓 Splunk 的搜尋結果變成可以操作的互動式介面，讓使用者可以直覺的深入搜尋數字背後的相關事件。就是眾多像這樣的 Splunk 技術與能力，讓 Splunk + ES 可以在今年的 Gartner MQ SIEM 項目進入領導者象限。

以下是 Drill-down 的幾個簡單應用：
1. 看到柱狀圖中特定時間內的事件量出現峰值，就可以點進去看到底是哪些 Event。
2. 登入失敗次數前十大的使用者，點 User ID 就可以看到這個 User 的登入失敗紀錄。
3. 發現 proxy log 中連往特定網站的紀錄異常大量，點一下 URL 就可以看到哪些內部 IP ，點 IP 就可以看到同時段所有相同來源 IP 的 Events，再去點防毒的紀錄尋找最近有無中毒紀錄....

而且 Drill-down 還可以串連，因此 A->B->C->D 並不是不可能的，另外還可以連到外部資源，例如從 Web Access Log 中點 ProductID 可以實際連到網頁上的商品頁面，帥吧！

http://www.function1.com/2013/07/splunk-app-for-enterprise-security-and-pci-compliance-correlation-search-drill-downs/