2013年12月11日 星期三

[應用案例]Splunk 在e-Travel 的應用

e-Travel SA2005年由100個員工開始到目前,e-Travel SA是歐洲前10大網路旅行社(online travel agencyOTA),其服務範圍涵蓋南歐及東歐共14個國家,而大部分的業務又是來自於俄羅斯(trip.ru)e-Travel SA系列中最多客戶的品牌!目前一共擁有7個不同的品牌,列表如下:
  1. www.trip.ru
  2. www.pamediakopes.gr
  3. www.airtickets24.com
  4. www.fantasticgreece.com
  5. www.avion.ro
  6. www.trip.ua
  7. www.trip.bg
  • 客戶背景說明
e-Travel SA高度倚賴團隊中的IT部門與產品部門,這兩個部門扮演公司營運成功與否的關鍵腳色,IT部門與產品開發部門必須根據線上使用者的經驗和消費習慣進行新產品/服務開發與上架的工作,並不斷地優化消費者的消費使用經驗,藉此提升營運績效。大略來說,這兩個部門最重要的工作有以下兩點:

1. 自動偵錯:
直到2010e-Travel SA還是用人工進行系統除錯以及效能偵測,但系統的效能偵錯是一件需要快速回應的工作,系統開發者必須先連上遠端遙控系統再用UNIX系統工具進行偵錯及效能分析,事實上,同期e-Travel SAIT 團隊有採用其他的系統偵錯工具,但面對e-Travel SA的多種系統以及龐大的資料量,該系統會因為無法負荷而當機,但是系統當機造成的時間差與資訊落差會導致無法全面偵測錯誤,故e-Travel SA團隊並沒有沿用此系統。

2. 營運分析
e-Travel SA針對客戶的購買習慣和偏好進行產品開發和上架,故IT團隊必須了解行銷策略的效益、系統架構的營運績效、消費者經驗反饋、消費者購物行為統計分析、系統平台開發策略等以上五點,在尚未導入Splunk時,IT部門是利用系統的歷史資料進行分析,但無法即時關聯e-Travel SA的線上資料,這樣的作法也會造成預估上的時間與資訊落差。
身為網路旅行社,以上兩點攸關整個集團營運與否,對此,身負重任的IT團隊希望有更好的解決方案可以確保系統的正常運作。
  • Splunk解決方案
Splunk提供e-Travel SA巨量資料即時分析與搜尋的功能除了減少人工作業的時間與人力外,也降低了營運的成本:

1. 節省事件偵錯時間與成本:
根據e-Travel SA提供的數據顯示,在傳統偵測模式之下,進行單一事件偵測IT人員需要花費4小時,故每年平均維運成本高達€124,800歐元,但導入Splunk之後,透過Splunk的巨量資料處理能力可以即時搜尋關聯線上資料並進行log搜尋,大幅降低IT人員手動偵錯的時間,而因為IT的偵錯時間縮短,相對的也將每年平均維運成本高達€124,800歐元降低了90%,目前平均成本為€15,600歐元,下表為e-Travel SA的詳細成本計算:

2. 降低停機修復的時間與成本
導入Splunk之前e-Travel SA每周停機修復時間為4小時,而平均每停機1小時所損失的利潤為€50,000 歐元,估計每年因為固定的停機修復而損失的利潤高達€10,400,000歐元,但導入Splunk之後,因為即時搜尋且偵測事件的能力提高,停機修復的時間可縮短為0.5小時,每年平均損失的利潤降為€1,300,000歐元,導入Splunk之後不僅縮短的停機修復的時間,同時也降低90%因為修復所損失的利潤,下表為相關詳細資訊:
   
3. 全球經銷商經費報銷追蹤分析
身為線上旅行社e-Travel SA必須與全球分銷系統(GDSGlobal Distribution System)合作以擴大服務的範圍和接觸更多的消費者,但在尚未導入Splunk之前,e-Travel SA並沒有追蹤預付款的明細與實際報銷的狀況,因此有許多預付但實際沒有發生的費用並沒有追回,預付款費用報銷的問題在導入Splunk之後才明確知道,e-Travel SA在全球預付的款項平均每個月約有60筆的費用不會發生,平均每筆費用大約€92歐元,平均每年可追回的款項約為€64,032歐元,下表為詳細資訊:

4. 分析消費者習慣打造所需旅遊產品
以前e-Travel SA用傳統的方式進行產品開發和使用者經驗優化,通常產品經理江開發出的商品進行上架測試使用者的反應,再決定產品的去留,雖然這種方式可以最直接知道消費者的喜好,但非常冒險也花時間,幸而在導入Splunk之後,Splunk可以分析歷史資料以及連結線上資料進行消費者偏好分析,對比以往直接測試的方式,Splunk的分析可以節省時間可達到按照消費者行為及偏好設計產品的用意,可降低產品銷售不如預期的風險。

5. 提升訪客轉換率
對電子商務網站來說,轉換率的提升可以有效提升網站的營收及利潤,e-Travel SA也不例外,透過Splunk可以即時監測消費地的購物路徑,也可了解消費者在購物的哪個階段停止交易跳出網頁,藉著這樣的log監控可以更了解消費者的喜好,調整旅遊產品或是優化整體的交易步驟及流程,而這樣的偵測確實有效地提升每位消費者進入網站所帶來的利潤。
  • 導入後效益分析說明

網路旅行社的市場隨著IT技術的發展而迅速擴張,在競爭激烈的網路旅行市場中,提出誘人的人旅遊方案和改善消費者消費經驗是提升業績的不二法門,Splunke-Travel SA從兩方面進行開源、節流:

1. 進行產品預測增加市場競爭力:e-Travel SA透過Splunk處理歷年來訂單資料及結合線上資料即時處理,針對消費者的偏好提出新產品企劃建議,並追蹤消費者購物路徑分析流失客戶的特徵,提出消費者購物路徑的優化建議。

2. 歷史資料分析降低系統為運成本:分析歷年來的log資料,可自動偵測系統錯誤降低原本傳統人工偵測所耗費的時間與修費時間,將系統維運成本降低90%以上,另外預付給全球經銷的預付費用也可明確追蹤,降低呆帳比例。


e-Travel SA藉著Splunk對外獲取消費者洞察、對內可以進行系統稽核以及核對預付款項,不但大幅提升e-Travel SA的競爭力也讓e-Travel SA的電子商務系統更加穩定。

Splunke-Travel SA進行系統營運偵測及消費者洞察,證明了Splunk可透過log即時協助服務業調整產品內容並獲得消費者反饋進而優化使用者經驗!為e-Travel SA在競爭激烈的旅遊服務業中提升品牌競爭力。

2013年12月2日 星期一

[好康消息]Splunk新手小學堂-12/13 Splunk新手小學堂:Unix系統效能與運行分析

Splunk 提供許多現成的 Apps,不需要再經歷曠日廢時的開發階段,讓使用者能夠快速的使用與上手,提供企業使用資料做分析與應用時經濟快速的選擇。

Splunk
*nix Apps 套件為 Linux Unix 管理上
提供預設的資料輸入、檢索、報告、警報和儀表板功能。
現在,您可以從 Splunk 監控、管理和故障排除 *nix 作業系統。
利用 Script 的輸入來收集 CPU、硬碟、I/ O、儲存空間、日誌、設定檔和帳號資料。
透過該 Apps 進入 Splunk 的使用是一件輕而易舉的事。

本堂《Splunk 新手小學堂》帶您體驗如何利用 Splunk Apps,快速的處理大量的數據資料,將大量數據轉化成有商業價值的資料。
  • 上課時間:2013/12/13 14:00~16:30
  • 上課地點:台北恆逸教育訓練中心(台北市復興北路99號 14樓)

2013年11月14日 星期四

[好康消息]Splunk新手小學堂-Windows 資安稽核

系統管理者總是希望能夠充分掌握系統運行與使用者活動的情形,究竟有沒有辦法做到? 資安管理人員希望要有資安稽核報表,究竟哪些才算是稽核報表?系統管理與資安稽核,有沒有可能共生共存,一兼二顧?

Splunk 提供了許多 Apps ,可以讓 Splunk 擴充功能,衍生新特性扮演不同角色,滿足各種領域管理人員的需求。那麼在 Windows 資安稽核這個領域,Splunk 應該如何發揮功能,有效協助 Windows 系統管理員與資安稽核人員雙方充分利用?又應該要下載安裝什麼 Apps 才能夠快速達成這個目的?

本堂《 Splunk 新手小學堂》帶您體驗如何利用 Splunk 與既有的 Apps ,透過 Apps 內建的功能與報表客製,快速打造一個 Windows 資安稽核的系統,您想要稽核的系統資訊一覽無遺。

  • 上課時間:2013/11/26 14:00~16:30
  • 上課地點:台北恆逸教育訓練中心(台北市復興北路99號 14樓)

2013年11月10日 星期日

Splunk參加精誠璀璨年代音樂會

因為11/8(五)台北時間精誠資訊與Splunk宣布SBOX正式Luanch, Splunk CEO-Godfrey SullivanSplunk COO- Tom SchordorfSplunk亞太區總裁-Robert Lau, Splunk 亞太區通路總監-Stephen Mak, Splunk 台灣分公司總經理-林岳樺等人,都到現場支持與各位分享這個喜訊!

當天稍晚,從美國遠道而來的貴賓們也參加了精誠資訊舉辦的精誠璀璨年代音樂會,甚至還上台高歌一曲呢!

2013年11月4日 星期一

Splunk tag:splunk> take the sh out of IT.

相信有來參加過Splunk活動的朋友一定都有拿過Splunk T,Splunk 胸前的標語絕對是深入你我的心,IT界的每位宅宅(誤)每位辛苦的工程師,你們心中有沒有每次遇到de不掉的bug,或是不停loop,就想要飆出來的那一句......?

貼心的Splunk都幫大家想好了喔!除了下面這件splunk> take the sh out of IT,



還有這件splunk>search WTF | report FTW | alert WFH,



和這件splunk>Finding your faults, just like mom.



事實上,Splunk總共有23種T-shirt,每件身上都有一句經典標語,趕快看看你拿到的T-shirt是哪一個標語?

小編在這裡率先跟大家分享,我拿到的是這件splunk>Because ninjas are too busy



事不疑遲,回家快點把自己的splunk T標語留言在我們部落格吧!

2013年10月29日 星期二

[應用技巧]全方位網頁分析軟體Splunk

網頁分析已經是企業執行精準行銷最重要的一環工作了,而我們也很常有使用者問我們既然Splunk是一個智慧營運平台,是不是有甚麼操作方式或技巧直接進行網頁的tracking,再將資料加以分析呢?如此一來,資料除了可以省去不必分段運作的麻煩之外也可避免把重要資料交給第三方單位進行分析而有資料外洩的疑慮,接下來我們針對了自行利用Splunk進行客戶分析列了幾個重點,也會在以下的章節教各位朋友怎麼埋code,進行tracking!\自行追蹤分析的四大好處:
  1. 防止重要的原始資料被提供分析服務第三方單位再利用
  2. 可按照需求自由,有彈性且免費的存取所蒐集到原始資料
  3. 可自行客製化並無限制的追蹤客戶行為:無蒐集範圍的限制,無蒐集面向的限制,可全方位追蹤客戶行為
  4. 可將追蹤的資料與既有的客戶資料(如:客戶基本資料,訂單資料等)進行關聯(Correlate)

2013年10月23日 星期三

[Splunk 新手小學堂] 11/7 WAF新日誌分析

Web應用防火牆(Web Application Firewall, WAF)是近年新竄起的資安產品,針對Web提供資安的保障以及規則的落實,因為是新興產品類型,因此多半提供自行定義的日誌格式。
市面上的WAF產品這麼多,日誌格式也是百百種,Splunk可以支援嗎?如果拿到一份新的WAF日誌要進行分析,又應該如何開始分析? 如果企業使用的產品較為冷門或缺乏支援,有沒有可能自力救濟,一樣納入Splunk之中?

Splunk 對於資料的特殊處理方式,讓「收集日誌」與「分析日誌」這件事情變得簡單!當面對一份陌生的日誌格式時,Splunk應該如何開始收集?Splunk應該如何定義新的資料欄位讓其中的資料可以被識別並且被利用?

本堂《Splunk 新手小學堂》帶您體驗如何利用 Splunk 與內建的欄位定義功能,將陌生的日誌轉換成有意義的欄位,再透過搜尋報表客製,完成資料的分析與呈現,為您的特殊日誌設計一個實用的分析儀表板。

  • 課程時間 : 2013/11/7  14:00~16:30 
  • 課程地點 : 台北恆逸教育訓練中心(台北市復興北路99號 14樓)

2013年10月22日 星期二

[應用技巧]用Splunk和Hunk搜尋圖片

Hunk 的預先處理功能(The Preprocessor)把Splunk 6的技術推入更高的層次,因為Hunk居於Hadoop’s MapReduce的頂層,所以Hunk可以預先處理框架,基本上你可以用任何資料,用純文字寫一段code,然後搜尋看看這個資料被存在哪裡?
以下是這個功能的小Demo,你可以挑一個你想要的顏色,然後找找看跟這個顏色符合的照片,他的搜尋功能像是個樣子!



Splunk 6搜尋圖片時進行預先處理,因此不需要圖片索引沒有索引的成本,若要搜尋儲存在HDFS (Hadoop Distributed File System)上的圖片,最方便的做法是先預先將圖片的顏色和分布進行描述,最後Splunk會將搜尋的結果依照與指令的相關度排序傳回.
圖片搜尋的方法有以下三種:
  1. 用預先處理(The Preprocessor)
  2. Splunk 搜尋
  3. 透過Splunk 6 UI

2013年10月18日 星期五

[應用技巧] 利用簡單XML語法呈現客製化月曆報表

利用簡單的XML語法呈現客製化月曆報表,是因為當初想要了解每個月分特殊使用者每天登入的狀況與頻率,所以才有這樣的想法,原先已經可以SPL的搜尋語法來了解特殊使用者的登入狀況,但當初還沒有客製化的圖表顯示相關的結果,所以這次Splunk 6 就把相關功能上線服務囉!


搜尋功能
其實要做到這樣的搜尋隊Splunk來說是非常容易的,比較困難的部分是要把搜尋的事件結果用日期排序以圖表顯示出來

2013年10月15日 星期二

[Splunk 新手小學堂] 10/29電子商務網站使用者分析

電子商務網站的獲利模式已在全球各地全面引爆,大如Amazon書店到個人經營的購物網站都在爭食這塊大餅,但網站的使用者行為猶如一個黑色的箱子,很難探尋黑盒子的內容物,發送大量的廣告信件已經是電子商務網站過時且沒有效率的招數了。

如何精準行銷你的網站與商品、創造訂單才是獲利的關鍵!網站訪客來來去去,有些在站內四下穿梭,有些機器人拿了資訊就走,那麼從網站日誌中,究竟可以從中間看到些什麼關鍵資訊?
本堂《Splunk 新手小學堂》能夠讓網站管理者們獲得有價值的資訊。

技術人員關心的是回應速度與資訊正確。
企劃人員關心的是點擊率與留駐時間。
客服人員關心的是用戶經驗與查詢紀錄。
營運人員關心的是轉化率與購物交易。
老闆,關心的是他能從網站中賺到多少利潤。


從同一份網站日誌檔案,分析出不同面相和維度的結果,邀請您一同體驗「從難懂的流量日誌,挖掘網站價值」。
  • 課程時間 : 2013/10/29  14:00~16:30 
  • 課程地點 : 台北恆逸教育訓練中心(台北市復興北路99號 14樓)

2013年10月7日 星期一

Splunk 吉祥物- The Pwny Buttercup

相信有參加.conf 2013或沒參加.conf 2013只有看到照片分享的朋友都發現了,Splunk .conf 2013的會場中有一隻小馬,這隻小馬是Splunk的吉祥物,她叫Buttercup!但……為什麼Splunk的吉祥物是一隻小馬,不是小豬,不是小熊,不是小獅子呢?

說到Buttercup,就要把時間回溯到2006年年中的時候,當時Splunk已經有許多案子正在進行,因為我們希望可以在更多的平台上面執行Splunk所以同時也有許多的待處理的程式要寫,我們急需可以全職處理這些程式的工程師,

2013年10月1日 星期二

Splunk 6 Enterprise 正式發表!

目前Splunk正在Las Vegas舉辦一年一度的年度盛會-Splunk .conf 2013,在會場公開宣布令人驚艷的 Splunk 6 Enterprise 已經正式發表並且已經開放下載,各位可以到 http://www.splunk.com/ 下載體驗喔!

Splunk .conf 2013現場盛況

2013年9月30日 星期一

活動快訊:Splunk 參加Dell Enterprise Forum Taiwan

不知道大家還記不記得上周在TICC Splunk參加微軟Tech Day 的活動,這周我們又有活動了喔!本周五(10/4)在TICC 精誠資訊Splunk團隊將會在Dell Enterprise Forum Taiwan再次與大家見面喔!本次活動展出由精誠資訊研發的SBOX appliance!除此之外我們也在攤位上舉辦按讚送贈品的活動!請各位朋友過來看看我們喔!

活動詳細資訊:
  • 日期:2013年10月4日(星期五)
  • 時間:09:00 ~ 17:10
  • 地點:台北國際會議中心(台北市信義區信義路五段1號)
  • 攤位編號:1號
上週Tech Day 攤位盛況

2013年9月26日 星期四

[Splunk新手小學堂]10/8 Windows 系統運行與效能分析

IT人員面對大量的Windows日誌管理,更需要思考在簡化工作流程的過程中同時提升效率,當系統發生異常時,往往陷入問題查找的迷失。

Splunk平台上的Windows Management App提供各種相關系統運行的即時狀態,例如CPU使用率、記憶體使用分配百分比、網路傳收資料的速率等;以及效能事件分析,如登入的使用者、Windows更新狀態等。

當管理的系統規模越大、數量越多,系統的關聯性也就越高,IT 人員想找出問題的癥結,需要的不只個人的知識與經驗,而是高效率的工具來協助。

本堂《Splunk 新手小學堂》邀請您一同體驗,如何導入資料、安裝Apps、運用Splunk查找問題、建立專屬儀表版。

  • 課程時間 : 2013/10/8  14:00~16:30 
  • 課程地點 : 台北恆逸教育訓練中心(台北市復興北路99號 14樓)

2013年9月17日 星期二

[Splunk新手小學堂]9/27新手小學堂Web事件資安分析

身為企業網站管理者,或是營運中的線上購物網站
當網站出現異常狀況時,所承受有形與無形的損失通常難以估計。
這時有沒有合適的日誌分析工具能讓快速的發現、找出問題?
您又是不是常遇到無法調閱異質複數設備日誌?將數據圖像化又很曠日廢時?
本堂《Splunk 新手小學堂-Web資安事件分析》將帶領您學習如何使用Splunk匯入網站日誌,如何使用Splunk統計分析,產生數據圖表,並製作出自行設計之儀表板讓您輕鬆一覽網站日誌所產生之報表畫面。讓您的網站日常營運更穩定順暢。

  • 課程時間 : 2013/9/27  14:00~16:30 
  • 課程地點 : 台北恆逸教育訓練中心(台北市復興北路99號 14樓)

2013年9月16日 星期一

[Splunk Videos] Splunk App for Vmware

Splunk的官方Splunk App影片都在Splunk Youtube 頻道,放在頻道首頁的
Splunk Amazing Stories我們在5月份已經分享過了,今天要跟各位朋友分享的是Splunk App for Vmware (Youtube影片).

影片內容大致講述,虛擬環境可以為企業省下可觀的成本和時間,但也會為企業的IT環境帶來新的問題,和實體環境相同,虛擬環境也必須與使用者和虛擬伺服器連接並留下log,這樣在系統出現異常時才能有跡可循,面對巨量資料亦是如此,目前虛擬環境可多工進行許多工作也接受各式各樣的資料log,要如何一一留下這些資料來源的log?

以上問題Splunk有解!Splunk App for Vmware(官網介紹)

無論您的環境如何(虛擬或實體),Splunk都可以儲存所有資料,包含IT環境營運資料,應用程式資料,使用者log等,留住這些log,Splunk就可以利用本身巨量資料處理能力進行資料分析,即時搜尋,產出可視化報表等工作,滿足工作上的業務需求!如果想要更詳細了解,可以直接觀看以下的影片喔!

2013年9月12日 星期四

[Splunk App 介紹] Splunk IP Reputation Version 0.7

Splunk  IP Reputation Version 0.7,能夠將 IP (例如Firewall, Proxy, 以及 DNS, E-Mail, Web 這些網路服務上的來源 IP) 與 Honeynet Project 收集的 IP 黑名單資料庫做比對,這樣就可以知道遠端的IP 究竟是乾淨的正常使用者還是惡名昭彰的「有心人士」囉!


2013年9月5日 星期四

[Splunk 應用技巧] Splunk Weblog Add-on

Splunk於加州時間9/4釋出Splunk Weblog Add-on App。事實上Splunk在2011年的時候就發表了Splunk Web Intelligence beta版經過1年多的上面服務Splunk Web Intelligence beta版下載次數為7,500次,Splunk也從Web Intelligence beta了解更多客戶的需求,因此Splunk決定將Web Intelligence beta往上晉級為Weblog Add-on,從今天開始Weblog Add-on將繼續提供大家更完整的Web分析功能以下是功能更強大的Weblog Add-on 的兩個特性.
  1. Field Extraction: 可以簡單的mapping Apache 和 IIS的Weblog,無論是標準的資料格式或是客製化的資料格式建立或mapping不需額外寫code就可以輕鬆完成.
  2. Event-Type Library: 將Web Intelligence beta版 1.0內的資料轉成資料庫,讓原本Web Intelligence的使用者可以更靈活運用行銷資料.

2013年9月2日 星期一

活動快訊: 9/11 Splunk Live 台北場(採預先報名制)

一年一度由Splunk原廠辦理的Splunk Live將於 9月11日台北喜來登飯辦理, 精誠資訊Splunk 團隊在當天下午有一個Session將會跟各位朋友介紹 Splunk 在數位行銷智慧上的解決方案喔~除了有精采的演講之外精誠資訊Splunk團隊當天也有攤位展示專為 Splunk 打造,隨插即用超easy的 SBOX appliance,歡迎各位朋友來我們攤位逛逛,現場也有 Splunk重度且資深的使用者和資料科學家等專業人士在現場,各位朋友在Splunk的使用有任何疑問也歡迎過來一起來聊聊!

要參加Session聽課的朋友,記得點選以下進行報名喔~



2013年8月27日 星期二

[Splunk新手小學堂]9/13新手小學堂-Unix 系統效能與運行分析

Splunk 提供許多現成的 Apps,不需要再經歷曠日廢時的開發階段,讓使用者能夠快速的使用與上手,提供企業使用資料做分析與應用時經濟快速的選擇。

Splunk 「*nix」 Apps 套件為 Linux 和 Unix 管理上
提供預設的資料輸入、檢索、報告、警報和儀表板功能。
現在,您可以從 Splunk 監控、管理和故障排除 *nix 作業系統。
利用 Script 的輸入來收集 CPU、硬碟、I/ O、儲存空間、日誌、設定檔和帳號資料。
透過該 Apps 進入 Splunk 的使用是一件輕而易舉的事。