1數據采集
業(yè)務(wù)系統的埋點(diǎn)代碼時(shí)刻會(huì )產(chǎn)生一些分散的原始日志，可以用Flume監控接收這些分散的日志，實(shí)現分散日志的聚合，即采集。
2數據清洗
1.一些字段可能會(huì )有異常取值，即臟數據。為了數據下游的"數據分析統計"能拿到比較高質(zhì)量的數據，需要對這些記錄進(jìn)行過(guò)濾或者字段數據回填。
2.一些日志的字段信息可能是多余的，下游不需要使用到這些字段做分析，同時(shí)也為了節省存儲開(kāi)銷(xiāo)，需要刪除這些多余的字段信息。
3.一些日志的字段信息可能含用戶(hù)敏感信息，需要做脫敏處理。如用戶(hù)姓名只保留姓，名字用'*'字符替換。
3數據存儲
清洗后的數據可以落地入到數據倉庫(Hive)，供下游做離線(xiàn)分析。如果下游的"數據分析統計"對實(shí)時(shí)性要求比較高，則可以把日志記錄入到kafka。
4數據分析統計
數據分析是數據流的下游，消費來(lái)自上游的數據。其實(shí)就是從日志記錄里頭統計出各種各樣的報表數據，簡(jiǎn)單的報表統計可以用sql在kylin或者hive統計，復雜的報表就需要在代碼層面用Spark、Storm做統計分析。一些公司好像會(huì )有個(gè)叫BI的崗位是專(zhuān)門(mén)做這一塊的。
5數據可視化
用數據表格、數據圖等直觀(guān)的形式展示上游"數據分析統計"的數據。一般公司的某些決策會(huì )參考這些圖表里頭的數據~
以上是小編整理的一些關(guān)于的大數據方向的一些基本問(wèn)題，希望能對各位小白能有所幫助，歡迎各位來(lái)我們青島思途教育咨詢(xún)學(xué)習大數據課程！
Python語(yǔ)言編程的特點(diǎn)及其應用