文章最後更新於 2022-10-07
數據分析師(Data Analyst)到底在做什麼呢?根據我在Data Team多年的觀察,還有身邊朋友的經驗整理!
在美國的商業分析師,每天都在做些什麼?如果想轉行,成為資料分析師/商業分析師,需要具備技能?
未來有什麼發展?薪資多少呢?今天就要來一步一步的揭曉這個行業的內幕!
未來這個領域,會在不同的產業蓬勃發展!
延伸閱讀:[美國求職] #2 英文履歷的5個原則、履歷範本,Google, Amazon注重什麼?
美國求職攻略
希望陪你走過美國求職馬拉松,整理了我自己、朋友的經驗,幫助你在逆境中,找到好工作!
內容包含:簡歷、LinkedIn、相關準備資源、準備面試的方法,希望讓你在美國求職路上更順暢。
- 找工作資源彙整
- [美國求職] #0 美國面試資源彙整,必備15個網站、2本書、4個Projects
- [美國求職] #1 北美科技產業市場,SDE? DE? DS? DA? BA?
- Resume & LinkedIn
- 面試準備
- [美國求職] #4 Amazon, Google面試,常見的3個面試流程
- [北美求職] #5 如何準備面試?實用技巧?需要多少時間準備?
- 職涯剖析系列
- Data Analyst: [數據分析師 Data Analyst] 薪資最高不是Google?
- Data Engineer: [資料工程師Data Engineer]年薪20萬美元?Meta在找哪種人?3個技能要求
- Data Scientist: [資料科學家Data Scientist] 年薪薪水20萬美元?Uber在找哪種人?職涯發展
- Full Stack Engineer: [全端工程師Full Stack Engineer] Meta, Google薪水不是前五?職涯發展
- Backend Engineer
- Machine Learning Engineer
- 學習資源推薦
歡迎訂閱我的IG: @nyc.engineer.jack
文章目錄
日常工作
這是很常見的8個步驟,我還分別列出3種常見職責、4個職能,並且用我自己過去在Data Team的經驗來說明!
希望幫助你更了解Data Analyst的日常工作!
- 解決商業問題
- 建立假說
- 採取某種方法
- 蒐集資料
- 驗證資料
- 了解資料,並且清理資料(Excel, SQL, Python都可以
- 資料視覺化
- 報告
3種常見職責
描述分析(Descriptive analysis):What Happened?
在產業中,有很多已經發生的事情,這些數據散落在不同系統中,管理階層也看不到這些資料!
這時候就需要BA/DA去做以下的事情,幫助決策者做決定
- 找出這些資料
- 整合這些資料
- 分析這些資料
- 輸出成有Insights的報告
我的經驗:使用者偏好、使用者頭像
在我過去的公司中,我們是一間Car Leasing公司,有不同的租車資料、使用者資料
我們想了解,在我們平台的使用者,
大多喜歡租那些品牌的車子、大概價位在哪、信用紀錄落在哪?每個州有什麼差異?
這時候,就會需要去不同的Table,找到相對應的資料,
還需要了解不同Table間的關聯性,如何Join,並且解讀Data!
診斷分析(Diagnostic Analysis): Why did it happen?
當我們了解了目前產業發生了什麼事情,下一步,就是去了解為什麼這會發生。
這一步,通常很難將原因簡單歸因於單一條件,因為現實生活中的條件相對複雜。
常見的使用情境,資料分析師,在不同領域中,要找出在過去中,
- 有沒有固定的pattern?
- 找出導致結果的可能因素
我的經驗:訂閱制行為
像是我目前的公司Meetup,我們是一個實體的社交平台
我們有會員的訂閱制,在這個系統中,我們會想了解
- 過去取消訂閱的用戶,取消的原因(可以透過問卷
- 取消的時候,有沒有特別的季節(感恩節、聖誕節?
- 取消訂閱的用戶中,是哪一種族群(Outdoor, Tech, Social?
我們嘗試在我們的平台中,要找出原因,當我們找出可能的原因時
我們會將這個結果跟Product一起討論,看能不能推出
- 新的功能、修正過去的功能?
- 推出新的方案?
- 提出異業合作?
當討論出下一步的時候,就會進入我們季度的OKR裡,不同Team就會分工合作!
預測分析(Predictive Analysis): What will happen?
在了解了目前的產業挑戰後,我們想進一步去預測公司下一季的表現
決策者,需要很多過去的資料,來修正整個公司的方向!
我的經驗:用戶過去使用率
我們的管理階層,會想知道我們平台的基本資料
- 每天的active使用者有多少?
- 用戶平均訂閱的單價是多少?
- 用戶的cycle時間是多長?
- Year by Year的比較
還有使用者的成長率、使用率、不同平台的用戶使用率。
藉由這些過去的因素,來預測明年的成長幅度!
並且制定下個年度的目標、每個Team的執行策略!
4種常見的職能
職能一:與工程師合作
BA/DA商業分析師/資料分析師,很常需要跟工程師合作,因為很多資料都是藉由工程師蒐集的,
很常會需要跟工程師
- 要資料
- 詢問資料當時定義(每個column的定義
- 了解不同資料間的關聯
像是我們公司,主要有內部系統的資料、多元的外部資料(如GA,
我同事常常會問我資料的問題
- 資料在哪:我想了解使用者的某個行為,資料要去哪找?
- 資料分析:我有了這個資料,我要怎麼回答這個問題?
- 資料蒐集:我們還沒有這個資料,我們要怎麼搜集?
我的經驗: Office Hour
我們Team每週也都會有固定的office hour時間,提供不同同事,
來問問題,
- 去解答很多商業決策的問題
- 從過去去了解這個product的impact(影響1000人,10,000人?
職能二:與決策者(C Level)或管理階層合作
這也是數據分析師,很常會合作的對象,管理階層(VP, Director
他們的問題通常都是比較大方向、High Level的,他們會需要資料來佐證他們的決策
來了解產品是否符合市場需求,也能藉由資料來預測未來產品走向!
我的經驗: 資源分配決策
我自己的經驗中,我在推薦系統的Team裡,負責很多使用者的資料
我們的決策者,常常會問我們不同推薦系統,能產生的impact會有多大?
來決定我們下一季,模型優化的方向、投入人力的分配(維護過去功能、開發新功能、提升系統效率。
職能三:與產品經理Product Manager合作
當公司有產品的時候,通常都會有Product Manager,產品經理的工作很明確
他們通常會負責某個產品的開發流程,當產品出現問題時,或是想了解這個產品的impact
就會很常跟BA/DA 資料分析師合作,運用統計的方式、A/B Test,了解產品,做出決策!
我的經驗:A/B Testing, 資料Dashboard
像是我們推出一個小功能,我們通常都會做A/B Testing,來了解使用者有沒有提高互動率。
在我們的Office Hour中,PM最常問我們問題了!
這時候,就會需要BA來整合資料!
但我自己覺得更好的做法是,資料分析師,可以整合出一個可以讓不同領域的同事
可以自己輕鬆的產出Report的地方,不需要SQL,只需要拖拉資料,就能獲得insight的Dashboard!
初期可能需要花很多時間,去跟不同Team討論需求,但是長期下來會是Win win。
因為資料分析師,可以把簡單的report交給使用者,自己拉出report,
對於使用者而言,他們也不用等資料分析師產出簡單的報告。
資料分析師,可以專注在比較複雜的report,提供公司價值!
職能四:研究特定用戶行為
這也是資料分析師,很常會面臨的狀況,了解使用者的行為!
很多網站都會使用Google Analytics來記錄使用者的互動、行為!
或是,公司內部也有很多資料,可以來了解使用者的行為!
我的經驗:線上活動的參與率
像是舉辦線上活動時,提交報名的人,不一定都會出現
這時候,我們就會想了解線上活動的出席率。
我們可以藉由Zoom的紀錄,來了解參加的100人中,
有多少人實際點擊了Zoom Meeting的按鈕,
來了解線上的出席率!
這也是使用者分析的其中一個例子!
常見的數據分析師背景
根據市場調查,多數的資料分析師,通常有這些背景
- 市場行銷 (Marketing)
- 數學或統計學 (Maths or Statistics)
- 金融或經濟學 (Finance or Economics)
- 計算機科學 (Computer science)
- 商業資訊系統 (Business information system)
但也不一定僅限於這些領域,只要有一種domain know how+基礎分析技能。
其實就能勝任不同產業中的Data Analyst並為其產業創造價值!
那需要有哪些技術技能呢?
需求技能
資料分析技術技能
Excel:最常用
Excel還是許多傳統產業中,很常使用的工具,
多數都是沿襲過去幾十年的系統,多數都是使用Windows系統,
那在整個公司的基本架構上,都會使用Excel作為分析的工具!
而且基本的Excel其實就能分析很多複雜的資料。
例如:Pivot Table、公式、甚至簡單的爬蟲、重複性的事情可以寫VBA。
課程推薦:Microsoft Excel – Excel from Beginner to Advanced
R/ Python:彈性、自動化
通常Data Analyst不會硬性的要求Python,
但是會使用Python,不但會增加自己對於資料取得的彈性
可以有效的蒐集來自不同來源的資料,並且做分析!
對於之後想轉Data Scientist, Data Engineer都會很有幫助!
課程推薦:Complete Python Bootcamp From Zero to Hero in Python
SQL:海量資料
多數公司的資料,都是放在資料庫裡,
要取得公司的資料,就會需要使用SQL。
特別是有大量使用者資料的資料庫,是不太可能下載資料到本機端分析
通常都會在Redshift(為海量資料設計的資料庫)裡,做複雜的分析!
最後再將分析的結果產出報告。
課程推薦:The Complete SQL Bootcamp 2022: Go from Zero to Hero
資料視覺技能
Tableau / Looker
當資料處理完後,最後一個步驟就是視覺化資料!
如果公司是使用Window環境,很有可能最常用的工具是Power BI(算是強化版的Excel
但多數的公司都會使用Tableau,作為資料視覺化的工具
提供很多直覺的拖拉工具,讓使用者很輕鬆的可以拉出有意義的Report!
課程推薦:Hands-On Tableau Training for Data Science
軟性能力
這會因為不同產業,而有所不同,不過大致可以歸納成
- 產業知識 Domain Know how:如果在藥廠工作,有基本的背景知識,處理起資料就會相對更容易。
- Presentation:當處理完資料,最重要的就是Insightful Report,這時候呈現報告的能力就會很重要。
- 溝通能力:處理資料時,常常需要跟不同部門,要不同來源的資料!很多時候,也會需要跟產品經理、工程師、管理階層合作!
市場需求
根據IBM的分析,未來的DA/ BA會有越來越多職位,
中小型企業
現在很多中小型企業,都往Analytics轉型,有很多公司的VP可能連Excel都不太會用,更不用說Tableau工具!
所以很多中小型公司,都處於在BA/DA的起步階段,正在經歷數位轉型中!
科技公司
對於大型的科技公司中,也是有許多BA/DA的職缺!
但是沒有外界傳聞的多,因為在公司建立了一個BA Team後,
其實不太需要新的畢業應屆生,反而更需要有Domain Know How,或是在DA技能上更成熟的人!
智能商業分析工具蓬勃發展
在很多公司中,都會使用BI Tools,來完成複雜的BA/DA工作
例如:Looker, Omniture, Quick Sight等,都可以在BI工具裡,輸入關鍵字
就會自動產生Query來,不需要自己寫Query!
我們自己公司,就有使用Looker,在我們的Data Engineer設定好資料模型Model後
產品經理、行銷經理、管理階層,都可以很輕易的從側邊欄,輸入他們想資料的資訊
就可以將不同的Table連接在一起,並且產生出不同的Report/ Dashboard!
薪資分析
當然,在看薪資的時候,還要額外考慮
- 當地的物價(加州、紐約、德州
- 當地的稅(加州、紐約最高、西雅圖不用繳州稅
所以折合上述的兩個因素,更能算出實質的消費力、存錢率!
薪資也會根據下面這些因素,而有所不同
- Industry(不同的industry整體的收入結構都會不同)
- Company Size(取決於公司目前營收階段,大公司、中型公司、新創公司)
- Location(加州、紐約州的物價與稅相對高、收入也相對高)
- Job Title(你是Software Engineer, Data Analyst, Product Manager…)
- Personal Experience
- 面試表現
- 級別
- 工作經驗
在薪資中,有時候公司會包含
- Base
- Bonus
- Stock(很多科技公司會分4年給
- Sign On Bonus
- 其他福利(托嬰服務、某些藥廠給予買房優惠
延伸閱讀:[退休規劃] 401k是什麼?常見的3種Plan,可以滾到百萬美金以上?
全美平均薪資
這是Glassdoor蒐集全美的統計資料,根據很多人提交自己的薪資的統計,
我們可以看到整體在不同產業的平均是$71,825,
但是不同地區、產業、公司,都會不太一樣!
所以接下來,我會分別對於公司、地區來做更深入的觀察!
哪間公司給的薪水最高?
我們可以看到Meta給出了將近全美平均的兩倍薪資,
前十名的公司,都給出了將近兩倍的薪資!
而且前十名,都是科技公司!
哪一個州的薪水最高?
根據Indeed的資料,上圖,我們可以明顯看到加州,平均薪資,在全平均之上,還有麻州(波士頓)地區也是比平均還高!
比較讓我意外的是,紐約只有在平均值!
職涯發展
方向一:Operation Analytics
如果在Walmart、物流業、電子商務的產業中,就可能會有的3個面相Merchant、Sales、Site Analytics
特別是Site Analytics, 最常見的工具就是Google Analytics,會研究使用者在電商平台的行為分析!
例如:點擊、Funnel、瀏覽行為,在哪個頁面停留比較久?哪一種方式,會提高轉換率!
方向二:Customer Analytics
這個會是以研究市場,或是會面對客戶,針對某個市場的調查或是調查!
根據資料,整理出有insights的報告,提供給客戶,做決策!
方向三:Product Analytics
這是針對產品的分析,通常會跟Product Manager密切的合作。
主要會研究使用者,使用產品或是平台的行為,許多時候會搭配A/B Testing,
來比較新的功能!藉由資料,來了解使用者的行為,
並且根據使用者的行為,提供更好的產品服務!
數據分析師(Data Analyst)未來發展
根據Indeed的調查,常見的職位層級有
- Data Analyst
- Senior Data Analyst
- Director
管理走向
相對於Software Engineer而言,其實Data Analyst/ Business Analyst沒有相對清晰的職涯階梯,
有兩個主要的因素
- BA/ DA是個相對比較新的職位
- 很多BA/ DA之後會轉做PM
特別是有CS背景的Data Analyst,因為BA/DA最了解資料,而且也很懂產品!
BA/DA可以根據產品的特型,很輕易地取得到資料。
所以長遠來講,BA/DA可以選擇做PM,或是往Senior Manager走!
技術走向
也會有人,初期會先做Data Analyst,把SQL, Python,還有視覺化工具練很熟!
之後也可以往技術職缺走
- Senior Data Analyst:深化目前的技能!
- Data Enigneer:要補充Cloud Service,還有Pipeline的技能。
- Data Scientist:要補充Machine Learning還有統計的技能!
我自己就有朋友前一兩年,就是做DA,後來就轉成Data Scientist。
我自己Team裡面,也有人進來的前兩年是做DA,但很常碰我們的推薦系統,
然後也跟著學著優化我們的Model,今年就轉成Data Scientist。
資料分析師、資料科學家、資料工程師,差在哪?
從上面這張圖,我們可以看清楚不同職位的合作,與整個Data Project流程。
接下來我會針對這三個職位,背景與能力,來解釋不同之處!
找出問題:Data Analyst
Data Analyst負責找出問題,並且分析第一步!
資料分析師,是資料領域中的初階職位,背景多為有統計、數據、資訊相關的學士畢業生,
也有很多是碩士轉職畢業生。
他們需要的技能是,資料處理,並且做資料建模(Data Modling),並且視覺化資料!
用資料,幫助公司作出Data Driven的商業決策!
比較常用的技能有:Excel, Tableau, SQL等技能!
延伸閱讀: [數據分析師 Data Analyst] 薪資最高不是Google?職涯發展、日常工作、3個技能需求
設計解決方案:Data Scientist
Data Scientist通常在知道問題後,就會負責找出解決的方法,
並且設定假說,並且驗證假說。
資料科學家,通常需要比較多的資料科學領域的經驗!
很多公司都偏好有多年專業經驗、或是博士畢業生。
他們主要負責統籌資料的處理、解析、預測,藉由模型,來解決複雜的商業問題!
主要需要的技能有:統計、模型訓練、機器學習、Python等。
延伸閱讀:[資料科學家Data Scientist] 年薪薪水20萬美元?Uber在找哪種人?3個技能要求、職涯發展
建立自動化流程、系統架構:Data Engineer
Data Engineer更專注於Data Pipeline的系統設計,
還有設計可以Scale up的資料流,讓系統可以順利處理TB, PB等級的資料
確保每個Team可以使用這些資料!
資料工程師,多數都是資料領域、資工領域畢業的碩士畢業生,
或是多年在後端工作的工程師。
他除了需要處理資料,還需要設計大數據的系統架構,
自動化整個資料處理流(Data Pipeline),還有需要設計API!
延伸閱讀:[資料工程師Data Engineer]年薪20萬美元?Meta在找哪種人?3個技能要求、職涯發展
歡迎訂閱我的IG: @nyc.engineer.jack
北美求職攻略
- 美國求職文章
- [北美求職] #0 找工作面試資源,必備15個網站、2本書、4個Projects
- [北美求職] #1 北美科技產業市場,SDE? DE? DS? DA? BA?
- [北美求職] #2 英文履歷的5個原則、履歷範本,美國科技公司注重什麼?
- [北美求職] #3 LinkedIn教學,提升找工作效率的3個技巧
- [美國求職] #4 Amazon, Google面試,常見的3個面試流程
- [北美求職] #5 如何準備面試?實用技巧?需要多少時間準備?
- 職涯分析
- Data Analyst: [數據分析師 Data Analyst] 薪資最高不是Google?職涯發展、日常工作、3個技能需求
- Data Engineer: [資料工程師Data Engineer]年薪20萬美元?Meta在找哪種人?3個技能要求、職涯發展
- Data Scientist: [資料科學家Data Scientist] 年薪薪水20萬美元?Uber在找哪種人?3個技能要求、職涯發展
- Full Stack Engineer: [全端工程師Full Stack Engineer] Meta, Google薪水不是前五?職涯發展
- Backend Engineer
- Machine Learning Engineer
- 美國求職教學
- 履歷準備
- 面試準備
- 薪資談判
- LinkedIn教學
- 薪資、公司評價、求職網
- 求職常見問題:
- 職場發展
- Resume&LinkeIn講座影片
- 服務