Home 美國求職 [資料工程師Data Engineer]年薪16萬美元起?Meta在找哪種人?3個技能要求、職涯發展

[資料工程師Data Engineer]年薪16萬美元起?Meta在找哪種人?3個技能要求、職涯發展

by Jack
資料工程師 Data Engineer
Reading Time: 3 minutes

資料工程師Data Engineer在做什麼?在產品開發中,扮演什麼角色?

在Data Model中,又扮演什麼角色?年薪真的可以超過20萬美金?

在產業中,有什麼機會呢?我分別舉了金融、電商、科技業的例子!

延伸閱讀:[美國求職] #4 Amazon, Google面試,常見的3個面試流程

美國求職攻略

希望陪你走過美國求職馬拉松,整理了我自己、朋友的經驗,幫助你在逆境中,找到好工作!

內容包含:簡歷、LinkedIn、相關準備資源、準備面試的方法,希望讓你在美國求職路上更順暢。

歡迎訂閱我的IG: @nyc.engineer.jack

日常工作

圖片來源:Matt Turck

數據工程師,是大數據的基礎設施的設計者、管理者,我們按照公司、組的需求,

設計架構,來處理分析處理資料,並且保持這些系統,每天都可以順利運作!

所以需要掌握這些技能:

  • 系統架構 Infrastructure
  • 資料分析 Data Analytics
  • 資料處理 Data Pipeline
  • 機器學習 Machine Learning
  • 商業智能 Business Intelligence

在我過去的工作經驗中,上述的領域都有觸及到!

特別是在我目前的team,我支援BI team跟推薦系統。

Data Engineer的定位

資料平台的建構角色

資料工程師 Data Engineer
圖片來源:資料工程師們到底在做什麼?

我們可以看到紫色的部分,是屬於資料工程師的範疇,

隨著時間的發展,軟體工程,逐漸細分成不同的領域,

資料工程師,也從此特化成,設計整個資料平台的重要角色!

部分公司,甚至會有一整個資料工程師團隊,專門負責建立整個資料平台(如Airbnb Engineering & Data Science

Airflow就是由Airbnb的資料工程師團隊,開發出的視覺化排成工具!在業界被廣泛運用!

常見技能是 Hadoop 或 Spark。處理情境分 batch 與 realtime。

也因為現在的資料流都非常大可能每秒GB, PB等級,

所以資料工程師要負責可以設計可以沈載這樣流量的系統,

最後提供乾淨的資料。

以我自己的經驗為例

資料工程師 Data Engineer
圖片來源:Feature Engineering

我之前在的公司是Car Leasing公司,是一個可以上不同車商,

上架他們庫存車子的平台,讓消費者,可以輕鬆地在我們平台線上租車、買車。

所以我需要每天定時的更新800 – 900多個商店的車子。

每台車需要

  1. 圖片
  2. 車子的Specs
  3. 價格

這當中就需要使用外部資料廠商的資料,如:汽車照片、車子的細節。

最後把乾淨、整理好的資料,送到後端工程師的手上,

然後後端工程師,再把好資料,呈現在網頁、App上!

日常工作

資料工程師 Data Engineer
圖片來源:資料團隊與分工

職責一:創造價值(Uber, Facebook,零售為例)

Uber實況定價策略

在搭Uber會發現,每個時段、位置,叫車的價格是浮動的,這是因為Uber是根據real time的市場供需,

來預測價格、控制價格,來創造額外的盈利!

這種新的業務模式,也為公司帶來營收!

但這些金額的計算,需要複雜的資料運算系統、架構。

而這些架構,就是由Data Engineer設計、建立出來的!

例子:

當天氣不好的時候,使用者對於Uber的需求量變很大,

但是司機卻不夠,這時候價格就會上漲,來降低叫車的需求。

以達到市場供需平衡。

雖然這聽起來很簡單,但其實背後的系統設計很複雜,

首先需要時時刻刻都在收集資料,並且分析目前市場的需求與供給量

一但發現,市場的供需失衡的時候,就需要啟動Uber的定價系統!

Facebook推薦文章
圖片來源:How Facebook Makes Money

在使用社群網站時,常常會看到廣告,並且很精準,

彷彿知道你最近想買什麼?

這是透過對使用者,進行大量的資料分析、資料模型預測,

來建立精準的廣告投放。

這個功能也為臉書帶來主要的98%營收。

零售業的廣告投放

另一個很常見的就是精準的電子郵件行銷。

零售業也會根據使用者過去的消費習慣、最近瀏覽的產品,

經過大量的資料分析、模型預測,寄出個人化促銷電子郵件!

或是提供相關的折價券,來刺激消費!

職責二:降低花費

科技業的服務器:節省40%耗能

Google, Amazon, Microsoft都有提供雲端服務,在世界各地都建立了數據中心!

但管理數據中心時,需要提供機台的降溫系統,才能降低數據中心的耗能,

這樣不但可以增長每個機台使用年限、效能提升,也能大幅降低經費維護!

舉例:Google有很多數據中心,每個中心都需要降溫系統,而這些降溫系統,也是一大筆開支

他們就開始監測每個數據中心的溫度、機台的使用率,

藉由分析,去找出使用率低的機台,關掉相對應的空調!

最後節省了40%的整體耗能!

鐵路人力分配:降低人力成本

我自己在紐約,地鐵是24小時,剛好我朋友在MTA上班

他跟我說,MTA隨時都在進行不同區塊、時段的維護,這也是非常耗時、耗人力的工作!

但大部分的時候,可能鐵路都沒有技術維護的需求!

這時候,可以藉由大數據的監測,

來了解每個機器的使用年限、使用強度,來找出需要維修的機台!

這樣可以節省掉許多人力,並且提前發現問題!

美國求職攻略課程籌備中

我現在在籌備適合國際生的美國求職課程,把我當面試官的經驗整理出來,幫助你,可以縮短找到工作的時程!

幫助超過30個人,改過簡歷,提供面試建議,他們也都順利在時間內找到工作,也有人去了FANNG!

    目前籌備課程中,我會第一時間,告訴你開課資訊!

    技能需求

    資料工程師 Data Engineer

    技術需求

    程式語言:Python

    Python 跟R語言,很適合做一開始的資料清洗。

    並且可以簡單地將資料的極端值去除,觀察資料的特性,

    而且這兩個語言,都有很多Machine Learning Model跟統計的套件,

    在後期建立model時,都可以輕鬆的調用不同的model!

    課程推薦:Complete Python Bootcamp From Zero to Hero in Python

    資料庫系統:SQL

    多數公司的資料,都是放在資料庫裡,

    要取得公司的資料,就會需要使用SQL。

    特別是有大量使用者資料的資料庫,是不太可能下載資料到本機端分析

    通常都會在Redshift(為海量資料設計的資料庫)裡,做複雜的分析!

    最後再將分析的結果產出報告。

    Github有 SQL query examples可以參考。

    接下來,就有懂的資料的儲存,要懂的架設資料庫伺服器,

    並且學會SQL關聯式資料庫、NoSQL非關聯式資料庫的設計方法、優化。

    課程推薦:The Complete SQL Bootcamp 2022: Go from Zero to Hero

    資料處理能力:ETL

    ETL技術與資料倉儲相關應用,過程中包含:資料清洗、資料轉換、載入資料至目的端(資料庫、資料湖。

    1. Extract: 通常我們會從原始資料中,擷取我們需要的資料。
    2. Transform:將擷取出來的資料,清洗與其他資料來源整合。
    3. Load:最後把資料,存到目的地(資料庫、資料湖Data Lake、資料倉儲Data Warehouse

    資料分析能力:視覺化

    當資料處理完後,最後一個步驟就是視覺化資料!

    如果公司是使用Window環境,很有可能最常用的工具是Power BI(算是強化版的Excel

    但多數的公司都會使用Tableau,作為資料視覺化的工具

    提供很多直覺的拖拉工具,讓使用者很輕鬆的可以拉出有意義的Report!

    課程推薦:Hands-On Tableau Training for Data Science

    雲端部署能力

    現在多數的系統都放在雲端伺服器上,

    主流的雲端廠商有Amazon AWS, 跟Google GCP

    了解其中一家的雲端服務,並且能把自動化的資料處理流程架設在雲端上,

    同時能確保流程的穩定性、擴展性!

    軟實力

    這會因為不同產業,而有所不同,不過大致可以歸納成

    • 產業知識 Domain Know how:如果在藥廠工作,有基本的背景知識,處理起資料就會相對更容易。
    • Presentation:當處理完資料,最重要的就是Insightful Report,這時候呈現報告的能力就會很重要。
    • 溝通能力:處理資料時,常常需要跟不同部門,要不同來源的資料!很多時候,也會需要跟產品經理、工程師、管理階層合作!

    市場需求

    現在的廣告,彷彿有讀心術,總是知道你想要什麼,這些個人化的廣告,背後其實有複雜的演算法。

    並且有大量的資料構成分析模型,經過處理,才能產生出個人化的結果!

    在這些複雜的演算法背後,其實需要Data Engineer設計出大數據的系統與架構,來支撐這些服務!

    電商、零售產業

    Amazon

    兩個美國主流的零售與電商,特別是亞馬遜還有龐大的物流與供應鏈,雲端運算事業體,

    這些服務都會動用到大量的數據,也就需要Data Engineer。

    Amazon的Data Engineer起薪大概落在100K到138K。

    Walmart

    零售業的龍頭之一,Walmart,除了電商外,旗下還有很多實體店面,

    同時需要兼顧線上、線下的廣告投放,還有維護他們的顧客資訊!

    Walmart的Data Engineer起薪大概落在初階113K,資深資料工程師136K(約為年薪403萬台幣)。

    金融產業

    PayPal

    PayPal是跨國的第三方支付平台,每天需要監測海量的交易資訊,

    除了刷卡服務外,還有旗下的行動支付工具Venmo,

    都需要處理「大量」、「實時」的資料!

    同時還需要監控惡意盜刷的特殊行為!

    PayPal初階工程師大概起薪為128K美元,資深工程師大概153K美元(大概450萬台幣

    Visa

    Visa是全球知名的支付科技公司,金融界擁有大量敏感的使用者資訊。

    必須檢視交易紀錄,包含交易金額、交易地點、消費模式、線上線下等,

    才能觀察使用者的交易行為,做出服務上的調整!

    Visa的工程師起薪大概是131K,Lead Engineer大概是年薪171K美元(約506萬台幣

    科技產業:

    Meta

    Meta旗下有IG跟FB,是社群媒體的龍頭,更是廣告投放平台,

    有許多用戶的社群互動資料,動態消息等,個人化的資訊,

    也因為有很多個人化的行為資訊,讓廣告投放,也更加精準!

    Meta薪水起薪為166K,升職後可以到年薪210K(約620萬台幣

    Apple

    除了iphone還有Mac的生態圈,Apple旗下還有Apple TV, App Store

    也有許多用戶的資料,還有Apple TV線上串流的資料,

    需要許多複雜的系統去支撐!

    Apple工程師的起薪,從年薪150K起(約445萬台幣

    Cisco

    薪資分析

    當然,在看薪資的時候,還要額外考慮

    1. 當地的物價(加州、紐約、德州
    2. 當地的稅(加州、紐約最高、西雅圖不用繳州稅

    所以折合上述的兩個因素,更能算出實質的消費力、存錢率!

    薪資也會根據下面這些因素,而有所不同

    • Industry(不同的industry整體的收入結構都會不同)
    • Company Size(取決於公司目前營收階段,大公司、中型公司、新創公司)
    • Location(加州、紐約州的物價與稅相對高、收入也相對高)
    • Job Title(你是Software Engineer, Data Analyst, Product Manager…)
    • Personal Experience
      • 面試表現
      • 級別
      • 工作經驗

    在薪資中,有時候公司會包含

    1. Base
    2. Bonus
    3. Stock(很多科技公司會分4年給
    4. Sign On Bonus
    5. 其他福利(托嬰服務、某些藥廠給予買房優惠

    延伸閱讀:[退休規劃] 401k是什麼?常見的3種Plan,可以滾到百萬美金以上?

    延伸閱讀:美國留學生報稅-8個常見問題&7個報稅步驟

    全美平均薪資

    資料工程師 Data Engineer

    這是Glassdoor蒐集全美的統計資料,根據很多人提交自己的薪資的統計,

    我們可以看到整體在不同產業的平均是$110,653,

    但是不同地區、產業、公司,都會不太一樣!

    所以接下來,我會分別對於公司、地區來做更深入的觀察!

    哪一間公司給的薪水最高?

    資料工程師 Data Engineer

    從Indeed統計中,我們可以發現Wish給了快要平均兩倍的薪資,Wish 是一家電商購物app,由Google跟Yahoo出來的工程師在2011年設計的app!

    但其實這都只是平均值,在薪資談判時,會根據你

    • Industry(不同的industry整體的收入結構都會不同)
    • Company Size(取決於公司目前營收階段,大公司、中型公司、新創公司)
    • Location(加州、紐約州的物價與稅相對高、收入也相對高)
    • Job Title(你是Software Engineer, Data Analyst, Product Manager…)
    • Personal Experience
      • 面試表現
      • 級別
      • 工作經驗

    來決定你的薪資。

    所以當你知道市場平均,就更有談判的籌碼!

    哪一個州的薪水最高?

    資料工程師 Data Engineer

    根據Indeed的資料,上圖,我們可以明顯看到加州、紐約州,平均薪資,在全平均之上,還有紐澤西州地區也是比平均還高!

    比較讓我意外的是,華盛頓州只有在平均值!

    資料工程師 Data Engineer

    從這個統計資料中,可以看到洛杉磯、舊金山、華盛頓DC,都給的非常高。

    而且前10名中,德州、華盛頓州,都不用繳州稅,所以其實實質所得會比洛杉磯更高!

    職涯發展

    越來越多產業,需要仰賴大數據來做決策、策略分析,

    而且現在的Data也是指數性的成長,不光是科技業

    物流業、電商、零售業、金融業,都需要這樣的人才!

    在波士頓地區,就有General Health Care醫療公司,提供很好的薪資,跟灣區一些公司差不多!

    還有很多金融產業的數據中心,會在在中西部,例如Ohio就有很多Chase的數據中心!

    很多美國大型銀行的數據中心在明尼蘇達州!

    這些城市也有很多就業機會!

    未來發展

    資料工程師 Data Engineer

    由於這個職稱是相對於Software Engineer比較新的職位,對於整個職涯階梯

    每個公司都還不太一樣,甚至業務範圍都不太一樣!

    但根據Glassdoor的統計,可以看到常見的職涯階梯

    1. Data Engineer
    2. Senior Data Engineer
    3. Lead Data Engineer
    4. Data Manager
    5. Data Director

    如何成為Data Egineer資料工程師?

    成為資料工程師,需要多個技能點,還有一些實戰經驗,

    多數的資料工程師,都有電腦科學、資訊工程、數學、跟IT相關的背景!

    通常可以透過

    1. 學校的學位教育
    2. Bootcamp
    3. 線上課程

    來獲得足夠的技能點。

    我把這些流程整理成5個步驟

    1. 學習程式語言入門Python
    2. 學習資料庫系統:MySQL, MongoDB
    3. 學習雲端架構:AWS, GCP
    4. 實戰經驗累積:實作專案開發
    5. 準備履歷、面試

    步驟一:學習程式語言入門Python

    第一部,要能用至少一種程式語言,完成基本的資料處理,常用的語言有

    1. Python
    2. R
    3. Scala

    上述三種語言中,我最推薦Python,因為相對好上手,應用也比較廣泛!

    業界多數的Data Pipeline都是使用Python!

    Python也是近年來,在資料科學領域中,最常用的語言!

    課程推薦:Complete Python Bootcamp From Zero to Hero in Python

    步驟二:學習資料庫系統:MySQL, MongoDB

    Github有 SQL query examples可以參考。

    接下來,就有懂的資料的儲存,要懂的架設資料庫伺服器,

    並且學會SQL關聯式資料庫、NoSQL非關聯式資料庫的設計方法、優化,

    最後,能用程式語言獲得、操作資料庫的資料!

    課程推薦:The Complete SQL Bootcamp 2022: Go from Zero to Hero

    步驟三:學習雲端架構:AWS, GCP

    現在多數的系統都放在雲端伺服器上,

    主流的雲端廠商有Amazon AWS, 跟Google GCP

    了解其中一家的雲端服務,並且能把自動化的資料處理流程架設在雲端上,

    同時能確保流程的穩定性、擴展性!

    步驟四:實戰經驗累積:實作專案開發

    可以去資料科學最大的社群平台Kaggle,很多人在找資料科學家、工程師的工作時,

    都會展現他們在Kaggle的作品、建立哪些Model!

    整合前面所學的技能,實際完成一個可以上線的專案!可能會花上兩三個月的時間!

    延伸閱讀:[北美求職] #0 軟體工程師面試資源,必備15個網站、2本書、4個Projects

    步驟五:準備履歷、面試

    履歷就是求職的敲門磚,當準備好相關技能後,

    就是要掌握正確的履歷撰寫重點,

    並且在求職平台上,投遞履歷!

    延伸閱讀:[北美求職] #2 英文履歷的5個原則、履歷範本,美國科技公司注重什麼?

    資料分析師、資料科學家、資料工程師,差在哪?

    資料工程師 Data Engineer
    圖片來源:資料團隊與分工

    從上面這張圖,我們可以看清楚不同職位的合作,與整個Data Project流程。

    接下來我會針對這三個職位,背景與能力,來解釋不同之處!

    Source: European Leadership University

    找出問題:Data Analyst

    Data Analyst負責找出問題,並且分析第一步!

    資料分析師,是資料領域中的初階職位,背景多為有統計、數據、資訊相關的學士畢業生,

    也有很多是碩士轉職畢業生。

    他們需要的技能是,資料處理,並且做資料建模(Data Modling),並且視覺化資料!

    用資料,幫助公司作出Data Driven的商業決策!

    比較常用的技能有:Excel, Tableau, SQL等技能!

    延伸閱讀: [數據分析師 Data Analyst] 薪資最高不是Google?職涯發展、日常工作、3個技能需求

    設計解決方案:Data Scientist

    Data Scientist通常在知道問題後,就會負責找出解決的方法,

    並且設定假說,並且驗證假說。

    資料科學家,通常需要比較多的資料科學領域的經驗!

    很多公司都偏好有多年專業經驗、或是博士畢業生。

    他們主要負責統籌資料的處理、解析、預測,藉由模型,來解決複雜的商業問題!

    主要需要的技能有:統計、模型訓練、機器學習、Python等。

    延伸閱讀:[資料科學家Data Scientist] 年薪薪水20萬美元?Uber在找哪種人?3個技能要求、職涯發展

    建立自動化流程、系統架構:Data Engineer

    Data Engineer更專注於Data Pipeline的系統設計,

    還有設計可以Scale up的資料流,讓系統可以順利處理TB, PB等級的資料

    確保每個Team可以使用這些資料!

    資料工程師,多數都是資料領域、資工領域畢業的碩士畢業生,

    或是多年在後端工作的工程師。

    他除了需要處理資料,還需要設計大數據的系統架構,

    自動化整個資料處理流(Data Pipeline),還有需要設計API!

    延伸閱讀:[資料工程師Data Engineer]年薪20萬美元?Meta在找哪種人?3個技能要求、職涯發展

    歡迎訂閱我的IG: @nyc.engineer.jack

    北美求職攻略

    You may also like

    Leave a Comment

    error: Content is protected !!