-
【外貿協會】爬蟲工程師(市場情報中心/智慧洞察組) #238
面試心得
-
企業名
怡高人力資源股份有限公司
-
工作地點
台北市信義區
-
薪資
月薪37000~0元
-
工作內容
*此為派遣職缺,有意者請投遞*
【工作內容】
1.負責各類網站與API資料爬取的開發、修改與維護。
2.撰寫與優化爬蟲程式,確保抓取效率與資料品質。
3.設計並實作反爬蟲對策(如IP代理、User-Agent 隨機化丶CAPTCHA處理)。
4.將資安與法規要求納入爬蟲設計(含Robots.txt 、GDPR 等)。
5.開發資料清理、轉換與儲存流程,串接至資料庫或資料平台。
6.執行效能測試與系統穩定性監控,處理大規模併發與分散式爬取。
7.撰寫完整技術文件與維運手冊,確保程式可持續維護與交接。
8.確保所有開發解決方案符合IT架構規範。
【必備條件】
1.工作經驗:3年以上綱站資料抓取或爬蟲相關經驗,具百萬筆資料處理經驗尤佳
2.學歷:專科、大學、碩士(資訊工程丶資訊管理等相關科系)
3.熟悉Python 爬蟲工具(Scrapy、Requests 、BeautifulSoup 、Selenium、Playwright等)
4.熟悉HTTP/HTTPS、Cookie、Session、Header 等協定與網路原理
5.能解析JSON、XML、CSV等格式,熟悉資料庫(MySQL、PostgreSQL、Dataverse)尤佳
6.熟悉Linux環境與Shell Script,自動化操作經驗佳
7.熟悉Git版本控制,可使用Docker進行部署;有雲端平台經驗(AWS/Azure)尤佳
8.具非同步與併發設計經驗 (Asyncio、Multiprocessing)
【工作技能】
1. 網頁爬蟲程式開發、反爬蟲對策實作、資料清洗與轉換、資料庫程式設計
2. AI 相關技能 : LLM(大語言模型使用),要會呼叫使用不同公司的語言模型(Azure、AWS…)
3. API : 很多網站、AI介接都需要會開發API。
怡高人力資源股份有限公司-使用1111轉職專區
https://central1111.com.tw/turn/