-
工研院服科中心_AI晶片與Middleware工程師(A000)
面試心得
-
企業名
財團法人工業技術研究院
-
工作地點
新竹縣竹東鎮
-
薪資
月薪40000~55000元
-
工作內容
【職務說明】
建構「AI 晶片 LLM 推論平台」,開發支援 vLLM、llama.cpp 與多晶片平行化推論架構 的 Middleware 與 Runtime 系統,打造可擴展、可叢集化之 AI 推論基礎設施。此職務將專注於 LLM 推論底層優化、異質運算整合與多晶片協同運算架構設計,屬於核心研發角色。
【工作內容】
1.開發與優化 LLM 推論 Middleware(vLLM / llama.cpp 整合)
2.設計多晶片平行化架構(Tensor Parallel / Pipeline Parallel / Expert Parallel)3.開發國產 AI 晶片 Runtime 與模型執行流程
4.優化 Prefill / Decode / KV Cache 記憶體存取效率5.建構 CCL(Collective Communication Library)與跨晶片通訊機制
6.分析記憶體頻寬瓶頸與運算瓶頸(Memory-bound vs Compute-bound)7.協助建構最小規模 LLM 推論叢集(Cluster)
財團法人工業技術研究院-使用1111轉職專區
https://central1111.com.tw/turn/