← 全部職位
智算后端研發(fā)工程師
北京
職位描述
1、開發(fā)云原生場景下異構(gòu)算力調(diào)度框架。
2、優(yōu)化大模型推理能力，快速的部署推理服務(wù)，提升推理速度和吞吐。
職位要求
1、熟練掌握Linux/Unix平臺上的編程，熟練使用Golang/Python語言進行開發(fā)，熟練使用數(shù)據(jù)結(jié)構(gòu)和常用算法。
2、具有深度學(xué)習(xí)推理加速和優(yōu)化的經(jīng)驗，熟悉至少一種推理引擎，如 vLLM、SGLang、Llama.cpp
3、熟悉常見的模型量化技術(shù)，并能夠進行模型的量化優(yōu)化。
4、熟悉常見的機器學(xué)習(xí)算法及框架，如 神經(jīng)網(wǎng)絡(luò)、transformer架構(gòu)、PyTorch框架。
5、熟練掌握 Kubernetes 和 docker 技術(shù)。
6、具備良好的溝通和團隊合作能力，能夠與跨功能團隊密切合作，解決問題并實現(xiàn)共同目標。
