岗位职责
1负责云计算架构
1设计并部署高可用物联网云平台支持百万级设备接入规划混合云架构与安全通信方案TLS/DTLS优化VPC网络与边缘计算协同
2实施容器化解决方案K8s/ECS实现微服务治理自动扩缩容与灰度发布
3制定云资源优化策略预留/Spot实例混用建立自动化资源回收机制
2负责数据处理体系
1构建端到端数据管道边缘计算预处理设备数据RK3588S格式规范通过Kafka/Pulsar异步传输设计时序库InfluxDB/TDengine与关系库分层存储
2开发流批一体处理系统Spark/Flink构建数据湖DeltaLake/Iceberg支持多模态数据统一存储
3实施数据治理体系血缘追踪/元数据管理建立质量监控与自动修复机制
3物联网专项
1开发设备管理服务MQTT/CoAP协议适配支持设备影子同步OTA升级与固件版本控制
2部署边缘计算节点AWSGreengrass/AliyunLink实现AI推理优化与数据同步策略
3构建安全体系X509/KMS加密满足GDPR/HIPAA合规要求建立审计日志追踪机制
任职要求
1计算机科学与技术软件工程数据科学与大数据技术信息与计算科学自动化/人工智能等相关专业毕业
2有大数据处理经验Spark/Flink熟悉云平台AWS/Azure及DevOps工具链熟悉MySQL/MongoDB等数据库技术
3核心技能要求
31编程基础Java/Python/Scala至少精通一门熟悉Shell脚本
32大数据技术栈HadoopSparkFlinkKafka等分布式框架
33数据库与SQL熟练使用MySQLHiveHBase等优化查询能力
34Linux与云计算熟悉Linux操作了解Docker/Kubernetes及AWS/Azure云平台
35数据结构与算法尤其关注分布式场景下的数据处理如MapReduce原理
4其他要求
具有AWSCertifiedDataAnalyticsClouderaCCP等证书
具有成功项目经验GitHub展示如用Spark处理TB级数据的优化案例等
举报
1负责云计算架构
1设计并部署高可用物联网云平台支持百万级设备接入规划混合云架构与安全通信方案TLS/DTLS优化VPC网络与边缘计算协同
2实施容器化解决方案K8s/ECS实现微服务治理自动扩缩容与灰度发布
3制定云资源优化策略预留/Spot实例混用建立自动化资源回收机制
2负责数据处理体系
1构建端到端数据管道边缘计算预处理设备数据RK3588S格式规范通过Kafka/Pulsar异步传输设计时序库InfluxDB/TDengine与关系库分层存储
2开发流批一体处理系统Spark/Flink构建数据湖DeltaLake/Iceberg支持多模态数据统一存储
3实施数据治理体系血缘追踪/元数据管理建立质量监控与自动修复机制
3物联网专项
1开发设备管理服务MQTT/CoAP协议适配支持设备影子同步OTA升级与固件版本控制
2部署边缘计算节点AWSGreengrass/AliyunLink实现AI推理优化与数据同步策略
3构建安全体系X509/KMS加密满足GDPR/HIPAA合规要求建立审计日志追踪机制
任职要求
1计算机科学与技术软件工程数据科学与大数据技术信息与计算科学自动化/人工智能等相关专业毕业
2有大数据处理经验Spark/Flink熟悉云平台AWS/Azure及DevOps工具链熟悉MySQL/MongoDB等数据库技术
3核心技能要求
31编程基础Java/Python/Scala至少精通一门熟悉Shell脚本
32大数据技术栈HadoopSparkFlinkKafka等分布式框架
33数据库与SQL熟练使用MySQLHiveHBase等优化查询能力
34Linux与云计算熟悉Linux操作了解Docker/Kubernetes及AWS/Azure云平台
35数据结构与算法尤其关注分布式场景下的数据处理如MapReduce原理
4其他要求
具有AWSCertifiedDataAnalyticsClouderaCCP等证书
具有成功项目经验GitHub展示如用Spark处理TB级数据的优化案例等
举报
大数据开发工程师职业大全:
温馨提示

- 你可能感兴趣的职位
- 最近浏览记录
-
面议
-
0.4-1.2万/月
-
0.8-1.2万/月
-
5-7千/月
-
0.5-1万/月
-
0.3-3万/月
-
0.6-1.5万/月
-
1-2万/月
- 公司规模:20-99人
- 所属行业:互联网/电子商务
- 联系人:陈金莹
- 手机:会员登录后才可查看
- 邮箱:会员登录后才可查看
- 邮政编码:
工作地址
- 地址:深圳市南山区桃源街道大学城社区笃学路9号国家超级计算深圳中心科研楼七楼