您的当前位置:首页正文

大数据架构师的职责

2022-01-04 来源:钮旅网

  职责

  1、参与打造数据中内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;

  2、参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据公共层;

  3、参与数据产品与应用的数据研发,发掘数据商业价值,打造极致体验的数据产品;

  4、深入理解数据产品的使用场景,为业务方在可用性、成本上做更好的设计做参考;

  5、团队成员的搭建与培养,任务划分,进度监控,代码规范,质量保证。

  任职要求

  1、熟悉数据仓库建模理论,3年以上相关领域实践经验;

  2、Hadoop、Hive、Hbase、Storm、Spark等技术框架;

  3、精通Java、Python、Scala、go等开发语言中的1到2种;

  4、熟练使用Python/Java/scala或其他语言进行复杂业务逻辑的数据处理工作,具备海量数据处理以及性能优化的能力;

  5、对MySQL、Redis、HBase等数据库有一定的了解和使用经验;

  6、对olap,多维分析及kylin熟悉的更好;

  7、思路清晰,具备良好的沟通能力和理解能力,较强的学习能力以及快速解决问题的能力;

  8、对新技术,新事物有很好的探索和求知欲;

  9、熟悉常规的机器学习算法:降维(PCA、SVD)、SVM、逻辑回归(LogisticsRegression)、决策树(GBDT、RandomForest)、关联规则(Apriori、FP-Growth)、聚类(K-Means)等优先。

因篇幅问题不能全部显示,请点此查看更多更全内容