大数据架构师的基本职责（精选16篇）大数据架构师的基本职责（精选16篇）
大数据架构师的基本职责 篇1
职责：
1.负责整个大数据平台架构的设计和构建;
2.负责构建大数据平台的数据交换、任务调度等通用平台;
3.制定开发、测试、实施、维护的标准和规范，指导和培训工程师，不断提升团队能力。
4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署，负责编写核心部分代码。
5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、可扩展等技术难点。
任职要求：
1.3年以上大数据架构经验，丰富的数据仓库、数据挖掘、机器学习项目经验
2.大规模数据处理的架构和设计实战经验
3.精通Spark、MR，熟练HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有丰富的大型数据平台工程经验
4.深刻理解大数据处理(流计算，分布式计算，分布式文件系统，分布式存储等)相关技术和实现办法
5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和办法，熟练Linux/Unix平台上的开发环境
6.本科或以上学历，计算机软件或相关专业，丰富的java开发经验和互联网背景优先。
7.具有比较强的问题分析和处理能力，有比较优秀的动手能力，热衷技术，精益求精
大数据架构师的基本职责 篇2
职责：
1. 深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术发展线路;
2. 对接业务研究和技术部门，积极搜集和转化需求，组织Data Center业务开发，进行数据相关产品需求分析和设计;
3. 搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘;
4. 根据公司战略和发展需要，规划Data Center重点工作和任务;落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。
职位要求：
1. 5年以上相关工作经验，有团队管理和项目管理经验者优先;
2.了解政府运作机制，掌握财政行业知识，有数码政务行业经验者优先;
3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL，Oracle等,在机器学习模型和算法方向有应用经验者优先;
4. 具备Data Center产品策划整体思维，有大数据处理、分析、挖掘经验者优先;
5. 逻辑思维严密，具备业务抽象、分解和标准化的能力，口头和书面表达优秀;
6. 有较强的大局意识和良好的团队合作意识，富有领导力，具备优秀的人际交往和沟通能力。
大数据架构师的基本职责 篇3
职责：
1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;
2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;
3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;
4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码;
任职要求：
1、本科及以上计算机相关专业毕业;
2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等;
3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验;
4、掌握常见数据流接入工具，包括Flume、kafka等;
5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);
6、掌握一种或以上实时处理语言，如JAVA、SCALA、PYTHON等，有SCALA经验者优先;
7、有实际大规模数据(TB级以上)处理经验优先;
大数据架构师的基本职责 篇4
职责:
1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作
2、与数据专业委员会一起研究数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计
3、参与研究数据库之间的数据转换方式，参与项目中的数据移植工作，收集在项目中的数据移植经验，优化产品的数据模型
4、负责培训本部门队伍的数据模型基础理论工作，建立数据模型团队
岗位要求：
1、统招本科学历，3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验，具备大型数据仓库逻辑模型和物理模型设计经验，精通SQL，有较好的SQL性能调优经验;
2、拥有Python，R等数学建模工具的使用经验，并具备一定的数据处理和建模经验，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据办法并对其进行完整的解释和说明;
3、熟悉统计学基本原理，做过实战的数据建模项目;
4、有分布式数据仓库建设相关经验者优先，具备电信行业数据仓库建设相关经验者优先;
大数据架构师的基本职责 篇5
职责：
1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术规范;
2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;
3、负责业务平台数据统计分析模块的设计与规划;
4、负责公司产品研发过程中的数据及存储设计;
5、带领和培养团队完成组织分解的目标;
任职要求：
1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作经验，5年以上大数据开发经验;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构
3、熟悉数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计经验;
4、熟悉Linux系统，熟练使用shell/perl/python脚本处理问题;
5、对深度学习框架(Tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;
6、能够组织项目开发组协同工作，包括团队沟通、计划、开发环境管理等
大数据架构师的基本职责 篇6
职责:
1、负责自然语音交互、IOT家电物联控制、知识图谱等相关模块和系统的开发;
2、负责掌握第三方接口的调用和功能实现，持续优化服务性能和容量，并保证产品的兼容性和执行效率;
3、根据设计文档和需求说明完成代码编写、调试、单元测试与维护，确保项目进度和质量;
4、协助制定测试计划，及时发现并修复BUG，实现服务端的性能优化。
任职资格:
1、大学本科3年以上工作经验，计算机相关专业;
2、熟悉软件项目开发流程，具有良好编码风格及文档编写能力;
3、熟悉Linux主机相关技术，能够独立完成主机部署，具有相关经验;
4、熟悉Hadoop/Spark框架，JAVA基础扎实;
5、熟练使用Mysql数据库，了解MongoDB或neo4j等分布式数据库;
6、熟悉SpringCloud,SSM,Docker,redis开发者优先;
7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)开发技术优先;
8、了解Socket网络编程、MQTT等，有相应实践经验者优先;
9、有智能语音语义、知识图谱服务端开发经验者优先。
大数据架构师的基本职责 篇7
职责：
1、负责大数据平台架构的规划与设计;
2、负责大数据平台技术框架的选型与技术难点攻关;
3、参与企业级大数据产品和应用规划;
4、研究跟进大数据架构领域新技术并分享;
5、大数据处理和分析应用平台的设计指导。
任职资格：
1、 具备深厚的分布式系统或数据库系统的理论基础，熟悉分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
2、熟悉BI平台架构及相关项目标准，大数据解决方案包括Hadoop、Spark、Storm、机器学习等大数据平台解决方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流数据数据库;
4、 精通Linux/Unix环境，精通J java、scala、python、R中的一种或多种语言;
5、 具备优秀的团队意识和沟通能力，学习能力和积极性强，具有钻研精神，充满激情，乐于接受挑战;
6、大专及以上学历，3年及以上工作经验。
大数据架构师的基本职责 篇8
职责：
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
任职要求：
本科及以上学历，3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的JAVA研发经验，精通JAVA，熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础，熟悉分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系：Hadoop、Spark、Storm、ElasticSearch、Kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好，积极积极意识较强，责任心较强。
大数据架构师的基本职责 篇9
职责：
1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;
2. 负责实时计算平台基础架构设计、部署、监控、优化升级;
3. 制定项目/数据仓库设计及实现规范，指导设计研发和部署;
4. 协助策略和算法团队工作，保障数据挖掘建模和工程化;
5. 深入研究大数据相关技术和产品，跟进业界先进技术。
任职要求：
1. 全日制本科及以上学历，5年以上软件和分布式系统研发经验，3年以上大数据系统架构经验;
2. 精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;
3. 具备Java/C++/Scala等开发经验，熟悉数据挖掘和分析的策略与算法;
4. 具备良好的系统分析能力、故障诊断能力;
5. 有大数据策略、算法、可视化经验优先;
6、211/985 重点学校毕业优先。
大数据架构师的基本职责 篇10
1. 负责数澜大数据平台的架构设计和研发，建立数据生态服务，解决海量数据面临的挑战;
2. 管理和优化Hadoop、Spark等集群，计算作业的调优，保证集群和平台的高效和稳定;
3. 负责Hadoop、Spark、Flink的功能、性能和扩展，解决并实现业务需求;
4. 负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据安全、机器学习等平台的设计和开发;
5. 调研和把握当前的最新技术，将其中的先进技术引入到自己的平台中，改善产品，提升竞争力;
大数据架构师的基本职责 篇11
职责：
1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;
2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;
3.负责超大规模数据平台的搭建、维护和优化;
4.负责大数据采集、存储框架研究，参与在线或离线数据存储模型设计;
5.负责大数据平台新技术的开发使用和性能优化，测试。
任职资格：
1.计算机相关专业本科及以上学历;
2. 熟悉hadoop相关各种开源项目，例如HDFS/Hive/Hbase等有实际应用。(5年以上开发经验者优先);
3.两年以上熟练编写mapreduce代码经验，有三年以上网络日志分析、ETL经验。熟悉日志分析框架chukwa,flume,scribe者优先;
4.两年以上海量数据存储的安装部署、优化、二次开发经验，对大规模数据存储、传输、处理等有丰富的经验;
5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;
6.具有较强的文档撰写能力，较强的团队精神和合作精神，对工作有热情，能承受压力。
大数据架构师的基本职责 篇12
职责：
1. 负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策
2. 参与数据挖掘和建模相关核心算法的代码实现
3. 负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发
4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施
5. 负责数据库设计、应用架构设计、核心技术选型等工作
6. 协调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行
7. 培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题
任职要求：
1. 熟悉大数据和数据仓库的系统架构设计办法
2. 熟练使用并理解HadoopSpark架构及生态。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)
3. 熟悉分布式系统架构，有分布式实时、离线和机器学习平台的架构和开发经验，具备海量数据清洗、分析处理及存储的实践经验
4. 熟练使用JAVA，具有大规模分布式系统调优经验
5. 熟悉AI相关算法，熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;
6. 具备良好的团队合作精神，对工作充满激情。
7. 熟悉FusionInsight平台开发经验者优先
大数据架构师的基本职责 篇13
职责：
1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;
2、研究大数据领域前沿数据挖掘技术，并引入相应技术在Data Center的使用;
3、进行大数据系统框架设计、模型算法开发;
4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;
5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;
任职资格：
1、本科以上学历(持有学士学位)(985，211优先)，计算机相关专业，五年工作经验;
2、二年以上数据挖掘项目经验，完整参与过数据挖掘大数据平台的架构开发过程，具备互联网行业背景优先;
3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验，熟练掌握Hive/SQL，Python，熟悉Python、R相关数值科学计算库(NumPy,SciPy等);
4、了解传统的BI/DW 理论，能结合传统BI实践设计大数据平台;
5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理，具备应用场景经验，如用户画像、商品关联度分析、舆情分析;
6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和办法;
7、具备较强的逻辑思维能力、数据敏感度，擅于利用数据发现问题及解决问题;
大数据架构师的基本职责 篇14
职责：
负责大数据平台架构的规划和设计，主导系统的架构设计和核心模块开发，确保项目质量和关键性能指标达成;
负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发，保证大数据产品的上线运行;
负责深入理解业务需求，对业务建模，设计系统架构，满足业务需求;
负责协助策略和算法工作,保障数据挖掘建模和工程化;
负责根据业务需求整合优化数据架构，保证产品的可靠性、稳定性;
负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;
负责研发技术发展方向，新技术领域的探索，将新技术应用到公司大数据平台，提升公司效能
任职要求：
本科及以上学历，拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;
精通Hadoop，熟悉大数据生态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等，有大规模集群架构、开发及运维经验;
熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;
熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;
熟练掌握数据仓库设计，开发工作。能够根据业务设计并开发数据仓。
具备源码级问题解决和集群优化改造能力者优先;
能快速的学习新的开源框架和知识体系，并应用到现有架构体系中;
逻辑清晰，快速的学习能力，良好的沟通能力、团队协调能力。
具备良好的团队合作精神，较强的沟通交流能力，具备良好的技术领导能力;
具备良好的文档撰写能力和技术团队管理能力
大数据架构师的基本职责 篇15
职责：
1. 规划设计大数据平台整体架构，规划各种组件，并指导技术团队完成相关系统验证、安装、部署、配置;
2. 负责制定大数据平台技术规范和接口规范，指导研发团队按照规范进行系统开发;
3. 配合商务人员完成售前技术支持工作;
4. 完成其他与数据应用有关的技术工作;
任职要求：
1. 计算机相关专业本科学历，5年以上工作经验;
2. 对大数据技术栈有非常深刻的了解;具备架构设计的实际经验;
3. 对信息安全架构设计及实施有一定的经验;
4. 熟悉Linux、Windows等操作系统的安装配置;
5. 熟悉互联网应用的安装配置;熟悉常见大数据技术栈组件的安装配置;熟悉Visio等绘图工具的使用;
6. 有卫生信息化建设经验者优先;有容器安装部署经验者优先。
大数据架构师的基本职责 篇16
职责：
1、负责大数据项目平台架构的评估、规划和设计
2、开发大数据平台的核心模块代码，负责大数据平台的搭建，完成系统调试、集成与实施，保证大数据产品的上线运行
3、根据业务需求整合优化数据架构，保证产品的可靠性、稳定性
4、指导开发人员完成数据模型规划建设，分析模型构建及分析呈现
5、深入研究大数据相关技术和产品，跟进业界先进技术;
6、根据项目要求编写相关技术文档;
7、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;
8、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;
9. 负责关键功能的开发，技术难题的解决，以及输出代码的关键把控;
10. 负责对使用关键技术的预研和选型，完成 PoC ;
11. 指导工程师完成开发工作，并能分享技术经验。
任职资格:
1、精通Linux操作系统，熟练使用Java;
2、3年以上大数据项目实战经验，两个项目的架构设计经验，熟悉Hadoop、Hbase、Storm、Spark、Pig等开源框架，并熟悉其工作原理;
3、有Hadoop、Spark、Hbase平台性能调优经验;
4、熟悉其它分布式存储相关技术，包括HDFS，Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java开发常用框架.如Spring、MyBatis等;
6、熟悉关系型数据库如oracle及数据库编程。
7、能够根据项目情况安排人力、分配任务，具有较强的团队管理能力。
8、硕士以上学历，20xx年以上的工作经验。
推荐站内搜索：成考录取查询、国旗下的演讲稿、家庭趣事作文500字、助理医师准考证打印、司法考试准考证打印通道、山西教师资格证成绩查询、教师资格证面试报名时间2022上半年考试时间、中秋节的周记、河北成人高考成绩查询入口、北京二外录取分数线、
