大数据~数据挖掘,越来越火,90%的企业都在运用或者都想要利用大数据为其带来更便利的服务,从而大数据高端软件类人才可谓供不应求。
如何学好大数据?
第一阶段:大数据新手入门系统教程Java+MySQL+关系型数据库+阿里巴巴《码出高效》编码规约
知识点
一.Java基础入门:Java编程入门:Java编程初体验,Java运行机制;
Java语法基础:Java程序的组织形式与命名规则,变量类型和定义,表达式和运算符;
程序的流程结构:分支结构,循环结构;函授:函数的定义,函数调用,函数递归定义和调用;
数组:数组基本常识,数组的操作,二维数组的基本定义和使用;
Java类和对象:类和对象的概念,类的定义和对象的创建;面向对象的特征:封装的概念和实现,继承,多态;
三个修饰符:final修饰符及作用,static修饰符,abstract修饰符;接口:接口的定义,接口的实现;
设计模式与面向对象设计原则:面向对象的设计原则,设计模式及分类,常见的设计模式实现;
Object类和包装类:Object类,包装类及其使用;字符串的处理:字符串类String,字符串拼接;
Java中常用的工具类:日期类,Math类的使用,Random类的使用,Java MD5和加解密;
java的内部类:成员内部类,静态内部类,局部内部类的定义和使用,匿名内部类;
集合:Collection接口,List接口,Set接口,Map接口,其他集合接口和类;java泛型:泛型的介绍和产生的原因;
java异常:异常的概念和异常类的层次结构,异常处理的分类,异常处理方式,自定义异常;
java文件与I/O流(上):File类,字节流,输入输出字符流;(下):RandomAccessFile类,Java对象读写;
java多线程上:线程和线程类,线程的创建,线程的状态和调度,线程的状态变化;
java多线程下:线程同步与共享,多线程协作,线程并发编程新API;
java的新特性:Java注释:注解的概念和Annotation接口,元注解,自定义注解。
枚举:enum关键字和Rnum类。
Java8新特性:使用JDK8编写接口的默认方法,使用JDK8的Lambda表达式,使用JDK8的函数式接口;
MySQL入门安装及使用,MySQL的数据类型;SQL入门:DDL,DML,DRL,DCL:关联查询,子查询
二.关系型数据库:什么是数据库,什么是关系型数据库,表的关联,约束,MySQL的安装及配置,
MySQL的数据类型,数据库结构定义DDL,数据操纵语言DML,数据查询语言DRL,数据访问DCL;
MySQL关联查询:笛卡尔积,关联条件,交叉连接,内连接,外连接,自链接
三,阿里巴巴《码出高效》编码规约:命名,定义,格式,OOP规约,集合处理,并发处理,控制语句,注释规约;
阿里巴巴《码出高效》数据库规约:建表规约,索引规约,SQL语句,ORM映射
实战项目电商大数据从零搭建包含CDH,HDP,开源搭建等三种搭建方式
广告流量的实施统计,基于用户兴趣的商品推荐系统
基于ALS的协同过滤推荐,基于购买行为的商品推荐
适合人群新手、小白,转行人员,想学习大数据,基础不牢固
在学习大数据的过程当中有遇见任何问题,可以加入我的Java/大数据交流学习秋秋qun:七三二、三零八、一七四,多多交流问题,互帮互助,群里有不错的学习教程和开发工具。学习大数据有任何问题(学习方法,学习效率,如何就业),可以随时来咨询我
第二阶段:Linux+Hadoop系统离线计算处理模块+大数据分布式弹性搜索引擎ElasticSearch(ES)
知识点
Linux系统的实战与应用:Linux简介,Linux的分类,Linux的常用版本,虚拟机安装,Linux安装Linux目录结构,Linux常用命令行,Linux的权限命令,Linux的用户操作,SSH免密登录设置,Linux网络配置,Linux远程工具的使用,安装JDK项目实战:CentOS系统操作、安装Linux系统企业常用软件、熟悉Linux环境下编程Hadoop离线计算处理模块:Apache Hadoop的体系结构,Hadoop2.X,eclipse配置设置Hadoop应用案例分析,Hadoop应用案例分析,Hadoop数据压缩实验环境,YARN分布式管理平台,HUE智能分析管理平台CDH大数据平台管理工具,Ooize工作流任务调度引擎Hive数据仓库,Pig解析大数据高级过程语言,Hbase分布式的开源数据库Zookeeper分布系统的可靠协调系统:zookeeper功能与应用,集群分配原理,命令行客户端,zookeeper集群自动启动脚本,java客户端,分布式应用系统服务器的上下线动态感知程序的开发,zookeeper客户端线程的属性-守护线程,分布式共享锁的逻辑Flume数据采集框架:Flume流程模型简介,Flume安装,Flume官网案例,Flume企业级案例一/二/三/四/五;Flume监控Azkaban任务调度工具:shell脚本的使用,MapReduce的AZ使用,关联job的依赖,Hive的AZ使用,HDFS的AZ使用Sqoop高效传输批量数据的工具,Zookeeper分布式系统的可靠协调系统流量汇总程序开发,Combine案例,InputFormat案例,mapjoin,reducejoinhdfs小文件优化,MapReduce优化,分布式共享锁的逻辑,Hive的窗口函数,数据倾斜大数据分布式弹性搜索引擎ElasticSearch:什么是搜索;数据库搜索;什么是ElasticSearch;ElasticSearch适用场景;ElasticSearch特点;ElasticSearch核心概念:近实时;Cluster(集群);Cluster(集群);Node节点;Index(索引-数据库);Type(类型-表);DocumentDocument(文档-行);Field(字段-列);mapping(映射-约束);ElasticSearch与数据库的类比;ElasticSearch存入数据和搜索数据机制;ElasticSearch分布式搭建;ElasticSearch Java API操作:操作环境准备,获取Transport Client,创建索引,删除索引,删除索引,源数据json串,源数据map方式添加json,源数据es构建器添加json,单个索引,多个索引,update,upsert,prepareDelete,条件查询QueryBuilder,查询所有(matchAllQuery),字段分词查询(queryStringQuery),通配符查询(wildccardQuery),模糊查询(fuzzy)实战项目电商大数据从零搭建包含CDH,HDP,开源搭建等三种搭建方式广告流量的实施统计,基于用户兴趣的商品推荐系统基于ALS的协同过滤推荐,基于购买行为的商品推荐
第三阶段:面向大厂、国际化开发人员Git、gitHub实战应用+Docker应用引擎
知识点
一.分布式版本控制系统Git、gitHub项目托管平台的实战与应用Git分布式控制的实战与应用:git简史和介绍;git在win,mac,centos安装和配置;git本地库,暂存区,本地库名词解释;git初始化,代码更新,提交,回退,文件比较等操作;git branch checkout等分支操作;git rebase,merge区别;代码回滚revert,reset;面向大厂,国际化开发人员gitHub的实战应用:创建gitHub账户,以及添加SSH配置;远程库拉取,更新,代码合并;向开源项目提交pull request和patch;git tag 和release等操作;在idea工具向gitHub提交代码;掌握大公司代码开发流程;掌握版本控制的基础操作,历史回滚,分支操作代码同步;围绕Pull Request来展开的团队内部协作流程和开源项目贡献流程;gitHub具体技巧,用lssues进行项目讨论;合并开源社区的pr(例如spark的pull request);搭建内部的代码提交平台gitlab;适合人群如果想在大公司做开发,而且有目标做自己的开源项目并向其他开源项目提交代码,那么必须掌握git和gitHub,即是 这些你都不想,那么如果你想coding方面长远发展,掌握git会助你更上一层楼。以下企业正在使用git及gitHub拉勾网、Keep、快如科技、字节跳动、去哪儿网、奇虎360金融、美团点评、知乎、京东集团、汽车之家、小米、百度、宜信、瓜子二手车直卖网、滴滴出行、爱奇艺、陌陌、搜狐集团、七牛云、好未来、马蜂窝、阿里巴巴-高德、熊猫直播、逻辑思维、饿了么、新浪网、新浪微博等.二.大数据Docker容器化从入门到实战开发Docker从无到有的实战应用:为什么要使用docker?docker基本组成概念;docker安装;docker获取,创建,导入,保存,删除镜像;docker其他重要命令介绍与操作;docker单机容器内部互联;数据卷容器备份,恢复,迁移;docker容器绑定外部IP和端口;docker阿里云加速镜像配置;Docker及Dockerfile搭建镜像,私有仓库,集群:Dockerfile基本介绍;Dockerfile中的重要命令介绍和使用;实战Dockerfile构建Spark,Hadoop镜像;docker搭建私有仓库;docker跨主机互联(方式1):路由;(方式2):flannel+etcd;docker-compose介绍;docker-compose测试,生产,开发环境构建;docker-compose搭建Spark kafka集群;提交代码测试集群;Docker的高级实战项目应用:docker-compose搭建web服务器和nginx;docker进阶之缩减容器大小;docker进阶之cache机制;docker进阶之镜像内部窥探;docker进阶之logs;docker可视化监控平台搭建;docker搭建gitlab;学完Docker的收获Docker容器为什么这么火?Docker容器应用场景?Docker容器企业应用案列?怎么建设Docker容器基础架构?生产环境使用Docker正确姿势?搭建私有仓库?使用Docker搭建hadoop,spark,kafka等集群. 首先从入门教你安装Docker,接着学习Docker核心功能:例如镜像,容器,网络等知识点。再接着学如何定制化容器镜像并使用Harbor统一管理容器镜像,最后图形管理和容器监控。均以更佳实践讲解,确保实用性,实战性。适用人群Docker技术已经成为大数据工程师,运维工程师,开发工程师,测试工程师,架构师职位必备的专业技能之一,特别是解决开发人员环境部署,部署升级等问题,非常有必要深入学习下,提升职业竞争力以下企业正在使用Dcker新浪网、新浪微博、百度、小米、搜狐集团、爱奇艺、360企业安全、滴滴出行、今日头条、抖音、58到家、京东集团、搜狗、宜信、金山云、联想集团、国美控股集团、美团点评、马蜂窝、快手、汽车之家、创新工场AI工程院、拉勾网、face++、知乎、新东方、好未来、人人网等。实战项目电商大数据从零搭建包含CDH,HDP,开源搭建等三种搭建方式广告流量的实施统计,基于用户兴趣的商品推荐系统基于ALS的协同过滤推荐,基于购买行为的商品推荐
第四阶段:Storm实时计算处理模块
知识点
组件模块,Redis缓存中间件,开发任务的主程序设计Storm实时计算简介,图形解释,集群搭建,核心组件,系统架构,常用命令操作Storm-WordCount分析,开发WordCount的Spout组件和Bolt组件Storm的内容大纲,技术角度详细讲解,工程部署,单机和集群开发Storm任务提交流程,启动流程,设置参数,内部通信Storm与其他中间件集成Api,开发任务的主程序设计实战项目地区销售额需求分析和架构设计,图表秒级无刷新实时展示Spout融合Kafka Consumer及线程安全测试HighCharts图表开发一及Web端架构设计
第五阶段:Flink新一代计算引擎
知识点
Flink介绍,Flink架构,企业任务提交,Flink无界数据集,Flink-DataSource,jar包任务的提交,Flink有界数据集,Flink-sink,SSL设置,Flink执行模型,Flink集群安装,Flink运行状况监控,Flink特点,Flink的UI界面使用,Flink的文件系统的支持,Flink流计算模型,Flink-WorkCount,Flink的HA实战项目Flink企业应用阶段性项目Flink处理大批量数据架构阶段性监控维基百科的编辑日志项目
第六阶段:大数据Spark内存计算架构+高并发高吞吐架构设计
知识点
1.Kafka消息队列模块:Kafka介绍与构架原理,Kafka安装部署,Kafka生产者与消费者及写入流程Kafka消费流程,Kafka-API编写,kafka ProducerAPI,Kafka拦截器API,Kafka StreamsAPI2.Scala语言:Scala基础语法,Scala函数式编程,Scala数组,Scala集合,Scala单机版WordCount,面向对象,Actor编程,AKKA编程,RPC框架,隐式转换3.Spark内存计算模型详解:Spark介绍与集群安装,执行Spark程序,Spark-WordCount编写,Spark算子RDD,RDD高级算子,潭州课堂更受欢迎课堂案列,潭州课堂根据学科过滤学院,Partition分区,IP归属地查找案列,Spark操作MySQL的API,Spark提交任务流程,RDD缓存机制,RDD的checkPoint机制,Spark中的stage与依赖的划分,SparkSQL,SparkStreaming,Spark-Flume整合,Spark-kafka整合
实战项目
数据分析案例;SparkSQL企业级案例;SparkStreaming企业级案例;SparkRDD企业级使用;Flume采集数据到Spark端数据处理案例;
会这些东西你就成为一个专业的大数据开发工程师了,月薪2W都是小毛毛雨