<center id="qcuqy"></center>
<acronym id="qcuqy"></acronym>
<object id="qcuqy"></object>
<tt id="qcuqy"><wbr id="qcuqy"></wbr></tt>
<object id="qcuqy"></object>
<sup id="qcuqy"><small id="qcuqy"></small></sup>
网站首页 网站简介 资讯?#34892;?/a> 政策法规 资格认证 培训信息 远程学习 专家顾问 在线报名 成绩查询
 推荐阅读
¡¤ 恭喜本单位成为全国职业信用评价网信
¡¤ 关于开展2019年5月中级网络工程
¡¤ 2019年最新一期国家职业资格安全
¡¤ 恭喜蓝源国际注册商标正式被国家商标
¡¤ 2019年最新一期国家职业资格安全
¡¤ 2019年关于举办劳动关系协调£¨员
¡¤ 国家职业资格信用管理师报考条件
¡¤ 2015年4月14日-4月18?#31449;?/a>
¡¤ 2014年6月高级劳动关系协调师培
 审核查询
本人姓名£º
身份证号£º
 
 学员反馈
¡ï 2014年3月18日-22日来自全国各地的150名生产型制造型企业的中高级管理层...
¡ï  会后普遍学?#21271;?#31034;非常?#34892;?#21271;京蓝源国际企业管理有限公司£¨蓝源国际企业管...
[更多]
 
 >> ?#38469;?#25991;章 当前位置£º网站首页 >> ?#38469;?#25991;章 >> 从小白到大数据工程师¡ª¡ª大数据....  
从小白到大数据工程师¡ª¡ª大数据怎么自学£¿
发?#38469;?#38388;£º2018-03-03 | 阅读次数£º481 | 返回列表>>|

很多小伙伴想自学大数据?#38469;?#30340;£¬但是苦于不知道怎么学£¬需要学什么?#38469;õ£?#20197;及学习的顺序是怎么样的£¿科多大数据?#21019;?#20320;们看看吧¡£

¡¤大数据处理?#38469;?#24590;么学习呢?首先我们要学习Java语言和Linux操作系?#24120;?#36825;两个是学习大数据的基础£¬学习的顺序不分前后¡£

Java£º大家都知道Java的方向有JavaSE¡¢JavaEE¡¢JavaME£¬学习大数据要学习那个方向呢?

只需要学习Java的标?#21450;æJavaSE就可以了£¬像Servlet¡¢JSP¡¢Tomcat¡¢Struct¡¢Spring¡¢Hibernate£¬Mybites?#38469;ÇJavaEE方向的?#38469;?#22312;大数据?#38469;?#37324;用到的并不多£¬只需要了解就可以了£¬当然Java怎么连接数据库还是要知道的£¬像JDBC一定要掌握一下£¬有同学说Hibernate或Mybites也能连接数据库啊£¬为什么不学习一下£¬我这里不是说学这些不好£¬而是说学这些可能会用你很多时间£¬到最后工作中也不常用£¬?#19968;?#27809;看到谁做大数据处理用到这两个东西的£¬当然你的精力很充足的话£¬可以学学Hibernate或Mybites的原理£¬不要只学API£¬这样可以增加你对Java操作数据库的理解£¬因为这两个?#38469;?#30340;核心就是Java的反射加上JDBC的各种使用¡£

Linux£º因为大数据相关软件?#38469;?#22312;Linux上运行的£¬所以Linux要学习的扎实一些£¬学好Linux?#38405;?#24555;速掌握大数据相关?#38469;?#20250;有很大的帮助£¬能让你更好的理解hadoop¡¢hive¡¢hbase¡¢spark等大数据软件的运行环境和网络环境配置£¬能少踩很多坑£¬学会shell就能看懂脚本这样能更容易理解和配置大数据集群¡£还能让你对以后新出的大数据?#38469;?#23398;习起来更快¡£

¡¤好说完基础了£¬再说说还需要学习哪些大数据?#38469;õ£?#21487;以?#27425;?#20889;的顺序学下去¡£#

Hadoop£º这是现在流行的大数据处理平台几乎已经成为大数据的代名词£¬所以这个是必学的¡£Hadoop里面包括几个组件HDFS¡¢MapReduce和YARN£¬HDFS是存储数据的地方就像我们电脑的?#25165;?#19968;样文件都存储在这个上面£¬MapReduce是对数据进行处理计算的£¬它有个特点就是不管多大的数据只要给它时间它就能把数据跑完£¬但是时间可能不是很快所以它叫数据的批处理¡£YARN是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了£¬这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了£¬让它直接跑在现有的hadoop yarn上面就可以了¡£其实把Hadoop的这些组件学明白你就能做大数据的处理了£¬只不过你现在还可能对¡±大数据¡±到底有多大还没有个太清楚的概念£¬听?#19994;?#21035;纠结这个¡£等以后你工作?#21496;?#20250;有很多场景遇到几十T/几百T大规模的数据£¬到时候你就不会觉得数据大真好£¬越大越有你头疼的¡£当然别怕处理这么大规模的数据£¬因为这是你的价值所在£¬让那些个搞Javaee的php的html5的和DBA的羡慕去吧¡£

¡¤记住学到这里可以作为你学大数据的一个节点¡£

Zookeeper£º这是个万金油£¬安装Hadoop的HA的时候就会用到它£¬以后的Hbase?#19981;?#29992;到它¡£它一般用?#21019;?#25918;一些相互协作的信息£¬这些信息比较小一般不会超过1M£¬?#38469;?#20351;用它的软件?#36816;?#26377;依赖£¬对于我们个人来讲只需要把它安装正确£¬让它正常的run起来就可以了¡£

Mysql£º我们学习完大数据的处理了£¬接下来学习学习小数据的处理工具mysql数据库£¬因为一会装hive的时候要用到£¬mysql需要掌握到什么层度那?你能在Linux?#20064;?#23427;安装好£¬运行起来£¬会配置简单的权限£¬修改root的密码£¬创建数据库¡£这里主要的是学习SQL的语法£¬因为hive的语法和这个非常相似¡£

Sqoop£º这个是用于把Mysql里的数据导入到Hadoop里的¡£当然你也可以不用这个£¬直接把Mysql数据表导出成文件再放到HDFS上也是一样的£¬当然生产环境中使用要注意Mysql的压力¡£

Hive£º这个东西对于会SQL语法的来说就是神器£¬它能让你处理大数据变的很简单£¬不会再费劲的编写MapReduce程序¡£有的人说Pig那?它和Pig差不多掌握一个就可以了¡£

Oozie£º既然学会Hive了£¬我相信你一定需要这个东西£¬它可以帮你管理你的Hive或者MapReduce¡¢Spark脚本£¬还能检查你的程序是否执行正确£¬出错了给你发报警并能帮你重试程序£¬最重要的是还能帮你配置任务的依赖关系¡£我相信你一定会?#19981;?#19978;它的£¬不然你看着那一大堆脚本£¬和密密麻麻的crond是不是有种想屎的感觉¡£

Hbase£º这是Hadoop生态体系中的NOSQL数据库£¬他的数据是按照key和value的?#38382;?#23384;储的并且key是唯一的£¬所以它能用来做数据的排重£¬它与MYSQL相比能存储的数据量大很多¡£所以他常被用于大数据处理完成之后的存储目的地¡£

Kafka£º这是个比较好用的队列工具£¬队列是干吗的?排队买票你知道不?数据多?#36865;?#26679;也需要排队处理£¬这样与你协作的其它同学不会叫起来£¬你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来£¬你别怪他因为他不是搞大数据的£¬你可以跟他讲我把数据放在队列里你使用的时候一个个拿£¬这样他就不在抱怨了马上灰流流的去优化他的程序去了£¬因为处理不过来就是他的事情¡£而不是你给的问题¡£当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS£¬这时你可以与一个叫Flume的工具配合使用£¬它是专门用来提供对数据进行简单处理£¬并写到各种数据接受方(比如Kafka)的¡£

Spark?#26680;?#26159;用来弥补基于MapReduce处理数据速度?#31995;?#32570;点£¬它的特点是把数据装载到内存中计算而不是去读慢的要死进化?#22266;?#21035;慢的?#25165;«H?#29305;别适合做迭代运算£¬所以算法流们特别稀?#39038;ü¡?#23427;是用scala编写的¡£Java语言或者Scala都可以操作它£¬因为它们?#38469;?#29992;JVM的¡£

¡¤会这些东西你就成为一个专业的大数据开发工程师了£¬月薪2W?#38469;?#23567;毛毛雨¡£

   上一篇£º互联网数据分析师职位介绍及职业规划...
   下一篇£º程序员如何转型?#35753;?#22823;数据工程师...
联系我们 | 培训合作 | 法律声明 | 网站律师

版权所有:国家职?#21040;?#32946;工作网      主办单位£º北京蓝源国际企业管理有限公司£¨固安蓝源企业管理咨询有限公司£© 

 地址£º北京大兴工业开发区金苑路3号金融大厦D20室    总公司办公地址£º北京市国家新媒体产业基地A座£¨星光影视园£© 

电话£º010-83639113 13366366766  工信部备案号£º京ICP备10209633号-3   公安备案号£º11011502002929  

       工业和信息化部教育与?#38469;žÄ行?#22823;数据项目实训基地战略合作单位    工业和信息化部教育与?#38469;žÄ行ÄBIM专业技能项目?#34892;?nbsp; 全国职业信用评价网授权信息采集单位

京公网安备 11011502002929号

¹óÖÝ11Ñ¡5¹ÙÍø