第六周-大数据学习班,深圳模具厂,模塑科技

2019-10-20 09:12:26

回顾第5周  , 上周的 Hbase 软件, 卢老师提供过百度云盘的记录。   或者自己下载。

image.png


image.png



Hbase  增删改查 的 操作;

image.png


image.png

image.png

image.png

image.png


image.png


image.png


image.png

      image.png

     多种类型可以混合应用


     image.png

可以增加逻辑判断和计算, 在条件中, 这是  scala 的强大之处。


image.png

image.png

image.png


这种是递归的函数, 也就是函数中调用了自己本身的函数


image.png


image.png


     image.png


    image.png

  image.png

变长数组,定长数组, 可变数组,  可以相互转化。


image.png

reverse  , 这个是  取反 的意思,  也就是倒序。

image.png

%2  取模 , 也就是去偶数


image.png


.min 是进行取小。 



image.png

映射,必须有键值对,有K 有 V,   对键值对的调换、


Scala 主要是计算  文本搜索统计中, 得到的统计结果, 

MAP 映射相关的操作。


1、压平, 

2、键值对,

3、统计,

4、键值对调换,

5、在进行排序,

6、再次统计。


定义元组 

image.png

这个元组, 也就是一个容器, 可以对他取值。

image.png  这就是结果。   


parton 用的很多,  


image.png

image.png

image.png


=JaVa 中的重载


image.png

这些就是   SCALA 的 类的运用 


image.png


image.png


image.png

image.png


image.png


image.png



image.png




上周  Hbase  和  Scala的复习


接下来讲    kafaka     再讲    zookeppr


-------------------------------------------------------------------------------------------------------------------------------------------------

image.png


KAFAKA   ,首先要了解  KAFAKA 的如下内容

image.png


产生的背景, 一个分布式的发布以及订阅的消息系统,她最初由  linkdin 开发的, 

使用   scala 语音书写的。  最终成为 Apache项目的一部分,可划分, 多订阅者

image.png


image.png



image.png

举例说明:   洒水车是  kafaka  装水就是 生产 ,     洒水就是消费的过程。

灌水的速度 和 洒水的速度是多少?    就是消息





image.png



-----------------下午开始学习   KAFAKA  


  image.png

parttion  有序列号, 可以并行处理更多的数据, 每个消息都有ID , 也叫 offset 。


  image.png

image.png





image.png

image.png



image.png



image.png




image.png


image.png

image.png

image.png

image.png

image.png





image.png

image.png

             image.png



image.png


image.png

一个生产交易系统,  每天产生 1亿的订单量 , (分布在很多省)  ,  需要全国的销量监控,  以及各个省份的, 

汇总到北京, 可以做到, 各个省份的排名, 


1、 实际放入 的数据, 是实时产生的, 并不是同时产生的, 所以输入到 KAFKA 中, 然后由 Spark 取出来计算出来。

      具体的接口


2、统计第一步,  第二步, 预测 , 学习,  挖掘 。   甚至可以人脸识别。 

image.png

  


image.png


image.png

image.png

image.png


image.png







image.png

image.png


image.png


image.png


image.png


image.png


KaFKa 的 Message  , 也就是把 Message  。    下周讲      10-13  上课 。









Hbase  是No SQL数据库 ,  



深圳塑胶模具厂,深圳市模具厂,深圳模具厂,深圳模具,深圳塑胶模具
首页
产品
新闻
联系