-
PySpark教程--5、PySpark流数据处理
Spark Streaming概述Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐、实时网站性能分析等，流式计算可以解决这些问题。目前有三种比较常用的流式计算框架，它们分别是Twitter Storm，Spark Streamin...
08月17日[PySpark]浏览：90
-
PySpark教程--4、PySpark机器学习
MLlibApache Spark提供了一个名为 MLlib 的机器学习库，包含基于RDD的原始算法的API。此外，MLlib是目前唯一支持流媒体训练模型的库。从Spark2.0开始，ML是主要的机器学习库，它对DataFrame进行操作。 MLlib概括了其公开三个核心机器学习功能： 数据...
08月17日[PySpark]浏览：87
-
PySpark教程--3、PySpark基础知识
Spark 初始化spark 交互式执行环境 spark-shell --master <master-url> # scala pyspark --master <master-url> # python 下面介绍几种常用Spark应用程序提交方式 loca...
08月17日[PySpark]浏览：74
-
PySpark教程--2、Spark基本概念
文章目录 Spark 基本概念 Hadoop 生态Spark 生态Spark 基本架构Spark运行基本流程弹性分布式数据集(RDD [Spark安装配置](https://blog.csdn.net/qq_41518277/article/details/...
08月17日[PySpark]浏览：94
-
PySpark教程--1、Spark安装配置
文章目录 准备工作Spark下载和安装配置spark环境变量Spark配置文件启动Spark集群启动Shell界面Spark集群配置免密钥登陆 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还...
08月17日[PySpark]浏览：93
-
【译】PLY——Python Lex Yacc手册(二)
6.6 处理二义文法上面例子中，对表达式的文法描述用一种特别的形式规避了二义文法。然而，在很多情况下，这样的特殊文法很难写，或者很别扭。一个更为自然和舒服的语法表达应该是这样的： expression : expression PLUS expression | expre...
08月17日[ply]浏览：69
-
【译】PLY——Python Lex Yacc手册(一)
原博客地址已经不能访问，但是觉得文档不错，就保存了下了，以供后来者学习。 我写的SQLflow机器学习平台开源项目就是用到这篇文章的词法分析语法解析。SQLflow开源git地址：https://github.com/lqkweb/sqlflow 本文是PLY (Python Lex-Yacc ...
08月17日[ply]浏览：60
-
Miniconda中Python3.6和Python2.7共存 同时使用python2.x和python3.x两个版本开发项目
Miniconda中Python3.6和Python2.7共存 同时使用python2.x和python3.x两个版本开发项目 设置清华的镜像请参考：http://www.lqkweb.com/blog.php?id=18 1、 添加Python2.7（python3.6类似）conda cre...
08月17日[python编程]浏览：63
-
Flask 教程 第二十三章：应用程序编程接口（API）
本文翻译自The Flask Mega-Tutorial Part XXIII: Application Programming Interfaces (APIs 我为此应用程序构建的所有功能都只适用于特定类型的客户端：Web浏览器。 但其他类型的客户端呢？ 例如，...
08月17日[Flask教程]浏览：90
-
Flask 教程 第二十二章：后台作业
本文翻译自The Flask Mega-Tutorial Part XXII: Background Jobs 这是Flask Mega-Tutorial系列的第二十二部分，我将告诉你如何创建独立于Web[服务器](https://www.baidu.com/s?wd=%E6%9C%8D%E5%8...
08月17日[编程基础]浏览：53