RDD 值查看
初学习spark ，瞄对象的值可以帮助我们理解
var file = sc.textFile("data.txt")
file.foreach(println)
就可以了
lingzhi007
- 浏览: 119789 次
- 性别:
- 来自: 杭州
-
文章分类
最新评论
分享到：
发表评论
-
Spark SQL运行 过程 抄的别人的，记录 学习
2018-05-13 23:07 1005抄的别人的，觉得写的特别好 val FILESOURCE ... -
thriftserver log4j.properties 生效
2018-04-09 11:46 418/home/isuhadoop/spark2/sbin/sta ... -
udaf 返回的 子属性
2018-03-20 13:22 413udaf 返回的 子属性 spark.sql(" ... -
spark datasource
2018-03-16 16:36 635DataFrameWriter format val c ... -
如何 map 端 Join。
2018-03-04 19:31 590Hive 中 修改表的 rawDataSize = 1 1 ... -
spark thrift server 修改
2018-03-04 12:58 552org.apache.spark.sql.hive.thrif ... -
hive hbase thriftserver run
2018-03-03 15:13 369正确方法 ： 0\ 拷贝对应目录到 spark2 jars ... -
scala package
2018-01-25 09:48 482#scala 打包 mvn clean scala:com ... -
SPARK SERVER
2018-01-23 22:15 493sbin/start-thriftserver.sh --dr ... -
driver class
2018-01-21 22:11 494sbin/start-thriftserver.sh -- ... -
spark thrift server 调试
2017-10-20 15:50 829spark-hive-thriftserver 本地调试 ... -
spark SQL conf
2017-10-18 14:36 585org.apache.spark.sql.internal.S ... -
java 死锁 ，内存问题 分析
2017-10-17 10:50 312jstack -l pid /opt/soft/jdk/ ... -
thriftServer proxy
2017-10-16 14:21 898sudo yum install haproxy 257 ... -
hive spark conf
2017-09-26 17:44 1270CREATE TABLE org_userbehavior_a ... -
get day
2017-09-19 08:41 226def timeDayNow() = { var ... -
thriftserver
2017-09-14 19:47 425export SPARK_CONF_DIR=/home/yun ... -
thriftserver dynamicallocation
2017-09-08 14:41 548./sbin/start-thriftserver.sh -- ... -
test code2
2017-09-03 13:45 459package org.test.udf import co ... -
test code
2017-08-24 17:52 259def taskcal(data:Array[(String, ...
相关推荐
hadoop scala spark 例子项目，运行了单机wordcount
此电子版文档为Scala Spark Bindings，格式为pdf。英文超清晰版。
scala spark的入门数据，英文版的内容，还是比较好懂的 kindle的azw3格式
scala spark的入门数据，蛮不错的内容，英文版的内容，比较易懂
学习Spark技术相关文档，包括Scala由浅入深，及Spark详细介绍实践等文档，主要都是文字版，对大数据感兴趣的应该不会失望，包含Scala in Action; Learning Spark; Scala in Depth;Scala for the Impatient;Spark快速...
采用ARIMA模型（自回归积分滑动平均模型）+三次指数平滑法(Holt-Winters)，用scala语言实现的在spark平台运行的分布式时间序列预测算法
scala是一种基于JVM的面向对象的函数编程，scala编程相对于java而言代码整洁、开发效率更高。 其中scala优点主要有： 1：面向对象，可以定义class，通过new调用实例...5：目前比较流行的kafka，spark均由scala开发。
Scala和Spark大数据分析函数式编程、数据流和机器学习
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
这个文件是用来在Idea中用于整合Scala实现Spark代码编写的pom配置文件. 内置 JDK规定, Spark-core, SparkSQL, mysql依赖的jar包,SparkStreaming, SparkStreaming + Kafka, 向kafka 生产数据需要包, 连接 Redis 需要...
hadoop,spark,scala环境搭建,有详细步骤，一步一步跟着word操作就可以了。
比maven仓库下载快很多
包含Scala语言关于Map的相关方法总结，包括详尽的方法名及其作用
原始用的jetty做的http接口，最近有时间，研究了下spring boot + scala + spark做大数据计算
spark企业项目实战视频，包含诸多spark企业级项目视频，但这需要有一定语言基础才能去看，视频包含spark sql及spark streaming的实战视频
Scala and Spark for Big Data Analytics by Md. Rezaul Karim English | 25 July 2017 | ISBN: 1785280848 | ASIN: B072J4L8FQ | 898 Pages | AZW3 | 20.56 MB Harness the power of Scala to program Spark and ...
SparkHelper概述API Scaladoc： 该库包含一堆用于使用Scala Spark进行数据处理的低级基本方法。 目标是从spark作业代码中删除最多的高度使用和高度重复的低级代码，并将其替换为经过充分测试的，名称易于说明和可读...
Scala是一种简单易学的编程语言，语言与python有些相似，在spark做数据分析等其他场景都会用到，是一门值得学习的语言。
Spark RDD 算子说明，分别讲述了Transformation和Action这两类的算子。
Spark.sql数据库部分的内容