野兽
lingzhi007 · 共 138 篇文章
Spark SQL运行 过程 抄的别人的,记录 学习
抄的别人的,觉得写的特别好 val FILESOURCE_TABLE_RELATION_CACHE_SIZE = buildStaticConf("spark.sql.filesourceTableRelationCacheSize") org.apache.spark.sql.catalyst.catalog.SessionCatalog#tableRelationCache private val tableRelationCache: Cache = { val cacheSize = conf.tableRelationCacheSize CacheBuilder.newBuilde…
2018-05-13 23:07 · spark 学习 · 评论(0)
thriftserver log4j.properties 生效
/home/isuhadoop/spark2/sbin/start-thriftserver.sh --driver-class-path /home/isuhadoop/ark_data_bin/jar/fangzhou-nbdata-stream-1.0.jar:/home/isuhadoop/spark2/conf/hbase-site.xml:/home/isuhadoop/spark2/conf/log4j.properties --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.…
2018-04-09 11:46 · spark 学习 · 评论(0)
udaf 返回的 子属性
udaf 返回的 子属性 spark.sql("select createCrowdHllc(uuid,tmp_id,'crowdid_appid').uuiduv from h5 ").show(10) package cn.analysys.udf.crowd import cn.analysys.batch.userprocess.HbaseInit import cn.analysys.meta.MetaMapInfo import cn.analysys.udf.utils.CommonUtils import cn.analysys.udf.utils.CommonUtils.H…
2018-03-20 13:22 · spark 学习 · 评论(0)
spark datasource
DataFrameWriter format val cls = DataSource.lookupDataSource(source, df.sparkSession.sessionState.conf) private var source: String = df.sparkSession.sessionState.conf.defaultDataSourceName 根据这个标来找对应的 val cls = DataSource.lookupDataSource(source, df.sparkSession.sessionState.conf) if (classOf.isAssi…
2018-03-16 16:36 · spark 学习 · 评论(0)
亲情的矛盾都是因为爱而化解 写给17 岁的你
跟你说一个好玩的事情 。 刚刚我们一家三个也都在吵架 ,刚开始是我和我女儿吵,她说我不应在她高兴的时候说她的缺点,吵着吵着我和我老婆开始吵。最后发现我们为什么吵,都不重要了,而是觉得对方不讲道理,觉得对方态度不对,对方不理解自己而生气。 你还记得过年那天,你和大毛哥讨论的那个问题吗?存在即合理,而这个理,每个人的身份不同,诉求不同,看法就不同。自然界的规律有他的客观性,但是这理在每个人的心中确实是一个主观的 感受的东西。换个说法,如果大家对合理都有个客观的公式,人和人有了矛盾,那都不用吵了,直接拿公式算好了 ,吵架多伤神。 所以一般来说 ,没人会觉得自己理亏。那一家人是如何平息矛盾的?这个我…
2018-03-12 09:31 · 闲扯淡 · 评论(0)
如何 map 端 Join。
Hive 中 修改表的 rawDataSize = 1 14: jdbc:hive2://ark3:9994> alter table app_uuid_info_test set tblproperties(rawDataSize=1) 14: jdbc:hive2://ark3:9994> ; HBASE 表是不会根新的所有手工指点 这个 阀值 set spark.sql.autoBroadcastJoinThreshold=100000000; JOINT 中 left outer join app_uuid_info_test b select a.tmp_id,a.uuid,a.e…
2018-03-04 19:31 · spark 学习 · 评论(0)
spark thrift server 修改
org.apache.spark.sql.hive.thriftserver.server.UdfLoadUtils package org.apache.spark.sql.hive.thriftserver.server import org.apache.spark.SparkFiles import org.apache.spark.sql.SparkSession import org.apache.spark.sql.expressions.UserDefinedAggregateFunction import org.apache.spark.sql.types.{DataTy…
2018-03-04 12:58 · spark 学习 · 评论(0)
hive hbase thriftserver run
正确方法 : 0 拷贝对应目录到 spark2 jars -rw-r--r--. 1 root root 1396867 3月 2 23:19 hbase-client-1.1.2.2.6.1.0-129.jar -rw-r--r--. 1 root root 575960 3月 2 23:20 hbase-common-1.1.2.2.6.1.0-129.jar -rw-r--r--. 1 root root 4956260 3月 2 23:20 hbase-protocol-1.1.2.2.6.1.0-129.jar -rw-r--r--. 1 root root 4580584 3月 …
2018-03-03 15:13 · spark 学习 · 评论(0)
论过年
你是不是说越长越大,过年就越没年味,与其这样,你还不如试着走走。 本人已有三年只给几个固定的亲戚拜年,每年除了抱怨只剩抱怨,左右不过是想显得自己与众不同,其实想想年味的增长真的看自己,说什么不想给谁谁谁拜年,只不过是“懒”,说和谁没感情,其实就是自己太空虚。 与其说不想去拜年,可以逼逼自己,你会发现,亲戚还是那个亲戚,
2018-02-20 17:44 · 闲扯淡 · 评论(0)
scala package
#scala 打包 mvn clean scala:compile compile package mvn clean scala:compile compile package -Dmaven.test.skip=true -Ptest
2018-01-25 09:48 · spark 学习 · 评论(0)
hive storage
hive> show create table test_parquet; OK CREATE TABLE test_parquet ( name string, age int) ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.…
2018-01-24 14:34 · 评论(0)
SET key=value commands using SQL. spark parquet
Configuration Configuration of Parquet can be done using the setConf method on SparkSession or by running SET key=value commands using SQL. Property Name Default Meaning spark.sql.parquet.binaryAsString false Some other Parquet-producing systems, in particular Impala, Hive, and older versions of Sp…
2018-01-24 12:18 · 评论(0)
spark sql parquet 格式异常 修改Jar版本 parquet-hadoop-bundle-1.6.0
spark sql parquet 格式异常 org.apache.hive.service.cli.HiveSQLException: java.lang.NoClassDefFoundError: parquet/hadoop/ParquetOutputFormat 修改Jar -rw-r--r-- 1 root root 2796935 Apr 2 2017 parquet-hadoop-bundle-1.6.0.jar -rw-r--r-- 1 root root 2902379 Mar 23 2017 parquet-hadoop-bundle-1.8.1.jar_bak
2018-01-24 00:45 · 评论(0)
SPARK SERVER
sbin/start-thriftserver.sh --driver-class-path $CLASSPATH:/usr/hdp/current/spark2-client/sparkudf.jar:/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.0.3-8.jar --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=192.168.221.50 --master yarn --deploy-mode client …
2018-01-23 22:15 · spark 学习 · 评论(0)
driver class
sbin/start-thriftserver.sh --driver-class-path $CLASSPATH:/usr/hdp/current/spark2-client/sparkudf.jar:/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.0.3-8.jar --hiveconf hive.server2.thrift.port=9998 --hiveconf hive.server2.thrift.bind.host=192.168.220.172 --master yarn --deploy-mode client…
2018-01-21 22:11 · spark 学习 · 评论(0)