`
文章列表
抄的别人的,觉得写的特别好 val FILESOURCE_TABLE_RELATION_CACHE_SIZE =     buildStaticConf("spark.sql.filesourceTableRelationCacheSize") org.apache.spark.sql.catalyst.catalog.SessionCatalog#tableRelationCache   private val tableRelationCache: Cache[QualifiedTableName, LogicalPlan] = {     val cache ...
/home/isuhadoop/spark2/sbin/start-thriftserver.sh --driver-class-path /home/isuhadoop/ark_data_bin/jar/fangzhou-nbdata-stream-1.0.jar:/home/isuhadoop/spark2/conf/hbase-site.xml:/home/isuhadoop/spark2/conf/log4j.properties  --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.h ...
udaf 返回的 子属性 spark.sql("select createCrowdHllc(uuid,tmp_id,'crowdid_appid').uuiduv   from h5     ").show(10) package cn.analysys.udf.crowd import cn.analysys.batch.userprocess.HbaseInit import cn.analysys.meta.MetaMapInfo import cn.analysys.udf.utils.CommonUtils import cn.analysys.udf.u ...
DataFrameWriter format val cls = DataSource.lookupDataSource(source, df.sparkSession.sessionState.conf) private var source: String = df.sparkSession.sessionState.conf.defaultDataSourceName 根据这个标来找对应的 val cls = DataSource.lookupDataSource(source, df.sparkSession.sessionState.conf) if (classOf ...
>跟你说一个好玩的事情 。  刚刚我们一家三个也都在吵架 ,刚开始是我和我女儿吵,她说我不应在她高兴的时候说她的缺点,吵着吵着我和我老婆开始吵。最后发现我们为什么吵,都不重要了,而是觉得对方不讲道理,觉得对方态 ...
Hive 中  修改表的 rawDataSize = 1 14: jdbc:hive2://ark3:9994> alter table app_uuid_info_test  set tblproperties(rawDataSize=1) 14: jdbc:hive2://ark3:9994> ; HBASE 表是不会根新的所有手工指点 这个 阀值 set spark.sql.autoBroadcastJoinThreshold=100000000; JOINT  中  left  outer join app_uuid_info_test b select   a ...
org.apache.spark.sql.hive.thriftserver.server.UdfLoadUtils package org.apache.spark.sql.hive.thriftserver.server import org.apache.spark.SparkFiles import org.apache.spark.sql.SparkSession import org.apache.spark.sql.expressions.UserDefinedAggregateFunction import org.apache.spark.sql.types.{DataTy ...
正确方法 : 0\ 拷贝对应目录到 spark2 jars -rw-r--r--. 1 root root  1396867 3月   2 23:19 hbase-client-1.1.2.2.6.1.0-129.jar -rw-r--r--. 1 root root   575960 3月   2 23:20 hbase-common-1.1.2.2.6.1.0-129.jar -rw-r--r--. 1 root root  4956260 3月   2 23:20 hbase-protocol-1.1.2.2.6.1.0-129.jar -rw-r--r--. 1 root roo ...

论过年

     你是不是说越长越大,过年就越没年味,与其这样,你还不如试着走走。         本人已有三年只给几个固定的亲戚拜年,每年除了抱怨只剩抱怨,左右不过是想显得自己与众不同,其实想想年味的增长真的看自己,说什么不想给谁谁谁拜年,只不过是“懒”,说和谁没感情,其实就是自己太空虚。          与其说不想去拜年,可以逼逼自己,你会发现,亲戚还是那个亲戚,

scala package

#scala 打包  mvn clean scala:compile compile package mvn clean scala:compile compile package  -Dmaven.test.skip=true -Ptest
hive> show create table test_parquet;  OK  CREATE TABLE `test_parquet`(    `name` string,     `age` int)  ROW FORMAT SERDE     'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'  STORED AS INPUTFORMAT     'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'  OUTPUTFO ...
Configuration Configuration of Parquet can be done using the setConf method on SparkSession or by running SET key=value commands using SQL. Property Name Default Meaning spark.sql.parquet.binaryAsString false Some other Parquet-producing systems, in particular Impala, Hive, and older versions of Spa ...
spark sql   parquet 格式异常 org.apache.hive.service.cli.HiveSQLException: java.lang.NoClassDefFoundError: parquet/hadoop/ParquetOutputFormat 修改Jar -rw-r--r-- 1 root root  2796935 Apr  2  2017 parquet-hadoop-bundle-1.6.0.jar -rw-r--r-- 1 root root  2902379 Mar 23  2017 parquet-hadoop-bundle-1.8.1.jar_ ...

SPARK SERVER

sbin/start-thriftserver.sh --driver-class-path $CLASSPATH:/usr/hdp/current/spark2-client/sparkudf.jar:/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.0.3-8.jar     --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=192.168.221.50  --master yarn --deploy-mode clie ...

driver class

sbin/start-thriftserver.sh   --driver-class-path $CLASSPATH:/usr/hdp/current/spark2-client/sparkudf.jar:/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.0.3-8.jar  --hiveconf hive.server2.thrift.port=9998 --hiveconf hive.server2.thrift.bind.host=192.168.220.172 --master yarn --deploy-mode clien ...
Global site tag (gtag.js) - Google Analytics