在大数据公司中,任何一家公司都不会只使用一个框架吧?! skr,skr~~ 那我们今天就来聊一段 Hive 与 Spark的爱恨情仇 就像 在一些场景中,需要将外部的数据导入到Hive表中,然后再对这些数据进行额外的处理,提供给不同的部门使用。 当导完数据之后,需要用到Spark进行后续的处理时,发现数据多了一条 Spark:Omg,我顶你个肺~ 这种情况的排查,我们需要从数据源头一步步检验,找出来这突然多出来的数据究竟是何方妖怪,想想是一件很恐怖的事情 Hive:同志,冷静 数据重复?索引重复? 俗话说不会面向度…

2020年11月12日 0条评论 26点热度 0人点赞 阅读全文

使用beeline方式连接hive-server2的过程中,报以下错误: [ 08S01] Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000: java.net.SocketException: Connection reset 查询官网资料得知,出现jdbc:hive2://localhost:10000: java.net.SocketException: Connection reset错误的原因,大概率是因…

2020年09月11日 0条评论 139点热度 1人点赞 阅读全文