在大数据公司中,任何一家公司都不会只使用一个框架吧?! skr,skr~~ 那我们今天就来聊一段 Hive 与 Spark的爱恨情仇 就像 在一些场景中,需要将外部的数据导入到Hive表中,然后再对这些数据进行额外的处理,提供给不同的部门使用。 当导完数据之后,需要用到Spark进行后续的处理时,发现数据多了一条 Spark:Omg,我顶你个肺~ 这种情况的排查,我们需要从数据源头一步步检验,找出来这突然多出来的数据究竟是何方妖怪,想想是一件很恐怖的事情 Hive:同志,冷静 数据重复?索引重复? 俗话说不会面向度…

2020年11月12日 0条评论 31点热度 0人点赞 阅读全文