Spark - 使用SparkSQL将数据写入Hive表详解2（使用saveAsTable()方法）

    在之前的文章中，我介绍了如何在 SparkSQL 中集成 Hive 并查询 Hive 表中的数据（点击查看）。实际工作中，我们不仅需要查询数据并计算结果，还希望将结果数据写入 Hive 表中。通常来说，向 Hive 表中写入数据有如下 3 种方法。

二、使用 saveAsTable() 方法写入 Hive 表数据

1，准备工作

create table student (
    id int,
    stu_name string,
    stu_birthday date,
    online boolean
)
row format delimited
fields terminated by '\t'
lines terminated by '\n';

（2）然后给表中添加一些初始数据：

load data local inpath '/usr/local/student.txt' into table student;

2，编写代码

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object SparkSQLWriteHive_2 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setMaster("local")

    //获取SparkSession，为了操作SparkSQL
    val sparkSession = SparkSession
      .builder()
      .appName("SparkSQLWriteHive_2")
      .config(conf)
      //idea本地运行时需要通过spark.sql.warehouse.dir指定一下hive对应的hdfs路径全称
      .config("spark.sql.warehouse.dir", "hdfs://node1:9000/user/hive/warehouse")
      //开启对Hive的支持，支持连接Hive的MetaStore、Hive的序列化、Hive的自定义函数
      .enableHiveSupport()
      .getOrCreate()

    import sparkSession.sql
    //查询数据
    val resDf = sql("select * from student")

    //写入数据
    resDf.write
      //指定数据写入格式append：追加。overwrite：覆盖。
      .mode("overwrite")
      //这里需要指定数据格式： parquet, orc, avro(需要添加外部依赖包), json, csv, text。
      //不指定的话默认是parquet格式。
      //注意：text数据格式在这里不支持int数据类型
      //针对普通文本文件数据格式(json、csv)，默认创建的Hive表是SequenceFile格式的，
      //无法读取生成的普通文件，不要使用这种方式。
      //parquet, orc数据格式可以正常使用
      .format("parquet")
      .saveAsTable("student_bak")

    sparkSession.stop()
  }
}

3，运行测试

show create table student_bak;

（2）查看这个表的数据也是都有的：

select * from student_bak;

附：使用 saveAsTable() 方法的注意事项

1，text 数据格式不支持 int 数据类型

drop table student_bak;

（2）然后修改代码，将 format 中的值改为 text：

//写入数据（表不存在）
resDf.write
  //指定数据写入格式append：追加。overwrite：覆盖。
  .mode("overwrite")
  //这里需要指定数据格式： parquet, orc, avro(需要添加外部依赖包), json, csv, text。
  //不指定的话默认是parquet格式。
  //注意：text数据格式在这里不支持int数据类型
  //针对普通文本文件数据格式(json、csv)，默认创建的Hive表是SequenceFile格式的，
  //无法读取生成的普通文件，不要使用这种方式。
  //parquet, orc数据格式可以正常使用
  .format("text")
  .saveAsTable("student_bak")

（3）重新执行程序，发现程序报错，提示说 Text 格式不支持 int 数据类型。

2，普通文本文件数据格式（json、csv）无法正常使用

（1）针对普通文本文件数据格式（json、csv），默认创建的 Hive 表是 SequenceFile 格式的，无法读取生成的普通文件，也无法正常使用。我们这里验证一下，首先到 hive 中删除表同时删除对应的 hdfs 目录

drop table student_bak;

（2）修改代码，将 format 中的值改为 json：

//写入数据（表不存在）
resDf.write
  //指定数据写入格式append：追加。overwrite：覆盖。
  .mode("overwrite")
  //这里需要指定数据格式： parquet, orc, avro(需要添加外部依赖包), json, csv, text。
  //不指定的话默认是parquet格式。
  //注意：text数据格式在这里不支持int数据类型
  //针对普通文本文件数据格式(json、csv)，默认创建的Hive表是SequenceFile格式的，
  //无法读取生成的普通文件，不要使用这种方式。
  //parquet, orc数据格式可以正常使用
  .format("json")
  .saveAsTable("student_bak")

（3）执行程序。程序虽然不报错，但是表中的数据是无法查询的。首先我们先看表结构：

show create table student_bak;

• 此时发现表中只有一列，并且表的输入和输出格式化类是 SequenceFile。

select * from student_bak;

3，针对已存在的表，当 mode 为 append 时，format 必须指定为 hive

drop table student_bak;

（2）然后编写如下代码：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object SparkSQLWriteHive_2 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setMaster("local")

    //获取SparkSession，为了操作SparkSQL
    val sparkSession = SparkSession
      .builder()
      .appName("SparkSQLWriteHive_2")
      .config(conf)
      //idea本地运行时需要通过spark.sql.warehouse.dir指定一下hive对应的hdfs路径全称
      .config("spark.sql.warehouse.dir", "hdfs://node1:9000/user/hive/warehouse")
      //开启对Hive的支持，支持连接Hive的MetaStore、Hive的序列化、Hive的自定义函数
      .enableHiveSupport()
      .getOrCreate()

    import sparkSession.sql
    //查询数据
    val resDf = sql("select * from student")

    //创建目标表
    sql(
      """
        |create table if not exists student_bak(
        | id int,
        | stu_name string,
        | stu_birthday date,
        | online boolean
        |)using hive
        | OPTIONS(
        |   fileFormat 'textfile',
        |   fieldDelim '\t'
        |   )
        |""".stripMargin)

    //写入数据（表存在 ）
    resDf.write
      //指定数据写入格式append：追加。overwrite：覆盖。
      .mode("append")
      //这里需要指定数据格式： parquet, orc, avro(需要添加外部依赖包), json, csv, text。
      //不指定的话默认是parquet格式。
      //注意：text数据格式在这里不支持int数据类型
      //针对普通文本文件数据格式(json、csv)，默认创建的Hive表是SequenceFile格式的，
      //无法读取生成的普通文件，不要使用这种方式。
      //parquet, orc数据格式可以正常使用
      .format("text")
      .saveAsTable("student_bak")

    sparkSession.stop()
  }
}

（3）执行程序，发现执行报错，提示这个表是 HiveFileFormat，不支持 TextDataSourceV2 格式。