CREATE TABLE [ IF NOT EXISTS ] table_identifier( col_name[:] col_type [ COMMENT col_comment ], ... )USING data_source[ COMMENT table_comment ][ OPTIONS ( 'key1'='value1', 'key2'='value2' )][ PARTITIONED BY ( col_name1, transform(col_name2), ... ) ][ LOCATION path ][ TBLPROPERTIES ( property_name=property_value, ... ) ]
USING data_source
:建表时,数据的输入类型,目前有:CSV,ORC,PARQUET,ICEBERG 等。
table_identifier
:指定表名,支持三段式,例如:catalog.database.table。
COMMENT
:表的描述信息。OPTIONS
:USING data_source支持的额外参数,用于存储时参数注入。
PARTITIONED BY
:基于指定的列创建分区。
LOCATION path
:数据表存储路径。
TBLPROPERTIES
:一组 k-v 值,用于指定表的参数。OPTIONS 支持的 key | key 对应的 value 默认值 | 含义 |
sep或delimiter | , | csv存储时每列之间的分隔符,默认英文逗号 |
mode | PERMISSIVE | 定义当数据转换时不符合预期时的处理模式。 PERMISSIVE:较宽松的模式,默认,尝试转换某一行数据,例如某一行多出来几列,会自动只取需要的列 DROPMALFORMED:丢弃不符合预期的数据,例如某一个行多出来列则该行会被丢弃 FAILFAST:严格要求csv格式,一旦某行不符合预期就失败,例如多出列的情况。 |
encoding或charset | UTF-8 | 字符串编码格式。 例如:UTF-8、US-ASCII、ISO-8859-1、UTF-16BE、UTF-16LE、UTF-16 |
quote | \\" | 引号是单引号还是双引号,注意使用转义符 |
escape | \\\\ | 逃逸字符,注意使用转义符 |
charToEscapeQuoteEscaping | - | 引号内部需要逃逸的字符 |
comment | \\u0000 | 备注信息 |
header | false | 存在表头 |
inferSchema | false | 推断每列类型,不推断则每一列均为字符串 |
ignoreLeadingWhiteSpace | 读:false 写:true | 忽略开头的空字符串 |
ignoreTrailingWhiteSpace | 读:false 写:true | 忽略结尾的空字符串 |
columnNameOfCorruptRecord | _corrupt_record | 无法转换的列的列名,该参数受spark.sql.columnNameOfCorruptRecord影响,以表配置为主 |
nullValue | - | null的存储格式,默认为空字符串,此时按emptyValue的方式写 |
nanValue | NaN | 非数值类型的值的存储格式 |
positiveInf | Inf | 正无穷大的存储格式 |
negativeInf | -Inf | 负无穷大的存储格式 |
compression或codec | - | 压缩算法的类名,默认不压缩,可以使用简称,bzip2、deflate、gzip、lz4、snappy |
timeZone | 系统默认时区 | 默认时区,该参数取值受spark.sql.session.timeZone影响,例如Asia/Shanghai,以表配置为主 |
locale | en-US | 语言类型 |
dateFormat | yyyy-MM-dd | 默认日期的格式 |
timestampFormat | yyyy-MM-dd'T'HH:mm:ss.SSSXXX | 默认时间的格式,非LEGACY模式下为yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX] |
multiLine | false | 允许多行 |
maxColumns | 20480 | 最大列数 |
maxCharsPerColumn | -1 | 每列最大字符数,-1表示不限制 |
escapeQuotes | true | 逃逸引号 |
quoteAll | quoteAll | 写时全文加引号 |
samplingRatio | 1.0 | 采样比例 |
enforceSchema | true | 强制使用指定的schema读取,会忽略表头的定义 |
emptyValue | 读: 写:\\"\\" | 空值的读写格式 |
lineSep | - | 换行符 |
inputBufferSize | - | 读时的buffer size,该参数可受spark.sql.csv.parser.inputBufferSize影响,以表配置为主 |
unescapedQuoteHandling | STOP_AT_DELIMITER | 非逃逸引号被发现时的处理策略。 STOP_AT_DELIMITER:读到分隔符停止 BACK_TO_DELIMITER:回退到分隔符 STOP_AT_CLOSING_QUOTE:读到下一个引号停止 SKIP_VALUE:跳过该列数据 RAISE_ERROR:报错 |
OPTIONS 支持的 key | key 对应的 value 默认值 | 含义 |
compression或orc.compress | snappy | 压缩算法,支持简写snappy/zlib/lzo/lz3/zstd,该参数受spark.sql.orc.compression.codec影响,以表参数为主 |
mergeSchema | false | 合并schema,该参数受spark.sql.orc.mergeSchema影响,以表参数为主 |
OPTIONS 支持的 key | key 对应的 value 默认值 | 含义 |
compression或parquet.compression | snappy | 压缩算法,默认使用snappy,受参数spark.sql.parquet.compression.codec影响,以表参数为主。 |
mergeSchema | false | 是否合并schema,受参数spark.sql.parquet.mergeSchema影响,以表参数为主。 |
datetimeRebaseMode | EXCEPTION | 写parquet文件时日期的转换策略。LEGACY模式将日期做公历转换、CORRECTED不对日期做公历转换、EXCEPTION在遇到日期属于不同格式时报错。受参数spark.sql.parquet.datetimeRebaseModeInRead影响,以表参数为主。 |
int96RebaseMode | EXCEPTION | 读parquet文件时时间的转换策略。LEGACY模式将对时间做公历转换、CORRECTED不对时间做转换、EXCEPTION则在遇到不同格式的时间时报错。受参数spark.sql.parquet.int96RebaseModeInRead影响,以表参数为主。 |
CREATE TABLE dempts(id bigint COMMENT 'id number',num int,eno float,dno double,cno decimal(9,3),flag boolean,data string,ts_year timestamp,date_month date,bno binary,point struct<x: double, y: double>,points array<struct<x: double, y: double>>,pointmaps map<struct<x: int>, struct<a: int>>)USING icebergCOMMENT 'table documentation'PARTITIONED BY (bucket(16,id), years(ts_year), months(date_month), identity(bno), bucket(3,num), truncate(10,data))LOCATION '/warehouse/db_001/dempts'TBLPROPERTIES ('write.format.default'='orc');
CREATE TABLE [ IF NOT EXISTS ] table_identifier( col_name[:] col_type [ COMMENT col_comment ], ... )[ COMMENT table_comment ][ PARTITIONED BY ( col_name1, transform(col_name2), ... ) ]
table_identifier
:支持三段式,catalog.db.name
Schemas and Data Typescol_type: primitive_type| nested_typeprimitive_type: boolean| int/integer| long/bigint| float| double| decimal(p,s),p=最大位数,s=最大小数点位数, s<=p<=38| date| timestamp,timestamp with timezone,不支持time和without timezone| string,也可对应Iceberg uuid类型| binary,也可对应Iceberg fixed类型nested_type: struct| list| map
transform: identity,支持任意类型, DLC不支持该转换| bucket[N],hash mod N分桶,支持col_type: int,long, decimal, date, timestamp, string, binary| truncate[L],L截取分桶,支持col_type: int,long,decimal,string| years,年份,支持col_type: date,timestamp| months,月份,支持col_type: date,timestamp| days/date,日期,支持col_type: date,timestamp| hours/date_hour,小时,支持col_type: timestamp
CREATE TABLE dempts(id bigint COMMENT 'id number',num int,eno float,dno double,cno decimal(9,3),flag boolean,data string,ts_year timestamp,date_month date,bno binary,point struct<x: double, y: double>,points array<struct<x: double, y: double>>,pointmaps map<struct<x: int>, struct<a: int>>)COMMENT 'table documentation'PARTITIONED BY (bucket(16,id), years(ts_year), months(date_month), identity(bno), bucket(3,num), truncate(10,data));
本页内容是否解决了您的问题?