Schema from SchemaRDD?

scala apache-spark rdd apache-spark-sql

188 просмотра

2 ответа

38394 Репутация автора

Given a SchemaRDD (loaded using SQLContext.parquetFile), how do I extract its metadata/schema/list of columns?

Автор: sds Источник Размещён: 08.01.2015 10:49

Ответы (2)


3 плюса

9310 Репутация автора

Решение

The field list is accessible through the SchemaRDD as [rdd].schema.fields.

lazy val schema: StructType
         Returns the schema of this SchemaRDD (represented by a StructType).
Автор: Mike Park Размещён: 08.01.2015 11:07

0 плюса

1428 Репутация автора

There is also a printSchema() method under SchemaRDD, see SchemaRDD.

Автор: Zouzias Размещён: 10.07.2015 12:19
Вопросы из категории :
32x32