Как изменить имена столбцов данных в pyspark?
215096 просмотра
12 ответа
Я пришел из панды и привык к чтению данных из CSV-файлов в информационный фрейм, а затем просто изменяя имена столбцов на что-то полезное, используя простую команду:
df.columns = new_column_name_list
Однако то же самое не работает в фреймах данных pyspark, созданных с использованием sqlContext. Единственное решение, которое я мог найти, чтобы сделать это легко, заключается в следующем:
df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', inferschema='true', delimiter='\t').load("data.txt")
oldSchema = df.schema
for i,k in enumerate(oldSchema.fields):
k.name = new_column_name_list[i]
df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', delimiter='\t').load("data.txt", schema=oldSchema)
Это в основном определяет переменную дважды и сначала выводит схему, затем переименовывает имена столбцов, а затем снова загружает фрейм данных с обновленной схемой.
Есть ли лучший и более эффективный способ сделать это, как мы делаем в пандах?
Моя искровая версия 1.5.0
Автор: Shubhanshu Mishra Источник Размещён: 13.11.2019 11:35Ответы (12)
274 плюса
Есть много способов сделать это:
Вариант 1. Использование selectExpr .
data = sqlContext.createDataFrame([("Alberto", 2), ("Dakota", 2)], ["Name", "askdaosdka"]) data.show() data.printSchema() # Output #+-------+----------+ #| Name|askdaosdka| #+-------+----------+ #|Alberto| 2| #| Dakota| 2| #+-------+----------+ #root # |-- Name: string (nullable = true) # |-- askdaosdka: long (nullable = true) df = data.selectExpr("Name as name", "askdaosdka as age") df.show() df.printSchema() # Output #+-------+---+ #| name|age| #+-------+---+ #|Alberto| 2| #| Dakota| 2| #+-------+---+ #root # |-- name: string (nullable = true) # |-- age: long (nullable = true)
Вариант 2. Используя withColumnRenamed , обратите внимание, что этот метод позволяет вам «перезаписать» один и тот же столбец.
oldColumns = data.schema.names newColumns = ["name", "age"] df = reduce(lambda data, idx: data.withColumnRenamed(oldColumns[idx], newColumns[idx]), xrange(len(oldColumns)), data) df.printSchema() df.show()
Вариант 3. используя псевдоним , в Scala вы также можете использовать как .
from pyspark.sql.functions import col data = data.select(col("Name").alias("name"), col("askdaosdka").alias("age")) data.show() # Output #+-------+---+ #| name|age| #+-------+---+ #|Alberto| 2| #| Dakota| 2| #+-------+---+
Вариант 4. Использование sqlContext.sql , который позволяет использовать SQL-запросы для
DataFrames
зарегистрированных в качестве таблиц.sqlContext.registerDataFrameAsTable(data, "myTable") df2 = sqlContext.sql("SELECT Name AS name, askdaosdka as age from myTable") df2.show() # Output #+-------+---+ #| name|age| #+-------+---+ #|Alberto| 2| #| Dakota| 2| #+-------+---+
129 плюса
df = df.withColumnRenamed("colName", "newColName")
.withColumnRenamed("colName2", "newColName2")
Преимущество использования этого способа: с длинным списком столбцов вы хотели бы изменить только несколько имен столбцов. Это может быть очень удобно в этих сценариях. Очень полезно при объединении таблиц с повторяющимися именами столбцов.
Автор: Pankaj Kumar Размещён: 30.03.2016 07:2536 плюса
Если вы хотите изменить имена всех столбцов, попробуйте df.toDF(*cols)
31 плюса
В случае, если вы хотите применить простое преобразование ко всем именам столбцов, этот код делает свое дело: (я заменяю все пробелы подчеркиванием)
new_column_name_list= list(map(lambda x: x.replace(" ", "_"), df.columns))
df = df.toDF(*new_column_name_list)
Спасибо @ user8117731 за toDf
трюк.
9 плюса
Если вы хотите переименовать один столбец и оставить все как есть:
from pyspark.sql.functions import col
new_df = old_df.select(*[col(s).alias(new_name) if s == column_to_change else s for s in old_df.columns])
Автор: Ratul Ghosh
Размещён: 15.01.2017 03:22
9 плюса
5 плюса
это подход, который я использовал:
создать сеанс pyspark:
import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('changeColNames').getOrCreate()
создать фрейм данных:
df = spark.createDataFrame(data = [('Bob', 5.62,'juice'), ('Sue',0.85,'milk')], schema = ["Name", "Amount","Item"])
просмотреть df с именами столбцов:
df.show()
+----+------+-----+
|Name|Amount| Item|
+----+------+-----+
| Bob| 5.62|juice|
| Sue| 0.85| milk|
+----+------+-----+
создать список с новыми именами столбцов:
newcolnames = ['NameNew','AmountNew','ItemNew']
измените имена столбцов df:
for c,n in zip(df.columns,newcolnames):
df=df.withColumnRenamed(c,n)
просмотреть df с новыми именами столбцов:
df.show()
+-------+---------+-------+
|NameNew|AmountNew|ItemNew|
+-------+---------+-------+
| Bob| 5.62| juice|
| Sue| 0.85| milk|
+-------+---------+-------+
Автор: Grant Shannon
Размещён: 07.12.2018 03:00
5 плюса
Я сделал простую в использовании функцию для переименования нескольких столбцов для фрейма данных pyspark, на случай, если кто-то захочет использовать его:
def renameCols(df, old_columns, new_columns):
for old_col,new_col in zip(old_columns,new_columns):
df = df.withColumnRenamed(old_col,new_col)
return df
old_columns = ['old_name1','old_name2']
new_columns = ['new_name1', 'new_name2']
df_renamed = renameCols(df, old_columns, new_columns)
Автор: Manrique Размещён: 22.03.2019 11:57Будьте осторожны, оба списка должны быть одинаковой длины.
4 плюса
Другой способ переименовать только один столбец (используя import pyspark.sql.functions as F
):
df = df.select( '*', F.col('count').alias('new_count') ).drop('count')
Автор: scottlittle
Размещён: 20.06.2018 02:24
2 плюса
Я использую это:
from pyspark.sql.functions import col
df.select(['vin',col('timeStamp').alias('Date')]).show()
Автор: mike
Размещён: 31.01.2018 02:33
0 плюса
Для переименования одного столбца вы все равно можете использовать toDF (). Например,
df1.selectExpr("SALARY*2").toDF("REVISED_SALARY").show()
Автор: user24225
Размещён: 27.06.2017 02:42
0 плюса
Вы можете использовать следующую функцию, чтобы переименовать все столбцы вашего фрейма данных.
def df_col_rename(X, to_rename, replace_with):
"""
:param X: spark dataframe
:param to_rename: list of original names
:param replace_with: list of new names
:return: dataframe with updated names
"""
import pyspark.sql.functions as F
mapping = dict(zip(to_rename, replace_with))
X = X.select([F.col(c).alias(mapping.get(c, c)) for c in to_rename])
return X
Если вам нужно обновить только имена нескольких столбцов, вы можете использовать то же имя столбца в списке replace_with
Переименовать все столбцы
df_col_rename(X,['a', 'b', 'c'], ['x', 'y', 'z'])
Переименовать несколько столбцов
df_col_rename(X,['a', 'b', 'c'], ['a', 'y', 'z'])
Автор: Clock Slave
Размещён: 11.10.2019 10:19
Вопросы из категории :
- python Обработка XML в Python
- python Как я могу использовать Python itertools.groupby ()?
- python Python: На какой ОС я работаю?
- python Как я могу создать непосредственно исполняемое кроссплатформенное приложение с графическим интерфейсом на Python?
- python Вызов функции модуля с использованием его имени (строки)
- apache-spark Как сделать акулу / искру очистить кеш?
- apache-spark (PySpark) Вложенные списки после reduByKey
- apache-spark Spark java.lang.OutOfMemoryError: пространство кучи Java
- apache-spark Apache Spark: map vs mapPartitions?
- apache-spark Spark: лучшая практика для извлечения больших данных из RDD на локальный компьютер
- pyspark импорт pyspark в оболочку python
- pyspark Как отключить ведение журнала INFO в Spark?
- pyspark Преобразование простой строки строки в RDD в Spark
- pyspark Как создать Spark 1.2 с Maven (дает java.io.IOException: не удается запустить программу «javac»)?
- pyspark Загрузить файл CSV с помощью Spark
- pyspark-sql Как изменить имена столбцов данных в pyspark?
- pyspark-sql Как установить количество разделов / узлов при импорте данных в Spark
- pyspark-sql Усреднение по оконной функции приводит к StackOverflowError
- pyspark-sql UDF Pyspark DataFrame в текстовом столбце
- pyspark-sql PySpark - читать рекурсивную таблицу Hive