当前位置:首页 - Spark

pyspark dataframe 列值转小写

作者:高景洋 日期:2021-07-22 15:02:30 浏览次数:1143

要通过 pyspark 将dataframe中的某一列值转换为小写,需要如何操作?


ps: 要通过pyspark 对dataframe 中的值做类型转换 或 值处理,不要去想python的处理方法,spark中有自己数据类型,也有自己的值处理方法。


直接看如下代码:

import pyspark.sql.functions as F

list_hbase_product_dataframe = fdc.select('Url','WebsiteID').where('WebsiteID in ({})'.format(','.join(list_schedule_website_default_id_str))).withColumn('Url',F.lower(F.col("Url")))


划重点:F.lower(F.col("Url"))
本文永久性链接:
<a href="http://r4.com.cn/art195.aspx">pyspark dataframe 列值转小写</a>
apple手机报价