python – csv文件上的PySpark distinct().count()

python – csv文件上的PySpark distinct().count()

我是新手,我正在尝试根据csv文件的某些字段创建一个distinct().count(). Csv结构(没有标题): id,country,type01,AU,s102,AU,s203,GR,s203,GR,s2 加载.csv我输入: lines = sc.textFile(test.txt) 然后对行返回3的不同计数如预期: lines.distinct().count()

联系我们

联系我们

0577-28828765

在线咨询: QQ交谈

邮箱: xwei067@foxmail.com

工作时间:周一至周五,9:00-17:30,节假日休息

返回顶部