RDD转换成DataFrames
2024-04-04 20:31:15
官方提供了2种方法
1.利用反射来推断包含特定类型对象的RDD的schema。这种方法会简化代码并且在你已经知道schema的时候非常适用。
先创建一个bean类
case class Person(name: String, age: Int)
然后将Rdd转换成DataFrame
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()
people.registerTempTable("people")
注意：toDF()方法在spark的RDD api上是没找到的，是否为函数式编程语言，可以直接调用别的类的方法？因为toDF()方法是在DataFrame中能找到。
2.使用编程接口，构造一个schema并将其应用在已知的RDD上。
先创建一个scheme
val schema = StructType( schemaString.split(" ").map(fieldName => StructField(fieldName, StringType, true)))
然后将scheme应用到Rdd上
val rowRDD = people.map(_.split(",")).map(p => Row(p(0), p(1).trim))
val peopleDataFrame = sqlContext.createDataFrame(rowRDD, schema)
官网将的很清晰，直接参考官网的方法。
最新文章
- Flex Layout Attribute
- Nginx简易配置文件(二)（反向代理）
- javascript字符串截取的substring、substr和slice
- Jquery焦点图实例
- PV UV IP含义及区别
- MATLAB图像处理函数汇总（二)
- CXF之七 传输文件
- Intervals（差分约束）
- 左右推拽显示对比图 - jQyery封装 - 附源文件
- 贝叶斯网络基础（Probabilistic Graphical Models）
- PHP开发APP接口
- Python实现删除目录下相同文件
- MIT6.828课程JOS在macOS下的环境配置
- Java的成员变量初始化
- hihoCoder #1038 : 01背包(板子题)
- [Mysql]——通过例子理解事务的4种隔离级别(转)
- An overview of network penetration testing
- Hibernate 的hql查询简介【申明：来源于网络】
- 实验十 ZStack 网状网络实验
- 微信 H5 支付流程以及一些坑