Job 由多个任务组成的并行计算阶段，因RDD的Action产生。总结：在这里我们是从父RDD的partition被使用的个数来定义窄依赖和宽依赖，因此可以用一句话概括下：如果父RDD的一个Partition被子RDD的一个Partition所使用就是窄依赖，否则的话就是宽依赖。这样可以把最终实际要扫描读取的数据减少到部分Stripe的部分RowGroup，不用全扫整个文件。
也就是一份待处理的原始数据会被按照相应的逻辑切分成多分，每份数据对应RDD的一个Partition，partition的数量决定了task的数量，影响程序的并行度。总资源一定，defaultParallelism不变，因每次查询读取的文件数目不同，totalBytes不确定，bytesPerCore也不确定，无法控制，也视为不变。
1、orchestra是什么意思
背景：控制上游文件个数每天7000个，每个文件大小小于256M，50亿条+，orc格式。直观上，RDD可理解为下图所示结构，即RDD包含多个Partition（分区），每个Partition代表一部分数据并位于一个计算节点。这篇博客将详细讲解read_orc 方法，包括其作用、使用方法、参数详解、示例代码以及注意事项。
2、orc是什么意思
Parquet**：设计灵感源自Google的Dremel论文，其特点有明确的数据类型定义、列分隔的文件结构以及元数据和统计信息的独立存储，有助于提高读写性能和优化查询计划。转易侠扫描王是一款具备较高识别率的图像文字识别软件，将你的手机变身扫描仪，1秒提取图片文字，支持多种图片格式，PDF，扫描件等转换成文字，支持输出word，Excel，TXT，表格等。
3、orchid是什么意思
为了方便记忆，可以这么理解，action算子一般是在RDD上计算出来一个结果，把结果返回给driver program或保存在文件系统，返回结果非RDD类型，Transformation一般是传入函数对rdd进行操作，返回也是RDD。初衷是为女朋友做一个方便读书做笔记的轻量化ocr文字识别工具。
4、orcad
ORC文件的总体结构如下：orc文件结构对数据的查找和索引本质上是三层过滤：文件级、Stripe级、Row Group级。Transformation：转换算子，这类转换并不触发提交作业，完成作业中间过程处理。
5、orchestrate
在物理算子树中，叶子类型的SparkPlan 节点负责从无到有的创建RDD ，每个非叶子类型的SparkPlan 节点等价于在RDD 上进行一次Transformation ，即通过调用execute（）函数转换成新的RDD ，最终执行collect()操作触发计算，返回结果给用户。