apache-spark - 如何退出火花程序

Question

例如，如果我的加入条件失败，我如何从 Spark 程序中退出（通过强制显示错误消息）？

例子-

员工数据 - emp_id、dep_no

1,1001 2,2001

部门数据 - dep_no,dept_name, location

1001,xyz,纽约 3001,pqr,PA

现在，如果我想丰富员工数据，我需要与部门数据进行联接。我想要的只是每当我在部门数据中找不到部门（我的加入将失败），我想用 Spark（Scala）中的自定义错误消息停止进程（错误输出）。

谢谢， 席德

标签： apache-sparkapache-spark-sql

Answer 1

根据您的用例，您可能希望使用以下 SparkContext 的方法之一：

def cancelJob(jobId: Int, reason: String): Unit 
def cancelJobGroup(groupId: String)
def cancelAllJobs()

几个有用的调用：

def applicationId: String // to get current jobId
def setJobGroup(groupId: String, description: String, interruptOnCancel: Boolean = false) // to set groupId for all Spark jobs to be created by the current thread