一般Spark 代码开发提交方式的痛点: (1)IDEA IDE 本机运行 : setMaster(local[]) : 痛点: 这种方式本地JVM中模拟方式,本地负载高,可能无法全面调试 ( 2) spark-submit 命令方式: setMaster(“yarn”) 或 setMaster("local[] ") 打包代码jar->上传到Hadoop主机->调 用 spark-submit 痛点:繁琐,每次都要copy到hadoop主机,并调用spark-submit 有没有一步到位,直接在IDEA 中运行就可提交到Yarn上,结果输出到IDEA 中的方式呢?经过研究我成功了! (网上对这种方法的介绍,很难发现) 需要将spark和hadoop 中的jar,放到在本地IDEA开发环境可以访问 的hdfs文件系统中,包含的jar来自于以下位置(不一定全需要) %SPARK_HOME/jars %HADOOP_HOME/share/Hadoop 上传到HDFS 中 hdfs:///usr/sparkjars/ 需要代码中包含以下关键个参数...