java 提交spark程序

1、Spark脚本提交/运行/部署1.1spark-shell(交互窗口模式)运行Spark-shell需要指向申请资源的standalonespark集群信息,其参数为MASTER,还可以指定executor及driver的内存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell启动完后,可以在交互窗口中输入Scala命令,进行操作,其中spark-shell已经默认生成sc对象,可以用:valuser_rdd1=sc.textFile(inputpath,10)读取数据资源等。1.2spark-shell(脚本运行模式)上面方法需要在交互窗口中一条一条的输入scala程序;将scala程序保存在test.scala文件中,可以通过以下命令一次运行该文件中的程序代码:sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077
喜欢阅读
  • 极武校霸

    极武校霸

    没有老子搞不定的女人、没有老子打不服的敌人——陆凌天狡猾对手?一拳搞定。在绝对实力面前,一切阴谋都是纸老虎;绝顶高手?强势碾压。在九幽死神面前,你有称为高手的机会?他是烟海大学的学生、他是纵横地下世界的死神、他叫陆凌天。且看一代死神如何翻手为云、覆手为雨,让全世界在他掌心跳舞的?

  • 妖孽花间游

    妖孽花间游

    少年出自醒龙界,身后是无数美女佳人,身前是豺狼虎豹。身为护花高手,美女由我来守护!身为妖孽,拦路虎由我来斩杀!修练大道万万里,纵横都市只在此!

  • 蜜爱难逃:萌妻乖一点

    蜜爱难逃:萌妻乖一点

    她爱了他十年,可却在订婚前夕落荒而逃,本以为再也没有见面的机会,却不想一朝被擒,便一辈子被逃不出他的手掌心。洛南音哼着小曲儿:“天苍苍野茫茫,一支红杏她要出墙。”薄旌予似笑非笑将这小女人拥入怀中:“你这只红杏要出墙?呵,你出一寸,我墙就挪一丈!”

  • 绝品阔少

    绝品阔少

    未婚妻每月伸手索要生活费,拿着我的血汗钱钓金龟婿。

  • 亿万首席宠甜妻

    亿万首席宠甜妻

    五年前,她被设计和陌生男人发生关系,珠胎暗结。订婚宴上被未婚夫凌辱,家人厌弃,成为江城最声名狼藉的女人。而他是手握权柄,神秘矜贵的财团继承人,意外闯入她的生活。从此,继母被虐成渣,渣男跪求原谅,继妹连番求饶。他狠厉如斯,霸道宣告,“这是我楚亦钦的女人,谁敢动!”“五亿买你做楚少夫人!”她的生活发生了翻天覆地的变化。

  • 双面萌妻宠不休

    双面萌妻宠不休

    一场车祸,她成了个傻子。还被大伯废物利用,嫁给江城鼎鼎有名的黑少,开始了一段人人艳羡的婚姻生活……“别的小朋友都有玩沙子的小铲子,就晗晗没有。晗晗也想要小铲子……”“我给你买,闭嘴不准哭!”“他的铲沙工具有13种,晗晗要比他还多的铲子。”“好,买最多铲子最豪华的套餐……”……直到某日,黑凌修无意在监控中看到他家傻狍子翘着二郎腿,精明无比对着他外甥呼来喝去……

  • 爱你的甜蜜微笑

    爱你的甜蜜微笑

    她被撞得身子不住颤栗,他粗壮的身子像凶猛的野兽一样撕碎了她。

  • 无极仙途

    无极仙途

    夏辰是一个普通的少年,过着普通的生活,原本他会普普通通的走完人生。可是自从遇见了她,这一切都变了。神仙妖魔不再是传说,君临万界不再是幻想。

  • 猜你喜欢
    热门推荐
  • 皇马vs阿拉维斯
  • 假面noise90
  • n3.5
  • MS12-020
  • 微星gl726qf
  • 吸尘器尘杯
  • 眼袋大怎么按摩手法
  • ATFB-417 磁力下载
  • 李志勋简历
  • 100万农村别墅样板图
  • 扼要肯切
  • oppor11splus有面部吗
  • night off
  • springmvcmodel层
  • boot system
  • centos7 mariadb 密码
  • 亚硝酸盐中毒选用药物
  • 上海品牌安瓿灌封机
  • 泰国7-11美食
  • scitranslate8.0
  • All Right Reserved 强大网