quick-spark-process
学习spark的相关示例
word-count
最简单也是最经典的例子 后面搭了spark集群 并使用了hdfs来存储文件，有几点需要注意
文件的调用方式
context.textFile("D:\\data\\spark\\blsmy.txt"); -- 用于idea测试
context.textFile("file:///mnt/data/blsmy.txt"); -- 用于集群运行(前提，运行的各节点都需要有此文件)
context.textFile("hdfs://spark-master:9000/wordcount/blsmy.txt"); -- 使用hdfs调用文件日志输出的位置
在页面中，输出的日志有sterr和stdout两种，在stdout可以查看程序中输出的内容。如果你在程序中使用了println(....)输出语句，这些信息会在stdout文件里面显示；其余的Spark运行日志会在stderr文件里面显示。 也可以直接进行日志文件进行查看，如：
/spark/software/spark/work/app-20180428142302-0003/0/stdout
/spark/software/spark/work/app-20180428142302-0003/0/stderr启动的方式
bin/spark-submit \
--master spark://spark-master:7077 \
--driver-memory 1g \
--executor-cores 1 \
--class com.spark.WordCount \
simple/word-count-1.0-SNAPSHOT.jarspark-pi
也是一个比较经典的栗子
spark-sql
使用sparksql做的简单操作