1. 首页首页
  2. 编程日记编程日记

2026年yarn 进程（yarn运行流程）

编程日记 • • 阅读 0

yarn 进程（yarn运行流程）初识 Yarn 概念 Yarn 就是为计算模型做资源调度 HDFS 和 Yarn 在逻辑上是可以分离的 配置 yarn vim yarn site xml 写在末尾 我们需要配置一下 mapreduce 的运行环境 如果不配那就是本地单机上跑 配了就是在 yarn 上运行 我们写一个例子 计算出每个单词出现的个数 这个是 hadoop 自带的一个例子程序 原文件的传输 拆分 映射 派发 缩减 input split map shuffle reduce output 1 首先新建一个文件夹 wcinput



初识Yarn

概念：Yarn就是为计算模型做资源调度，HDFS和Yarn在逻辑上是可以分离的

配置yarn

vim yarn-site.xml写在末尾


  • 我们需要配置一下mapreduce的运行环境,如果不配那就是本地单机上跑，配了就是在yarn上运行


    我们写一个例子，计算出每个单词出现的个数

    • 这个是hadoop自带的一个例子程序

    原文件的传输

    拆分

    映射

    派发

    缩减

    input

    split

    map

    shuffle

    reduce

    output


    1.首先新建一个文件夹（wcinput），其中写入（自定义）


    2.找到示例文件


    • 解释：hadoop jar命令后面跟jar的全路径/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar，示例文件中有很多的小程序，我们需要用到的就是wordcount这个程序，需要为他指明那些文件做输入以计算文件内的单词个数/wcinput/input.txt，指明输入的地方/wcoutput

    3.用网页进行查询(Ip加50070)：


    4.找到你的机器名点入


    5.查询的结果：


    好了，看完大概知道自己哪里不足，未来我们在2019要学习补充什么知识了吧！做程序员真的不容易！

    【1】想领取java、java高级、java系统架构师知识可以关注我下方评论转发后，跟帖“资料”。

    【2】部分资料有时间限制，抓紧时间吧~、

    感谢大家支持！

    今天的文章 2026年yarn 进程（yarn运行流程）分享到此就结束了，感谢您的阅读。
    编程小号
    上一篇 2025-04-12 19:30
    下一篇 2026-03-06 14:11

    相关推荐

    版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
    如需转载请保留出处：https://bianchenghao.cn/bian-cheng-ri-ji/50729.html