Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024Tags: ha, mapreduce, yarn
Posted inhadoop yarn 大数据 yarn架构:资源管理和任务调度 该篇文章介绍了yarn的架构以及资源管理,节点管理,任务调度相关的基础概念,并通过流程图的方式介绍了yarn任务的调度流程已经关键的配置信息,帮助更好的了解yarn的工作原理和实现价值,能够帮助我们更好使用yarn对hadoop mr任务的管理和实现。 Posted by 专注着 6 12 月, 2024Tags: nodemanager, resourcenamager, yarn
Posted inhadoop 大数据 Hadoop HA集群搭建 本文主要记录了hadoop的高可用安装教程,主要是针对NameNode的高可用,其中主要使用了Zookeeper,JournalNode等配置,可以理解为是在之前DataNode主从复制上的一个扩展安装,保证了整个集群的高可用 Posted by 专注着 28 11 月, 2024Tags: ha, hadoop
Posted inhadoop 大数据 hadoop安装 hadoop支持伪分布式部署和集群的部署方法,这篇文章主要记录了dfs的集群配置方法,记录在配置过程中遇到的问题并解决问题,其中包含了dns解析问题,端口问题,防火墙问题等。希望可以帮助到又需要的同学。 Posted by 专注着 27 11 月, 2024Tags: cluster, hadoop
Posted inzookeeper 使用ZooKeeper管理rmi远程请求端地址 这里主要通过实例方式,通过使用zookeeper对provider地址信息进行管理,然后利用wacher机制实时的更新provider地址列表,仅供学习。 Posted by 专注着 21 11 月, 2024Tags: rmi, zookeeper
Posted inzookeeper Zookeeper相关概念 关于zookeeper一些基本概念学习,包括事件,广播,会话等 Posted by 专注着 20 11 月, 2024Tags: zookeeper, 事件, 会话
Posted inLinux shell 基础概念 shell 是一个用C语言编写的程序, 它是用户使用linux的桥梁. Shell既是一种命令语言, 又是一种程序设计语言 shell 是指一种应用程序, 这个应用程序提供了一个界面, 用户通过这个界面访问操作系统内核的服务。 Posted by 专注着 18 11 月, 2024Tags: linux, shell
Posted inPython 使用selenium实现12306的自动登录 12306有自己的验证规则,比方说一天发送短信有次数的限制,因此不能无限制的尝试。但是在这个过程中,需要输入验证码,因此这里是不能完全实现自动化的。可以研究一下,只登录一次,然后将cookie等信息保存,以在下次使用,以此实现以此登录,做后续的操作。 Posted by 专注着 5 11 月, 2024Tags: python, selenium