Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025Tags: hadoop
Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025Tags: mapreduce
Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024
Posted inhadoop hive 大数据 Hive SQL 这篇文章主要介绍了HIVE中的SQL使用方法,已经Hive提供了一些基础的函数方便查询,同时介绍了每个函数的意义以及使用方式,方便后期使用的时候查询 Posted by 专注着 23 12 月, 2024Tags: function, hive, sql
Posted inhadoop hive 大数据 Hive创建自定义函数 在Hive查询数据的时候,有些时候hive提供的函数并不能满足查询和统计的需求,就需要开发函数。在Hive中提供了三种方式实现自定义,分别是UDF、UDAF和UDTF三种方式,这三种方式基本上满足了对单行数据处理, 统计和其他的一些需求。 Posted by 专注着 18 12 月, 2024Tags: hive, udaf, udf
Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024Tags: django, orm, python
Posted inhadoop hive 大数据 Hive中hiveserver2和客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024Tags: hive, hiveserver2
Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 2024Tags: hive, metastore
Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024Tags: hive
Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024Tags: ha, mapreduce, yarn