Hadoop 常用命令汇总

news/2025/2/26 7:29:32

Hadoop 常用命令汇总

  • 查看帮助信息
  • 查看指定目录文件列表
  • 上传文件
  • 下载文件
  • 移动文件/重命名
  • 拷贝文件
  • 查找文件
  • 查看内容
  • 其他命令

HDFS 文件操作命令风格有两种,两种命令效果一样

hadoop fs 开头
hdfs dfs 开头

查看帮助信息

hadoop fs -help [cmd]

查看指定目录文件列表

-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]

-C # 只显示文件和目录的路径。
-d # 目录以普通文件的形式列出。
-h # 以人类可读的方式格式化文件的大小而不是字节数。
-q # 打印 ? 而不是不可打印的字符。
-R # 递归地列出目录的内容。
-t # 根据修改时间(最近的先修改)对文件进行排序。
-S # 按大小排序文件。
-r # 颠倒排序的顺序。
-u # 使用最后访问时间代替修改显示和排序。
-e # 显示文件和目录的擦除编码策略。

上传文件

将文件从本地文件系统复制到fs。如果文件已经存在会复制失败,除非指定了-f标志。

-put [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>   

-p # 保存时间戳、所有权和模式。
-f # 如果目标已经存在,则覆盖它。
-t # 使用的线程数,默认为1。
-l # 允许DataNode将文件延迟持久化到磁盘。强制复制因子为1。这个标志将导致耐久性下降。小心使用。
-d # 跳过临时文件的创建(.COPYING)

下载文件

将匹配文件模式的文件复制到本地。复制多个文件时,目标必须是一个目录。-f 如果目标已经存在则覆盖目标,-p 保留访问和修改时间、所有权和方式。

-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst> 

移动文件/重命名

-mv <src> ... <dst>  #移动多个文件时,目标必须是一个目录。

拷贝文件

将匹配文件模式的文件复制到目标。当复制多个文件,目标必须是一个目录。

-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst> #如果目标已存在,传递-f将覆盖

查找文件

查找与指定表达式和匹配的所有文件,将选定的操作应用于它们。如果不指定默认为当前工作目录。

-find <path> ... <expression> ...

查看内容

-cat [-ignoreCrc] <src> ...  # 获取所有匹配文件模式的文件,并显示其内容在stdout。

其他命令

从配置中获取配置值

hdfs getconf [cmd]

  -namenodes			# 获取群集中的namenode列表。
  -secondaryNameNodes	# 获取集群中secondaryNameNode的列表。
  -backupNodes			# 获取群集中的备份节点列表。
  -journalNodes			# 获取群集中的日志节点列表。
  -includeFile			# 获取定义可加入群集的datanode的包含文件路径。
  -excludeFile			# 获取定义需要退役的datanode的排除文件路径。
  -nnRpcAddresses		# 获取namenode RPC地址
  -confKey [key]		# 从配置中获取特定的key

over~

http://www.niftyadmin.cn/n/5868303.html

相关文章

深入探讨分布式事务解决方案:从二阶段提交到现代模式

在当今的软件开发领域&#xff0c;随着微服务架构和分布式系统的普及&#xff0c;如何保证跨多个服务或数据库的操作的一致性和可靠性成为了开发者面临的重要挑战之一。分布式事务的概念应运而生&#xff0c;旨在解决这些系统中数据一致性的问题。然而&#xff0c;实现分布式事…

使用Docker 部署 LNMP+Redis 环境

使用Docker 部署 LNMPRedis 环境 Docker 简介 Docker 是一个开源的应用容器引擎&#xff0c;让开发者可以打包他们的应用以及依赖包到一个可移植的容器中&#xff0c;然后发布到任何流行的 Linux 机器上&#xff0c;也可以实现虚拟化。容器是完全使用沙箱机制&#xff0c;相互…

bug exposed beyond app through Intent.getData()

转载大神&#xff0c;用于自己学习 今天在做项目功能的时候遇到一个bug exposed beyond app through Intent.getData() 在项目中点击文件路径跳转过去&#xff0c;编译器报错android os FileUriExposedException 导致错误的原因是没有使用FileProvider 在应用间共享文件 对于面…

KafkaTool

Offset Explorer 第一次打开需要配置kafka相关配置连接 随便先启动一个Kafka(先启动zookeeper) 设置key value 记得刷新

基于C++“简单且有效”的“数据库连接池”

前言 数据库连接池在开发中应该是很常用的一个组件&#xff0c;他可以很好的节省连接数据库的时间开销&#xff1b;本文基使用C实现了一个简单的数据库连接池&#xff0c;代码量只有400行只有&#xff0c;但是压力测试效果很好&#xff1b;欢迎收藏 关注&#xff0c;本人将会…

基于 Python 的天气数据分析与可视化

基于 Python 的天气数据分析与可视化 1. 项目背景 天气数据分析与可视化项目旨在通过爬取天气数据并进行分析&#xff0c;生成可视化图表&#xff0c;帮助用户了解天气变化趋势。通过该项目&#xff0c;学生可以掌握 Python 的数据爬取、数据分析和可视化技能。该项目适用于气…

Axios的QA

Axios的Q&A 以下是 Axios 的必考经典面试题及对应答案&#xff0c;综合了高频考点和实际应用场景&#xff1a; 1. Axios 的核心特点是什么&#xff1f; 基于 Promise 的 HTTP 库&#xff1a;支持所有 Promise API&#xff0c;简化异步请求处理。拦截请求和响应&#xff1…

【MySQL】服务正在启动或停止中,请稍候片刻后再试一次【解决方案】

问题呈现 在使用MySQL的过程中我们可能会遇到以上的情况 解决方法 首先以管理员身份打开命令行窗口&#xff0c;注意是管理员身份&#xff0c;不然无权限访问。输入命令tasklist| findstr "mysql"&#xff0c;用于查找mysql的残留进程。这个时候我们就会看到一个…