简介这是一份面向大数据初学者与Hadoop实践者的完整项目资料围绕全国各省市酒店数据的分析与处理展开帮助读者掌握分布式存储与MapReduce编程的核心流程。资源包共79个文件约758KB以Java源码与编译后的class文件为主辅以XML配置、properties参数文件、csv数据文件及part-r-00000结果输出文件覆盖从代码编写到作业运行的完整链路。项目以hotel.csv为数据源通过HDFS分布式存储与Java编写的MapReduce程序完成酒店总数统计、省市分布、平均房价等分析任务并配有说明文档梳理数据清洗与任务实现细节。目前已有2096人学习下载适合希望以真实案例入门Hadoop生态、理解Map与Reduce阶段协作机制、积累大数据处理经验的读者参考实践。1. 从一份 hotel.csv 说起这套 Hadoop 酒店分析项目到底能跑出什么手里拿到一份全国各省市的酒店明细 CSV字段包括酒店 ID、名称、地址、城市、省份、星级、价格几十万行起步用 Excel 打开就卡死用 Python 单机跑 group by 也得等半天——这是很多做数据分析的人都会遇到的场景。这个项目就是冲着这类问题来的用 Hadoop 的 HDFS 做分布式存储用 Java 写 MapReduce 程序把「各省市酒店数量」「平均房价」「星级分布」这些统计指标并行算出来。它适合正在做 hadoop 课程设计的学生、想补一段完整 MapReduce 实战经历的求职者以及需要一套能直接编译运行的 Hadoop 工程骨架的开发者。项目里带了 hotel.csv 数据源、说明文档、Maven 工程结构和 Hadoop 配置脚本不是那种只给几段伪代码的演示而是一个能真正提交到集群上跑完的完整工程。2. 工程结构与数据流先搞清楚每个目录在干什么2.1 Maven 标准目录与 Hadoop 依赖的对应关系拿到项目压缩包解压后第一件事不是急着编译而是把目录结构看一遍。这个工程用的是 Maven 的标准布局src/main/java放 MapReduce 的 Mapper、Reducer 和 Driver 类src/test/java放单元测试target/classes是编译输出pom.xml管依赖。.idea目录说明作者是在 IntelliJ IDEA 里开发的里面runConfigurations.xml存了本地运行配置compiler.xml和misc.xml是编译和项目元信息。hadoop-hotel目录大概率是放提交脚本和集群配置文件的说明.txt则是作者留下的操作笔记。关键在pom.xml。Hadoop 项目的依赖版本必须和集群版本对齐否则会出现本地能跑、提交到集群就报ClassNotFoundException的经典翻车。常见做法是锁定三个坐标hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-core版本号统一。下面是我一般会检查的依赖片段properties hadoop.version3.3.4/hadoop.version /properties dependencies !-- Hadoop 公共库提供 Configuration、Path 等基础类 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-common/artifactId version${hadoop.version}/version /dependency !-- HDFS 客户端读写分布式文件系统用 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-hdfs/artifactId version${hadoop.version}/version /dependency !-- MapReduce 核心Mapper/Reducer 基类都在这里 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-mapreduce-client-core/artifactId version${hadoop.version}/version /dependency /dependencies参数说明hadoop.version必须换成你实际集群的版本用hadoop version命令确认。如果集群是 2.x依赖也要降到 2.7.x 或 2.10.x混用 3.x 的客户端 jar 去连 2.x 的 NameNode 会报协议不兼容。打包时用maven-shade-plugin或maven-assembly-plugin打成 fat jar把依赖一起塞进去否则提交作业时集群上找不到你的类。2.2 hotel.csv 的字段假设与 MapReduce 数据流项目正文没有给出 CSV 的完整表头但从描述可以推断字段顺序大致是酒店 ID、名称、地址、城市、省份、星级、价格。MapReduce 处理 CSV 时最常见的做法是在 Mapper 的map方法里按逗号切分取省份作为 key价格作为 value输出省份, 价格的键值对。Reduce 阶段对同一个省份的所有价格做累加和计数算出平均值。这里有个容易被忽略的点CSV 里如果地址字段本身含逗号比如「XX路1号,2单元」简单split(,)就会把字段切错位。稳妥的做法是用split(,, -1)保留空字段或者引入 OpenCSV 这类库做正经解析。我一般会在 Mapper 里先判断fields.length是否等于预期列数不等于就跳过并计数器加一这样脏数据不会污染结果。数据流整体是hotel.csv通过hdfs dfs -put上传到 HDFS → InputFormat 按行切分 → Mapper 输出省份, 价格→ Shuffle 按省份分组 → Reducer 聚合 → 输出到 HDFS 结果目录。理解这条链路后面调参和排错才有方向。3. 从本地编译到集群提交一套能复现的操作流程3.1 本地环境准备与编译打包在动手之前先把本地环境对齐。JDK 用 1.8Hadoop 3.x 对 JDK 11 支持有限1.8 最稳Maven 3.6 以上IDEA 装好 Big Data Tools 插件方便看 HDFS。如果你还没搭 Hadoop伪分布式搭建是成本最低的验证方式单节点就能跑通整个流程。编译打包的命令很直接# 清理旧的编译产物避免残留 class 干扰 mvn clean # 跳过测试打包生成包含所有依赖的 fat jar mvn package -DskipTests # 查看 target 目录下生成的 jar 包 ls -lh target/*.jar逻辑说明clean清掉target目录防止上次编译的旧 class 混进来导致行为诡异。-DskipTests跳过单元测试因为测试里如果连了 HDFS 而本地没起集群会直接失败。打包成功后你会得到一个几十 MB 的 jar里面包含了 Hadoop 依赖。参数上如果pom.xml里配的是maven-jar-plugin而不是 shade打出来的 jar 不含依赖提交时会报NoClassDefFoundError这时候要么换插件要么用-libjars参数把依赖 jar 一起传上去。3.2 HDFS 上传与 MapReduce 作业提交数据上传和作业提交是两条命令的事但参数写错就是白跑。先建目录、传数据# 在 HDFS 上创建输入目录 hdfs dfs -mkdir -p /user/hotel/input # 把本地 hotel.csv 上传到 HDFS 输入目录 hdfs dfs -put hotel.csv /user/hotel/input/ # 确认文件已上传检查大小和副本数 hdfs dfs -ls -h /user/hotel/input/然后提交作业# 提交 MapReduce 作业指定主类和输入输出路径 hadoop jar target/hadoop-hotel-1.0.jar com.hotel.HotelDriver \ /user/hotel/input \ /user/hotel/output参数说明第一个路径是 HDFS 输入目录第二个是输出目录。输出目录必须不存在否则 Hadoop 会直接抛FileAlreadyExistsException这是新手最常踩的坑之一。com.hotel.HotelDriver换成你实际的 Driver 全限定类名在src/main/java下能找到。作业跑完后用hdfs dfs -cat /user/hotel/output/part-r-00000看结果每一行是「省份 统计值」的格式。如果要在本地 IDE 里直接跑不提交集群需要在 Driver 里把mapreduce.framework.name设成local并且输入输出路径改成本地文件系统路径。IDEA 的runConfigurations.xml里应该已经配好了直接运行 Driver 的 main 方法即可。这种方式适合调试逻辑但数据量大时本地内存扛不住。4. 避坑与排查那些让作业跑不起来的细节4.1 提交后报 ClassNotFoundException 或 NoClassDefFoundError现象hadoop jar提交后立刻失败日志里一堆ClassNotFoundException: com.hotel.HotelMapper或NoClassDefFoundError: org/apache/hadoop/conf/Configuration。原因要么 jar 包里没打进去你的 Mapper/Reducer 类编译没成功或包名写错要么没打进去 Hadoop 依赖用了普通 jar 插件而非 shade。解决先jar tf target/xxx.jar | grep HotelMapper确认类在不在包里。不在就检查pom.xml的打包插件配置换成maven-shade-plugin重新打包。依赖缺失的话确认 shade 插件里没有把 Hadoop 相关依赖 exclude 掉。4.2 输出目录已存在导致作业直接退出现象作业还没开始跑就报org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /user/hotel/output already exists。原因Hadoop 的设计是输出目录必须不存在防止覆盖已有结果。解决每次跑之前删掉旧输出目录hdfs dfs -rm -r /user/hotel/output。或者养成习惯输出目录带上时间戳比如/user/hotel/output_20250101这样历史结果也能保留对比。4.3 中文省份字段乱码或分组结果错乱现象Reduce 输出的省份名是乱码或者同一个省被拆成了好几组。原因CSV 文件编码是 GBK 而 Hadoop 默认按 UTF-8 读或者省份字段里有前后空格导致equals判断不一致。解决上传前用iconv -f GBK -t UTF-8 hotel.csv hotel_utf8.csv转码。Mapper 里对 key 做trim()处理去掉首尾空格。如果还有不可见字符用replaceAll(\\s, )清一遍。4.4 数据倾斜导致某个 Reduce 卡在 99%现象作业进度条长时间停在 99%日志显示某个 Reduce 任务处理的数据量远超其他任务。原因某些省份比如旅游大省的酒店数量远超其他省份所有该省份的记录都分到同一个 Reducer单点压力过大。解决在 Mapper 输出的 key 后面加随机后缀如省份_1、省份_2让数据分散到多个 Reducer然后在 Driver 里设置job.setNumReduceTasks(N)最后再跑一个 MapReduce 做二次聚合。这是 MapReduce 处理倾斜的经典两阶段方案。4.5 本地能跑、集群报内存溢出现象本地 IDE 跑小数据集没问题提交到集群处理全量数据时 Container 被 kill日志报Container killed on request. Exit code is 137。原因Mapper 或 Reducer 里把整个分组的数据加载到内存比如用 List 缓存所有价格再算平均数据量大时 JVM 堆溢出。解决改成流式计算Reduce 里用累加器和计数器边读边算不要缓存全量数据。如果确实需要更多内存在 Driver 里通过job.getConfiguration().set(mapreduce.map.memory.mb, 2048)调大容器内存同时确认 YARN 的yarn.nodemanager.resource.memory-mb够用。5. 进阶技巧用 Combiner 和计数器把作业调优到能打5.1 加 Combiner 减少 Shuffle 数据量MapReduce 的性能瓶颈八成在 Shuffle 阶段。如果你的 Reduce 逻辑满足结合律和交换律求和、计数都满足就可以加一个 Combiner在 Map 端先做一次局部聚合大幅减少网络传输。代码上 Combiner 通常直接复用 Reducer 类// Driver 里设置 Combiner直接复用 Reducer 类 job.setCombinerClass(HotelReducer.class);逻辑说明Combiner 在 Map 输出后、进入 Shuffle 前执行把同一个 Map 任务里相同 key 的 value 先合并一次。比如一个 Map 处理了 1000 条广东的记录Combiner 先把它们加成一个广东, 总价计数传到 Reduce 端的数据量就从 1000 条变成 1 条。参数上不需要额外配置但要注意如果 Reducer 的逻辑不是幂等的比如算中位数就不能直接复用得单独写一个 Combiner。5.2 用计数器做数据质量监控MapReduce 自带的 Counter 是个被低估的工具。在 Mapper 里遇到脏数据时不要默默跳过打个计数器// 在 Mapper 类里定义计数器 enum HotelCounter { MALFORMED_LINE, // 字段数不对的行 EMPTY_PRICE // 价格为空的行 } // map 方法里遇到异常数据时 if (fields.length ! 7) { context.getCounter(HotelCounter.MALFORMED_LINE).increment(1); return; }作业跑完后在控制台输出或 Job 历史里能看到每个计数器的值。如果MALFORMED_LINE数量很大说明 CSV 本身有问题得回去检查数据源而不是怀疑代码。这个习惯我是在一次数据清洗任务里被坑出来的——当时结果对不上排查了半天才发现有 30% 的行因为地址含逗号被切错了位而代码里没有任何提示。5.3 结果验证用本地 Python 对拍MapReduce 跑出来的结果别直接信用单机工具对拍一遍最踏实。取一小部分数据比如前 10000 行用 pandas 算同样的指标和 HDFS 输出对比import pandas as pd # 读取 CSV指定编码和列名 df pd.read_csv(hotel.csv, encodingutf-8, names[id, name, addr, city, province, star, price]) # 按省份分组算平均价格和数量 result df.groupby(province)[price].agg([mean, count]) print(result.sort_values(count, ascendingFalse).head(10))逻辑说明names参数手动指定列名避免 CSV 表头缺失导致第一行数据被当表头。agg([mean, count])一次算出均值和计数和 MapReduce 的输出格式对齐。对比时重点看数量级和排序如果某个省份的均值差异超过 5%大概率是 MapReduce 里漏了脏数据处理或者编码问题。从那以后我每次跑完 MapReduce 都强制走一遍「小数据对拍 计数器检查」的流程宁可多花十分钟也不想在汇报时被问「这个数怎么来的」答不上来。希望帮到你。本文还有配套的精品资源点击获取 Hadoop酒店数据分析实战：MapReduce统计各省市酒店数量与平均房价
简介这是一份面向大数据初学者与Hadoop实践者的完整项目资料围绕全国各省市酒店数据的分析与处理展开帮助读者掌握分布式存储与MapReduce编程的核心流程。资源包共79个文件约758KB以Java源码与编译后的class文件为主辅以XML配置、properties参数文件、csv数据文件及part-r-00000结果输出文件覆盖从代码编写到作业运行的完整链路。项目以hotel.csv为数据源通过HDFS分布式存储与Java编写的MapReduce程序完成酒店总数统计、省市分布、平均房价等分析任务并配有说明文档梳理数据清洗与任务实现细节。目前已有2096人学习下载适合希望以真实案例入门Hadoop生态、理解Map与Reduce阶段协作机制、积累大数据处理经验的读者参考实践。1. 从一份 hotel.csv 说起这套 Hadoop 酒店分析项目到底能跑出什么手里拿到一份全国各省市的酒店明细 CSV字段包括酒店 ID、名称、地址、城市、省份、星级、价格几十万行起步用 Excel 打开就卡死用 Python 单机跑 group by 也得等半天——这是很多做数据分析的人都会遇到的场景。这个项目就是冲着这类问题来的用 Hadoop 的 HDFS 做分布式存储用 Java 写 MapReduce 程序把「各省市酒店数量」「平均房价」「星级分布」这些统计指标并行算出来。它适合正在做 hadoop 课程设计的学生、想补一段完整 MapReduce 实战经历的求职者以及需要一套能直接编译运行的 Hadoop 工程骨架的开发者。项目里带了 hotel.csv 数据源、说明文档、Maven 工程结构和 Hadoop 配置脚本不是那种只给几段伪代码的演示而是一个能真正提交到集群上跑完的完整工程。2. 工程结构与数据流先搞清楚每个目录在干什么2.1 Maven 标准目录与 Hadoop 依赖的对应关系拿到项目压缩包解压后第一件事不是急着编译而是把目录结构看一遍。这个工程用的是 Maven 的标准布局src/main/java放 MapReduce 的 Mapper、Reducer 和 Driver 类src/test/java放单元测试target/classes是编译输出pom.xml管依赖。.idea目录说明作者是在 IntelliJ IDEA 里开发的里面runConfigurations.xml存了本地运行配置compiler.xml和misc.xml是编译和项目元信息。hadoop-hotel目录大概率是放提交脚本和集群配置文件的说明.txt则是作者留下的操作笔记。关键在pom.xml。Hadoop 项目的依赖版本必须和集群版本对齐否则会出现本地能跑、提交到集群就报ClassNotFoundException的经典翻车。常见做法是锁定三个坐标hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-core版本号统一。下面是我一般会检查的依赖片段properties hadoop.version3.3.4/hadoop.version /properties dependencies !-- Hadoop 公共库提供 Configuration、Path 等基础类 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-common/artifactId version${hadoop.version}/version /dependency !-- HDFS 客户端读写分布式文件系统用 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-hdfs/artifactId version${hadoop.version}/version /dependency !-- MapReduce 核心Mapper/Reducer 基类都在这里 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-mapreduce-client-core/artifactId version${hadoop.version}/version /dependency /dependencies参数说明hadoop.version必须换成你实际集群的版本用hadoop version命令确认。如果集群是 2.x依赖也要降到 2.7.x 或 2.10.x混用 3.x 的客户端 jar 去连 2.x 的 NameNode 会报协议不兼容。打包时用maven-shade-plugin或maven-assembly-plugin打成 fat jar把依赖一起塞进去否则提交作业时集群上找不到你的类。2.2 hotel.csv 的字段假设与 MapReduce 数据流项目正文没有给出 CSV 的完整表头但从描述可以推断字段顺序大致是酒店 ID、名称、地址、城市、省份、星级、价格。MapReduce 处理 CSV 时最常见的做法是在 Mapper 的map方法里按逗号切分取省份作为 key价格作为 value输出省份, 价格的键值对。Reduce 阶段对同一个省份的所有价格做累加和计数算出平均值。这里有个容易被忽略的点CSV 里如果地址字段本身含逗号比如「XX路1号,2单元」简单split(,)就会把字段切错位。稳妥的做法是用split(,, -1)保留空字段或者引入 OpenCSV 这类库做正经解析。我一般会在 Mapper 里先判断fields.length是否等于预期列数不等于就跳过并计数器加一这样脏数据不会污染结果。数据流整体是hotel.csv通过hdfs dfs -put上传到 HDFS → InputFormat 按行切分 → Mapper 输出省份, 价格→ Shuffle 按省份分组 → Reducer 聚合 → 输出到 HDFS 结果目录。理解这条链路后面调参和排错才有方向。3. 从本地编译到集群提交一套能复现的操作流程3.1 本地环境准备与编译打包在动手之前先把本地环境对齐。JDK 用 1.8Hadoop 3.x 对 JDK 11 支持有限1.8 最稳Maven 3.6 以上IDEA 装好 Big Data Tools 插件方便看 HDFS。如果你还没搭 Hadoop伪分布式搭建是成本最低的验证方式单节点就能跑通整个流程。编译打包的命令很直接# 清理旧的编译产物避免残留 class 干扰 mvn clean # 跳过测试打包生成包含所有依赖的 fat jar mvn package -DskipTests # 查看 target 目录下生成的 jar 包 ls -lh target/*.jar逻辑说明clean清掉target目录防止上次编译的旧 class 混进来导致行为诡异。-DskipTests跳过单元测试因为测试里如果连了 HDFS 而本地没起集群会直接失败。打包成功后你会得到一个几十 MB 的 jar里面包含了 Hadoop 依赖。参数上如果pom.xml里配的是maven-jar-plugin而不是 shade打出来的 jar 不含依赖提交时会报NoClassDefFoundError这时候要么换插件要么用-libjars参数把依赖 jar 一起传上去。3.2 HDFS 上传与 MapReduce 作业提交数据上传和作业提交是两条命令的事但参数写错就是白跑。先建目录、传数据# 在 HDFS 上创建输入目录 hdfs dfs -mkdir -p /user/hotel/input # 把本地 hotel.csv 上传到 HDFS 输入目录 hdfs dfs -put hotel.csv /user/hotel/input/ # 确认文件已上传检查大小和副本数 hdfs dfs -ls -h /user/hotel/input/然后提交作业# 提交 MapReduce 作业指定主类和输入输出路径 hadoop jar target/hadoop-hotel-1.0.jar com.hotel.HotelDriver \ /user/hotel/input \ /user/hotel/output参数说明第一个路径是 HDFS 输入目录第二个是输出目录。输出目录必须不存在否则 Hadoop 会直接抛FileAlreadyExistsException这是新手最常踩的坑之一。com.hotel.HotelDriver换成你实际的 Driver 全限定类名在src/main/java下能找到。作业跑完后用hdfs dfs -cat /user/hotel/output/part-r-00000看结果每一行是「省份 统计值」的格式。如果要在本地 IDE 里直接跑不提交集群需要在 Driver 里把mapreduce.framework.name设成local并且输入输出路径改成本地文件系统路径。IDEA 的runConfigurations.xml里应该已经配好了直接运行 Driver 的 main 方法即可。这种方式适合调试逻辑但数据量大时本地内存扛不住。4. 避坑与排查那些让作业跑不起来的细节4.1 提交后报 ClassNotFoundException 或 NoClassDefFoundError现象hadoop jar提交后立刻失败日志里一堆ClassNotFoundException: com.hotel.HotelMapper或NoClassDefFoundError: org/apache/hadoop/conf/Configuration。原因要么 jar 包里没打进去你的 Mapper/Reducer 类编译没成功或包名写错要么没打进去 Hadoop 依赖用了普通 jar 插件而非 shade。解决先jar tf target/xxx.jar | grep HotelMapper确认类在不在包里。不在就检查pom.xml的打包插件配置换成maven-shade-plugin重新打包。依赖缺失的话确认 shade 插件里没有把 Hadoop 相关依赖 exclude 掉。4.2 输出目录已存在导致作业直接退出现象作业还没开始跑就报org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /user/hotel/output already exists。原因Hadoop 的设计是输出目录必须不存在防止覆盖已有结果。解决每次跑之前删掉旧输出目录hdfs dfs -rm -r /user/hotel/output。或者养成习惯输出目录带上时间戳比如/user/hotel/output_20250101这样历史结果也能保留对比。4.3 中文省份字段乱码或分组结果错乱现象Reduce 输出的省份名是乱码或者同一个省被拆成了好几组。原因CSV 文件编码是 GBK 而 Hadoop 默认按 UTF-8 读或者省份字段里有前后空格导致equals判断不一致。解决上传前用iconv -f GBK -t UTF-8 hotel.csv hotel_utf8.csv转码。Mapper 里对 key 做trim()处理去掉首尾空格。如果还有不可见字符用replaceAll(\\s, )清一遍。4.4 数据倾斜导致某个 Reduce 卡在 99%现象作业进度条长时间停在 99%日志显示某个 Reduce 任务处理的数据量远超其他任务。原因某些省份比如旅游大省的酒店数量远超其他省份所有该省份的记录都分到同一个 Reducer单点压力过大。解决在 Mapper 输出的 key 后面加随机后缀如省份_1、省份_2让数据分散到多个 Reducer然后在 Driver 里设置job.setNumReduceTasks(N)最后再跑一个 MapReduce 做二次聚合。这是 MapReduce 处理倾斜的经典两阶段方案。4.5 本地能跑、集群报内存溢出现象本地 IDE 跑小数据集没问题提交到集群处理全量数据时 Container 被 kill日志报Container killed on request. Exit code is 137。原因Mapper 或 Reducer 里把整个分组的数据加载到内存比如用 List 缓存所有价格再算平均数据量大时 JVM 堆溢出。解决改成流式计算Reduce 里用累加器和计数器边读边算不要缓存全量数据。如果确实需要更多内存在 Driver 里通过job.getConfiguration().set(mapreduce.map.memory.mb, 2048)调大容器内存同时确认 YARN 的yarn.nodemanager.resource.memory-mb够用。5. 进阶技巧用 Combiner 和计数器把作业调优到能打5.1 加 Combiner 减少 Shuffle 数据量MapReduce 的性能瓶颈八成在 Shuffle 阶段。如果你的 Reduce 逻辑满足结合律和交换律求和、计数都满足就可以加一个 Combiner在 Map 端先做一次局部聚合大幅减少网络传输。代码上 Combiner 通常直接复用 Reducer 类// Driver 里设置 Combiner直接复用 Reducer 类 job.setCombinerClass(HotelReducer.class);逻辑说明Combiner 在 Map 输出后、进入 Shuffle 前执行把同一个 Map 任务里相同 key 的 value 先合并一次。比如一个 Map 处理了 1000 条广东的记录Combiner 先把它们加成一个广东, 总价计数传到 Reduce 端的数据量就从 1000 条变成 1 条。参数上不需要额外配置但要注意如果 Reducer 的逻辑不是幂等的比如算中位数就不能直接复用得单独写一个 Combiner。5.2 用计数器做数据质量监控MapReduce 自带的 Counter 是个被低估的工具。在 Mapper 里遇到脏数据时不要默默跳过打个计数器// 在 Mapper 类里定义计数器 enum HotelCounter { MALFORMED_LINE, // 字段数不对的行 EMPTY_PRICE // 价格为空的行 } // map 方法里遇到异常数据时 if (fields.length ! 7) { context.getCounter(HotelCounter.MALFORMED_LINE).increment(1); return; }作业跑完后在控制台输出或 Job 历史里能看到每个计数器的值。如果MALFORMED_LINE数量很大说明 CSV 本身有问题得回去检查数据源而不是怀疑代码。这个习惯我是在一次数据清洗任务里被坑出来的——当时结果对不上排查了半天才发现有 30% 的行因为地址含逗号被切错了位而代码里没有任何提示。5.3 结果验证用本地 Python 对拍MapReduce 跑出来的结果别直接信用单机工具对拍一遍最踏实。取一小部分数据比如前 10000 行用 pandas 算同样的指标和 HDFS 输出对比import pandas as pd # 读取 CSV指定编码和列名 df pd.read_csv(hotel.csv, encodingutf-8, names[id, name, addr, city, province, star, price]) # 按省份分组算平均价格和数量 result df.groupby(province)[price].agg([mean, count]) print(result.sort_values(count, ascendingFalse).head(10))逻辑说明names参数手动指定列名避免 CSV 表头缺失导致第一行数据被当表头。agg([mean, count])一次算出均值和计数和 MapReduce 的输出格式对齐。对比时重点看数量级和排序如果某个省份的均值差异超过 5%大概率是 MapReduce 里漏了脏数据处理或者编码问题。从那以后我每次跑完 MapReduce 都强制走一遍「小数据对拍 计数器检查」的流程宁可多花十分钟也不想在汇报时被问「这个数怎么来的」答不上来。希望帮到你。本文还有配套的精品资源点击获取