每天打开购物App，首页推荐的商品总能戳中你的需求，刚搜过机票，第二天朋友圈就出现酒店广告。这些看似“读心术”的操作，背后其实是大数据在默默工作。而支撑这些数据高效运转的重要工具之一，就是Hadoop。
什么是Hadoop？
Hadoop是一个开源的分布式计算框架，擅长处理海量数据。比如一家电商平台每天产生上亿条用户点击、下单、浏览记录，传统数据库处理起来慢得像老牛拉车，而Hadoop能把这些任务拆开，分给成百上千台机器同时干，几分钟就能出结果。
它的核心组件包括HDFS（分布式文件系统）负责存数据，MapReduce负责算数据，还有YARN管资源调度。就像一个分工明确的工厂流水线，每个人只干自己那部分活，整体效率却大幅提升。
生活中的Hadoop应用场景
你可能没意识到，但Hadoop已经悄悄融入日常生活。比如城市交通信号灯的智能调度系统，会收集各个路口的车流量、事故上报、天气情况等数据。这些信息汇总后，通过Hadoop集群分析，动态调整红绿灯时长，缓解高峰期拥堵。
再比如外卖平台的配送路线优化。每天数百万订单需要分配给骑手，系统要综合考虑距离、路况、商家出餐速度等因素。Hadoop能在短时间内处理这些复杂变量，给出最优派单方案，让你的奶茶更快送到手上。
简单代码示例：统计日志中的访问次数
假设你想知道某网站每天被访问了多少次，原始日志可能分布在几十台服务器上。用Hadoop的MapReduce可以轻松完成：
public class LogCounter {
public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
String[] parts = line.split(" ");
String ip = parts[0];
word.set("total");
context.write(word, one);
}
}
public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
}
}这段代码会把分散的日志按行读取，每行代表一次访问，最终汇总出总访问量。即使数据量达到TB级，也能在合理时间内完成。
为什么小公司也开始用Hadoop？
早年只有大企业才玩得起这种技术，但现在云服务商提供了托管Hadoop服务，比如阿里云EMR、腾讯云CDW。中小企业不用自己买服务器、搭集群，按需租用就行，成本大幅降低。一家本地连锁超市也能用它分析会员消费习惯，精准推送优惠券，提升复购率。
随着数据成为新石油，Hadoop就像炼油厂的关键设备。虽然普通人看不到它运转，但它正一点点改变我们获取信息、消费商品和服务的方式。