SpringBoot - 实现基于Elasticsearch+HBase全文检索系统教程2（数据采集及存储）

2025-05-30 发布：hangge 阅读：30

我在前文介绍了全文检索系统的实现流程以及项目的基本配置（点击查看），本文接着介绍如何采集数据并将数据保存到 HBase 和 Redis 中去。

四、数据采集及存储

1，数据说明

（1）这里我们使用极速数据提供的新闻 API 接口来获取数据，接口地址如下：

https://api.jisuapi.com/news/get?channel=头条&start=0&num=40&appkey=b98bce57191c076a

（2）返回的数据为如下 JSON 格式：

data.json.zip

2，代码实现

（1）为方便操作 HBase，我们首先创建一个 HBaseUtils 工具类，具体可以参考我之前写的文章：

SpringBoot - 使用 hbase-client 操作 HBase 教程 1（基本用法）

（2）下面代码我们通过接口获取新闻数据，然后将数据入库保存到 HBase 中，同时将 Rowkey 保存到 Redis 中。

@RestController
public class TestController {

  @Autowired
  private HBaseUtils hbaseUtils;

  @Autowired
  StringRedisTemplate stringRedisTemplate; //默认提供的用来操作字符串的redis操作实例

  @GetMapping("/load")
  public void load() {
    // 通过接口获取新闻数据
    String apiUrl = "https://api.jisuapi.com/news/get?channel=头条" +
            "&start=0&num=40&appkey=b98bce57191c076a";
    RestTemplate restTemplate = new RestTemplate();
    String jsonResponse = restTemplate.getForObject(apiUrl, String.class);
    JSONObject jsonObject = JSON.parseObject(jsonResponse);
    JSONArray resList = jsonObject.getJSONObject("result").getJSONArray("list");
    System.out.println("获取文章数：" + resList.size());
    // 遍历数据
    for(int i = 0; i < resList.size(); i++) {
      JSONObject item = resList.getJSONObject(i);
      //生成唯一的UUID作为HBase的Rowkey和ES的ID
      String id= UUID.randomUUID().toString();
      String title =item.getString("title");
      String src = item.getString("src");
      String content = item.getString("content");
      String time = item.getString("time");

      // 将数据入库HBase
      String tableName = "article";
      String cf = "info";
      hbaseUtils.putData(tableName, id, cf,
              Arrays.asList("title", "src", "content", "time"),
              Arrays.asList(title, src, content, time));

      // 将Rowkey保存到Redis中
      stringRedisTemplate.opsForList().leftPush("l_article_ids", id);
    }
  }
}