反向海淘独立站商品采集模块：多源解析统一架构

一、问题背景

反向海淘独立站的核心能力，是让用户能通过多种方式把商品“搬”过来——粘贴链接、输入关键词、上传图片，怎么方便怎么来。代购用户的习惯五花八门：有人直接丢过来一个淘宝链接，有人复制的是1688的地址，还有人就只会复制淘口令，甚至有人想拍张照片找同款。一套统一的采集入口，必须把这些场景全部覆盖。以下基于 Taocarts 系统的实际经验，拆解多源商品采集模块的设计思路。

二、整体架构

核心思路采用策略模式。每一种输入源对应一个专门的处理器，所有处理器都实现同一个 Parser 接口。入口层收到用户输入后，先由类型识别器判断输入类型，然后路由到对应的处理器执行解析。

public interface Parser { 
    ProductDTO parse(String input);
    boolean supports(InputType type);
}

三、淘宝/1688 链接解析实现

这一块最实用的方法是正则匹配提取商品 ID，然后调用对应平台的 API 或模拟请求拉取详情。以淘宝链接为例：

public class TaobaoLinkParser implements Parser { 
    @Override
    public ProductDTO parse(String input) { 
        // 正则提取商品ID: https://item.taobao.com/item.htmid=123456789
        String pattern = "id=(\\d+)";
        Matcher matcher = Pattern.compile(pattern).matcher(input);
        if (matcher.find()) { 
            String itemId = matcher.group(1);
            return fetchFromTaobaoAPI(itemId);
        }
        return null;
    }

    @Override
    public boolean supports(InputType type) {
        return type == InputType.TAOBAO_LINK;
    }
}

1688 链接的 URL 结构与淘宝类似，但起批量信息需要单独处理。Taocarts 的实现中额外解析了商品规格选项、价格区间、主图集等关键字段，确保获取的数据足够全面。

四、以图搜图

图片搜商品功能使用的是阿里云视觉智能平台的能力，调用方式直接：

def search_by_image(image_url):
    # 调用阿里云视觉智能平台以图搜图接口
    resp = clients.search_image(image_url)
    return [{"title": item["title"], "price": item["price"]} for item in resp.get("data", [])]

五、高可用保障机制

商品采集依赖的外部服务较多，任一环节出问题都可能影响体验。Taocarts 在稳定性方面做了以下准备：

• 缓存策略：同一 URL 的采集结果缓存 24 小时，避免重复请求。
• 降级方案：API 超时或返回异常时，自动切换到本地规则库的备选解析逻辑，避免服务中断。
• 限流控制：限制同一 IP 或用户的采集频率，防止被目标平台封禁。
• 异步队列：批量采集任务放入消息队列异步处理，用户端无需等待。

异步部分使用了 Celery，示例代码如下：

# Celery异步采集任务
@app.task(bind=True, max_retries=3)
def async_collect(self, input_type, content):
    try:
        result = collector.collect(content)
    except Exception as e:
        raise self.retry(exc=e, countdown=2 ** self.request.retries)
    return result

六、总结

这套多源采集架构已在 Taocarts 跨境电商独立站中稳定运行，采集成功率长期维持在 99% 以上。即便是双十一等大促场景，单日处理百万级链接也毫无压力。