通义灵码 Python爬虫框架代码编写快速入门

使用通义灵码生成爬虫代码，能显著节省手动查阅文档和编写基础框架的时间，直接获得一个可运行的 requests + BeautifulSoup 或 Scrapy 模板。然而，要让代码稳定运行、避免报错，需要提前掌握几个关键要点。下面详细说明这些细节，帮助您避开常见陷阱。

通义灵码中输入爬虫需求提示词

在 VS Code 中打开一个 .py 文件，将光标定位到空行，输入英文三引号 """ 后按回车，通义灵码会自动弹出建议框。此时输入“用 requests 和 BeautifulSoup 抓取豆瓣电影 Top250 的电影名和评分”——注意，不要添加任何前缀如“请”“帮我”“写一个”，直接使用陈述句。

通义灵码对提示词较为敏感，必须使用陈述句描述目标结果，避免命令式或疑问句。如果写成“怎么用 requests 爬豆瓣？”或“请写个爬虫”，通常只会返回解释性文字，而非代码。根据经验，这种方式几乎总是有效。

生成后立即验证代码可运行性

点击灵码建议中的“插入”按钮，代码会自动写入编辑器。在运行前，先检查 import 部分——requests、bs4、time（用于反爬延时）、re（如需清洗数据）缺一不可。通义灵码有时会省略 time.sleep() 相关导入，导致后续被封锁 IP 却无任何报错提示。如果发现缺失，请手动补充。

运行前，在终端执行 pip install requests beautifulsoup4，否则运行时会报 ModuleNotFoundError，导致不必要的麻烦。

替换真实 URL 与选择器并调试

有两种方法。方法一：直接修改代码中的 URL 字符串，替换为当前目标网页的地址。方法二：使用浏览器 F12 打开开发者工具 → Ctrl+F 搜索页面中要提取的文字（例如“肖申克的救赎”）→ 右键对应 HTML 标签 → Copy → Copy selector，粘贴到代码中替换原有的 CSS 选择器字符串。

然而，这里有一个常见问题：如果选择器包含 # 或 . 开头但复制的是完整路径（如 #content > div > div.article > ol > li:nth-child(1) > div > div.info > div.hd > a > span.title），建议截取最简有效部分（例如 div.hd a span.title）。冗长路径在页面微调后极易失效，届时排查问题将非常耗时。

处理反爬与异常的关键补丁

第一步：在 headers 字典中加入 'User-Agent' 字段，值设为 Chrome 最新版标识。例如 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36'。如果不设置，许多站点会直接拒绝请求。

第二步：在 requests.get() 调用中添加 timeout=10 参数，防止请求挂起导致整个脚本阻塞。曾有案例因未设 timeout，脚本卡住半小时才发现是网络抖动导致的。

第三步：使用 try-except 包裹核心请求逻辑，捕获 requests.exceptions.RequestException，并在 except 块中 print(f"请求失败：{e}")。如果不添加异常处理，网络波动时程序会直接崩溃退出，无法得知哪一页出错。完成上述步骤后，代码即可稳定运行前 10 页。