文章

AICoding:本地LLM+MCP编写Agent完成数据爬取

Overview

why not use openclaw ? 本地小模型效果差,跑不动,订阅不够使,写skill虽然能搞定,但是看起来没必要 ~

提示词

## 目标
我期望实现我通过命令行调用对话能力时,可以根据我的对话完成数据查询和总结,汇总成一份报告给我。



### 使用实例
python3 main.py "总结近三天的openclaw信息,汇总后发给我"

### 流程
接收到文字信息,通过chrome访问https://x.com/home,然后通过页面搜索相关信息,先整体出所有符合要求的发言,然后将其类似:https://x.com/lipeng0820/status/2039981870184865839 链接进行保存,然后汇总出列表后,访问每一个连接,将其作者发表的信息和评论都获取总结到本地目录,通过md形式+附件的形式存储到本地,md中包含作者全部内容和评论全部内容,当所有文章都处理已完毕后,继续处理下一篇文章。当所有文章处理完毕后,分别对每一篇文章进行总结核心观点,然后将所有满足条件内容汇总给llm,进行打标分类,然后给出汇总结果,以md表格形式给出。

### 技术栈要求
1. 使用python完成
2. 使用本地模型(需要支持配置,放到文件扩展中)
3. 使用mcp连接本地浏览器(需要支持配置,放到文件扩展中)

### 本地模型说明 
如下是通过curl调用本地模型,本地模型是通道LM-Studio部署的
```bash
curl http://localhost:1234/api/v1/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen/qwen3-4b-2507",
    "system_prompt": "You answer only in rhymes.",
    "input": "What is your favorite color?"
}'
```

### Chrome MCP连接方式
```json
{
  "mcpServers": {
    "chrome-devtools": {
      "command": "npx",
      "args": [
        "chrome-devtools-mcp@latest",
        "--autoConnect"
      ]
    }
  }
}
```

## 注意事项
1. 因为浏览器连接的是当前已经打开的浏览器,所以需要确认连接按钮点击,我期望将程序分割开,后台永远运行和chrome连接的服务,通过中转服务完成调用,这样就不用频繁确认。

/office-hours