tool/tool-node

Fork 0

Go to file

zhaojunlong caeac76ca3

Deploy Vue App / build-and-deploy (push) Successful in 8s

Details

fix(public): 更新页面标题

2025-12-15 16:22:45 +08:00

.gitea/workflows

```

2025-12-15 16:22:02 +08:00

node_modules

```

2025-12-15 15:58:48 +08:00

public

fix(public): 更新页面标题

2025-12-15 16:22:45 +08:00

src

```

2025-12-15 15:58:48 +08:00

.env.example

```

2025-12-15 15:58:48 +08:00

.gitignore

```

2025-12-15 15:58:48 +08:00

config.example.json

```

2025-12-15 15:22:42 +08:00

config.json

```

2025-12-15 15:22:42 +08:00

package-lock.json

```

2025-12-15 15:58:48 +08:00

package.json

```

2025-12-15 15:58:48 +08:00

README.md

```

2025-12-15 15:58:48 +08:00

README.md

南京公共工程建设中心 - 公告采集工具

一个用于采集南京公共工程建设中心公告信息的 Web 可视化工具，支持定时任务和邮件推送。

功能特性

✅ 采集公告列表(支持分页)
✅ 按时间范围智能采集
✅ 采集公告详情内容
✅ 智能提取预算金额
✅ 生成统计报告
✅ Web 可视化界面
✅ 导出 Word/Markdown 报告
✅ RESTful API 支持
✅ 定时任务自动采集
✅ 邮件推送 HTML 报告
✅ Web 配置界面
✅ 无需数据库，轻量部署

快速开始

1. 安装依赖

npm install

2. 配置文件

首次使用需要创建配置文件：

# 复制示例配置文件
cp config.example.json config.json

# 编辑配置文件（或通过 Web 界面配置）
# 填写邮件服务器信息和定时任务设置

配置文件说明：

config.example.json - 配置模板（不含敏感信息，可提交到 Git）
config.json - 实际配置（包含密码等敏感信息，已在 .gitignore 中忽略）

使用方法

1. 启动服务器

npm start

2. 访问界面

打开浏览器访问: http://localhost:5000 （或您配置的端口）

3. 功能介绍

公告列表标签

快速查看所有公告
支持分页浏览
一键获取最新公告列表

详情采集标签

批量采集公告详情
支持按时间范围采集
自动提取预算金额
可自定义采集数量

生成报告标签

支持按时间范围生成报告
设置金额阈值筛选项目
实时统计项目信息
一键导出 Word/Markdown 报告

定时任务标签 ⭐ 新增

Web 界面配置定时任务
支持 Cron 表达式自定义执行时间
可选时间范围（今日/本周/本月）
设置金额阈值自动筛选
实时查看任务运行状态
立即测试运行功能

邮件配置标签 ⭐ 新增

Web 界面配置 SMTP 邮件服务
支持主流邮箱（QQ、163、Gmail 等）
测试连接功能验证配置
支持多个收件人
自动发送精美 HTML 报告

报告示例

# 南京公共工程建设项目报告

**生成时间**: 2025/12/12 11:00:03

## 统计摘要

- 总项目数: 10
- 超过 50 万元的项目: 3
- 总金额: 5395.50 万元

## 项目列表

### 1. 项目名称

- **发布日期**: 2025-12-12
- **发布时间**: 2025-12-12 10:35:00
- **预算金额**: 5000 万元
- **链接**: https://...

API 接口文档

服务器启动后提供以下 RESTful API 接口:

1. 获取公告列表

GET /api/list?url=<列表页URL>&page=<页码>

参数:

url (可选): 列表页 URL,默认为官网首页
page (可选): 页码,默认为 1

2. 按时间范围获取列表

POST /api/list-daterange
Content-Type: application/json

{
  "startDate": "2025-11-01",
  "endDate": "2025-12-31",
  "maxPages": 23
}

3. 批量获取详情

POST /api/details
Content-Type: application/json

{
  "items": [{ "title": "...", "href": "...", "date": "..." }],
  "limit": 10
}

4. 生成报告

POST /api/report
Content-Type: application/json

{
  "url": "https://gjzx.nanjing.gov.cn/gggs/",
  "limit": 15,
  "threshold": 50
}

5. 按时间范围生成报告

POST /api/report-daterange
Content-Type: application/json

{
  "startDate": "2025-11-01",
  "endDate": "2025-12-31",
  "threshold": 50,
  "maxPages": 23
}

6. 获取配置

GET /api/config

返回当前配置信息（密码会被隐藏）

7. 更新配置

POST /api/config
Content-Type: application/json

{
  "scheduler": {
    "enabled": true,
    "cronTime": "0 9 * * *",
    "threshold": 100000,
    "timeRange": "today"
  },
  "email": {
    "smtpHost": "smtp.qq.com",
    "smtpPort": 587,
    "smtpUser": "your-email@qq.com",
    "smtpPass": "your-password",
    "recipients": "recipient@example.com"
  }
}

8. 获取定时任务状态

GET /api/scheduler/status

9. 手动触发定时任务

POST /api/run-scheduled-task

定时任务配置

通过 Web 界面配置（推荐）

访问 http://localhost:5000 （或您配置的端口）
切换到 "定时任务" 标签
配置以下选项：
- 启用定时任务：勾选启用
- 执行时间：选择预设时间或自定义 Cron 表达式
- 时间范围：今日/本周/本月
- 金额阈值：设置最低金额（单位：万元）
切换到 "邮件配置" 标签
配置 SMTP 邮件服务器信息
点击"测试连接"验证配置
点击"保存配置"，定时任务自动生效

通过配置文件

编辑 config.json：

{
  "scheduler": {
    "enabled": true,              // 是否启用
    "cronTime": "0 9 * * *",      // Cron表达式：每天9点
    "threshold": 100000,           // 金额阈值（万元，10亿）
    "description": "每天9点采集大于10亿的项目",
    "timeRange": "today"           // 采集范围: today/thisWeek/thisMonth
  },
  "email": {
    "smtpHost": "smtp.qq.com",    // SMTP服务器
    "smtpPort": 587,               // 端口
    "smtpUser": "your@qq.com",     // 发件邮箱
    "smtpPass": "授权码",           // QQ邮箱授权码
    "recipients": "to@qq.com"      // 收件人（多个用逗号分隔）
  }
}

Cron 表达式说明

格式：分时日月周

常用示例：

0 9 * * * - 每天 9:00
0 9,18 * * * - 每天 9:00 和 18:00
0 9 * * 1 - 每周一 9:00
0 9 1 * * - 每月1号 9:00
0 */6 * * * - 每 6 小时

邮件服务配置参考

QQ 邮箱：

SMTP: smtp.qq.com
端口: 587
密码: 使用授权码（在 QQ 邮箱设置中生成）

163 邮箱：

SMTP: smtp.163.com
端口: 465
密码: 使用授权码

Gmail：

SMTP: smtp.gmail.com
端口: 587
需要开启"不够安全的应用访问"

服务器部署

方法 1：使用 PM2（推荐）

# 安装 PM2
npm install -g pm2

# 启动服务
pm2 start src/server.js --name gjzx-scraper

# 查看状态
pm2 status

# 查看日志
pm2 logs gjzx-scraper

# 设置开机自启
pm2 startup
pm2 save

方法 2：使用 systemd

创建服务文件 /etc/systemd/system/gjzx-scraper.service：

[Unit]
Description=GJZX Scraper Service
After=network.target

[Service]
Type=simple
User=your-user
WorkingDirectory=/path/to/tool-node
ExecStart=/usr/bin/node src/server.js
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

启动服务：

sudo systemctl enable gjzx-scraper
sudo systemctl start gjzx-scraper
sudo systemctl status gjzx-scraper

注意事项

✅ 无需数据库：项目采用无数据库架构，轻量部署
✅ 配置持久化：所有配置保存在 config.json 文件中
✅ 进程保活：使用 PM2 或 systemd 确保进程持续运行
⚠️ 防火墙：确保配置的端口可访问（默认 5000）
⚠️ 配置安全：不要将 config.json 提交到公开仓库

技术栈

后端: Node.js + Express
爬虫: Axios + Cheerio
定时任务: node-cron
邮件服务: nodemailer
前端: 原生 HTML/CSS/JavaScript
编码处理: iconv-lite (支持 GBK/UTF-8)
文档导出: docx.js
架构: 无数据库设计

项目结构

.
├── src/
│   ├── server.js         # Web服务器及API
│   ├── scheduler.js      # 定时任务调度器
│   └── emailService.js   # 邮件发送服务
├── public/
│   ├── index.html        # Web界面
│   └── app.js           # 前端逻辑
├── config.json          # 配置文件（不提交到Git）
├── config.example.json  # 配置示例
├── package.json
└── README.md

架构特点

无数据库设计

本项目采用无数据库架构，具有以下特点：

✅ 轻量部署：无需安装和配置数据库
✅ 实时数据：每次从源站实时抓取最新数据
✅ 配置简单：只需配置 config.json 文件
✅ 邮件归档：报告通过邮件发送，邮箱即为历史记录
✅ 低资源消耗：内存占用小，适合小型服务器

数据流程

定时触发 → 抓取网站数据 → 解析提取 → 筛选过滤 → 生成报告 → 发送邮件
   ↑                                                        ↓
   └──────────────────── 配置文件 ──────────────────────────┘

注意事项

采集速度：已限制为每条延迟 500ms-1s，避免请求过快
域名支持：仅支持 gjzx.nanjing.gov.cn 域名的详情页解析
金额提取：基于正则匹配，支持多种格式（预算金额、最高限价等）
端口配置：Web 服务器默认端口 5000，支持通过环境变量 PORT 修改
智能停止：按时间范围采集会在检测到所有公告早于起始日期时自动停止
编码处理：自动识别，支持 GBK 和 UTF-8 网页
配置安全：config.json 包含敏感信息，已加入 .gitignore，不要提交到公开仓库
进程保活：部署时使用 PM2 或 systemd 确保定时任务持续运行

核心功能说明

时间范围采集逻辑

按时间范围采集时,程序会:

从第一页开始顺序采集
检查每页公告的日期是否在指定范围内
如果某页所有公告都早于起始日期,自动停止采集
支持设置最大页数限制,避免过度采集

金额提取规则

支持识别以下格式:

预算金额: XX 万元
最高限价: XX 万元
预算: XX 万元
金额: XX 万元
直接数字: XX 万元

编码处理

自动识别网页编码:

优先读取 Content-Type 中的 charset
自动处理 GBK、GB2312 编码
默认使用 UTF-8

常见问题

Q: 为什么采集速度比较慢？

A: 为了避免对服务器造成过大压力，程序限制了请求频率（每条延迟 500ms-1s）。这是一个负责任的爬虫设计。

Q: 如何采集指定日期范围的公告？

A: 在 Web 界面的"详情采集"和"生成报告"标签中勾选"按时间范围采集"，然后输入起始和结束日期即可。

Q: 导出的报告在哪里？

A: 点击"导出 Word"或"导出 Markdown"按钮后会自动下载到浏览器的默认下载目录。

Q: 可以采集其他网站吗？

A: 需要修改 server.js 中的 BASE_URL 和相应的解析函数，因为不同网站的 HTML 结构不同。

Q: 需要安装数据库吗？

A: 不需要！ 本项目采用无数据库架构，只需安装 Node.js 依赖即可运行。所有配置保存在 config.json 文件中，报告通过邮件发送。

Q: 定时任务配置后不生效怎么办？

A: 请检查以下几点：

config.json 中 scheduler.enabled 是否为 true
邮件配置是否正确（SMTP 服务器、用户名、密码）
Node.js 进程是否持续运行（使用 PM2 查看状态）
查看服务器日志是否有错误信息

Q: 如何修改定时任务的执行时间？

A: 有两种方式：

Web 界面（推荐）：访问网页，切换到"定时任务"标签，选择预设时间或自定义 Cron 表达式，点击保存
配置文件：编辑 config.json 中的 scheduler.cronTime 字段

Q: 邮件发送失败怎么办？

A: 常见原因：

QQ 邮箱：需要使用授权码，不是登录密码（在 QQ 邮箱设置 → 账户 → POP3/SMTP 服务中生成）
端口问题：QQ 邮箱使用 587，某些邮箱可能需要 465（SSL）
防火墙：确保服务器可以访问 SMTP 端口
测试连接：在"邮件配置"标签中使用"测试连接"功能验证配置

Q: 如何查看定时任务运行日志？

A: 如果使用 PM2 部署：

pm2 logs gjzx-scraper

如果使用 systemd：

sudo journalctl -u gjzx-scraper -f

Q: 服务器重启后定时任务还会运行吗？

A: 需要设置开机自启：

PM2 方式：执行 pm2 startup 和 pm2 save
systemd 方式：执行 sudo systemctl enable gjzx-scraper

Q: 可以设置多个定时任务吗？

A: 当前版本只支持一个定时任务。如需多个任务，可以：

使用 Cron 表达式设置多个时间点（如 0 9,18 * * * 表示每天 9:00 和 18:00）
部署多个实例，使用不同的配置文件和端口

更新日志

v1.1.0 (2025-12-15)

✨ 新增定时任务功能（node-cron）
✨ 新增邮件推送服务（nodemailer）
✨ 新增 Web 配置界面（定时任务 + 邮件配置）
✨ 支持多时间范围（今日/本周/本月）
✨ 配置 API（读取/更新配置）
✨ 定时任务状态查询
✨ 手动触发任务功能
📝 完善文档，新增部署指南

v1.0.0 (2025-12-12)

Web 可视化界面
支持按时间范围采集
支持分页浏览
支持导出 Word/Markdown 报告
RESTful API 接口
自动编码识别
智能金额提取

License

MIT

README.md Unescape Escape

南京公共工程建设中心 - 公告采集工具

功能特性

快速开始

1. 安装依赖

2. 配置文件

使用方法

1. 启动服务器

2. 访问界面

3. 功能介绍

报告示例

API 接口文档

1. 获取公告列表

2. 按时间范围获取列表

3. 批量获取详情

4. 生成报告

5. 按时间范围生成报告

6. 获取配置

7. 更新配置

8. 获取定时任务状态

9. 手动触发定时任务

定时任务配置

通过 Web 界面配置（推荐）

通过配置文件

Cron 表达式说明

邮件服务配置参考

服务器部署

方法 1：使用 PM2（推荐）

方法 2：使用 systemd

注意事项

技术栈

项目结构

架构特点

无数据库设计

数据流程

注意事项

核心功能说明

时间范围采集逻辑

金额提取规则

编码处理

常见问题

Q: 为什么采集速度比较慢？

Q: 如何采集指定日期范围的公告？

Q: 导出的报告在哪里？

Q: 可以采集其他网站吗？

Q: 需要安装数据库吗？

Q: 定时任务配置后不生效怎么办？

Q: 如何修改定时任务的执行时间？

Q: 邮件发送失败怎么办？

Q: 如何查看定时任务运行日志？

Q: 服务器重启后定时任务还会运行吗？

Q: 可以设置多个定时任务吗？

更新日志

v1.1.0 (2025-12-15)

v1.0.0 (2025-12-12)

License

README.md