Typecho采集插件V1.0源码 PHP文章博客自动采集入库系统

Typecho采集插件V1.0源码 PHP文章博客自动采集入库系统

  • 全站源码免费
  • 日/微信/10次解锁
  • 日/IP/100次解锁
资源下载
免费资源
立即下载

源码系统概览

文章正文

Typecho采集插件是一款运行在Typecho博客系统上的内容自动采集入库扩展,面向需要批量导入第三方文章数据的站长与开发者使用。

本文围绕该插件的源码结构、采集功能模块与部署要点进行说明,便于二次开发与合规使用研究。

源码简介

Typecho采集插件(Piano_gather)以PHP为实现语言,依托Typecho插件机制与Widget_Archive钩子,在前端页面底部注入采集入口与脚本资源(mayiu.php + layui + jQuery + turndown.js + layer.js + Mass_Emall.js),并在后台提供可视化采集规则配置界面。

插件内置phpQuery用于DOM选择与解析,配合宝塔计划任务密匙(BT_MISHI)即可实现按时间触发的自动化采集与入库,兼容普通文章与圈子帖子两种内容模型。

整体代码量轻量、模块边界清晰,适合作为学习Typecho插件开发与采集规则抽象的参考实现。

适用场景

适用于已部署Typecho博客、需要将自有或已获授权的第三方文章批量导入的站长,以及希望基于现成采集框架进行二次开发、定制采集规则或对接自有数据源的PHP开发者。

也可用于搭建带自动更新能力的内容聚合站点,但前提是仅采集自有或已获书面授权的内容,并遵守目标站点的服务条款与版权约束。

功能亮点

网址采集规则支持通过[地址参数]模板生成多页起始链接,配合范围数字生成完整列表页地址序列。

列表规则支持CSS选择器(.class / #id / *通配符)与必须包含、不得包含过滤,灵活适配不同目标站结构。

内容页规则支持标题元素、内容元素、删除元素、文本及之后内容裁剪、原文本到目标文本的一对一替换。

增强功能支持图片本地化、标签与摘要入库,以及基于正则表达式的超链接批量替换。

默认入库设置支持指定文章分类ID与作者ID,扩展支持圈子帖子采集与隐藏回复可见。

宝塔计划任务密匙可绑定后台计划任务,实现按时间触发的自动化采集与入库。

提供使用说明示例代码,演示如何用*通配符、.class、#id提取目标内容并配置采集规则。

技术架构与部署指南

维度 本套源码 同类通用方案
技术栈 前端:HTML/CSS + layui + jQuery + layer.js + turndown.js + Mass 依具体方案选型,需自行搭建与维护
部署方式 1. 登录Typecho站点后台,进入控制台插件管理页面。 多托管于第三方平台或订阅云服务
功能侧重 网址采集规则支持通过[地址参数]模板生成多页起始链接,配合范围数字生成完整列表页地址序列。 功能通用,定制深度有限
数据归属 数据自持,部署在自有服务器,不出站 数据通常留存于服务商侧
成本模式 获取后自主部署,无持续授权费用 通常按订阅或调用量计费

技术栈与运行环境

前端:HTML/CSS + layui + jQuery + layer.js + turndown.js + Mass_Emall.js
后端:PHP(基于Typecho插件接口Typecho_Plugin_Interface与Widget_Archive钩子)
数据库:与Typecho共用数据库(依赖typecho_contents/posts/metas等表结构)
运行环境:PHP 5.6 及以上,Typecho 1.1/1.2 系列,需启用 curl/file_get_contents 与 JSON 扩展
其他依赖:phpQuery(DOM 选择器)、宝塔面板计划任务(可选,用于自动采集)

安装与部署提示

1. 登录Typecho站点后台,进入控制台插件管理页面。

2. 将Piano_gather文件夹完整上传至站点usr/plugins/目录下。

3. 在插件列表中找到Piano_gather并点击启用。

4. 进入插件设置,按需配置API Key,并参考使用说明示例填写采集规则。

5. 若启用自动采集功能,需在宝塔面板计划任务中按BT_MISHI配置定时触发地址。

6. 首次启用建议在测试环境验证采集规则与入库效果,再部署到生产站点。

截图与演示说明

因第三方展示页附带品牌水印,本节基于源码证据给出主要模块说明,避免引入第三方水印图片。

插件管理后台以Layui卡片面板构建,左侧为配置表单,右侧为状态检测面板,整体宽度自适应。

主要标签页包括规则(已采集规则列表)、网址(起始网址与[地址参数]分页模板)、列表(列表页CSS选择器与包含过滤)、内容(标题与内容元素、删除元素、文本替换、图片本地化、可执行PHP脚本)、入库(默认文章分类与作者、圈子帖子分类、隐藏回复可见)、密匙(宝塔计划任务密匙BT_MISHI)、使用说明(通配符与class、id示例)。

规则列表页提供查看、删除、编辑、采集按钮,分页参数maxshowpageitem=3、pagelistcount=12,便于管理多条规则。

状态检测面板用于展示采集任务执行日志与反馈信息,配合控制台日志可定位规则匹配问题。

Typecho采集插件规则管理页预览

常见问题

问:插件的自动采集功能是否依赖宝塔面板?

答:自动采集依赖宝塔计划任务与密匙BT_MISHI触发的后台接口;

手动采集与规则配置不依赖宝塔,可在任意支持PHP的Web环境中使用。

问:插件是否支持图片本地化与标签摘要入库?

答:插件自带图片本地化(Fun_img)与标签摘要入库(Fun_tag)选项,启用后会将目标站图片保存到本地,并把标签与摘要写入对应字段,但仅供学习与已获授权内容使用。

问:启用插件后提示找不到配置或规则列表为空怎么办?

答:请检查Piano_gather目录是否完整上传到usr/plugins/,确认config.json与config.php存在并可读,目录权限允许PHP进程读取。

安全风险提示

本插件源码经人工审计检出若干风险点,使用前请认真评估并处置。

路径:Piano_gather/bt.php:类型:加密混淆的PHP代码:证据:文件开头含eval(gzinflate(…))解码逻辑与禁止逆向解析警告,无法直接阅读业务实现:建议:保留为插件运行时组成部分,避免在生产站点随意替换或修改,必要时在隔离环境验证其行为。

路径:Piano_gather/main.php:类型:加密混淆的PHP代码:证据:约十万字节的PHP文件,结构与bt.php一致,使用eval(gzinflate(…))动态解码执行:建议:保留原始文件,不要直接编辑;

如确需审计,先在沙箱内执行并监控网络与文件行为。

路径:Piano_gather/Plugin.php:类型:信息暴露风险:证据:footerScript钩子会将API Key通过console.log输出到前端控制台,普通访客可见:建议:移除或注释该echo语句,避免敏感配置外泄。

路径:Piano_gather/mayiu.php:类型:配置写入与代码注入风险:证据:action=setting分支直接将$_POST[“mishi”]拼入config.php模板并写入磁盘,无转义与鉴权:建议:限制该入口仅后台可访问,对写入内容做严格转义与长度校验。

路径:Piano_gather/config.json:类型:默认采集规则合规风险:证据:内置一条指向第三方站点的采集示例规则(含列表与内容选择器):建议:删除示例规则,仅配置自有或已获授权的站点规则,并保留授权记录。

特别提示:本源码检出多类安全风险文件,下载后请务必进行安全审计与隔离环境验证,删除或替换恶意代码后再上线使用!

下载说明

本源码仅供学习研究与已获授权的二次开发使用,请在遵守目标站点robots.txt与服务条款、尊重原作者版权的前提下进行配置与运行。

不得用于未授权内容的批量采集、商业转载或侵权分发,配置示例中包含的第三方规则应替换为自有站点或已获书面授权的来源。

因不当使用产生的法律与版权纠纷由使用者自行承担,与源码作者及本下载站无关。

本插件为内容采集工具,仅用于自有或已获书面授权内容的批量导入,使用者须遵守目标站点的robots.txt、服务条款与著作权法律法规;

不得用于未授权采集、规避反爬、批量复制等行为;

建议在测试环境完成规则与安全审计后再部署到生产站点。

资源下载
下载价格免费
本文章资源https://www.aosen.cc/mianfei10988.html来源于互联网,如存在侵权,请联系我们立马删除!
0
显示验证码