DEDE_V5.6/V5.5/V5.3 文章和评论,实现自动采集、发布与定时更新并生成静态页面

DEDE_V5.6/V5.5/V5.3文章和评论,实现自动采集、发布与定时更新并生成静态页,这是一套快速的、准确的、完整的、经过长期测试的DEDE网站内容建设解决方案。

我们将这个功能定义为“预发布”。

可以实现大批量内容连带评论同时采集,然后发布为预审核内容存放在数据库中,最后通过前台无人值守的激活方式把文章和评论发布出来,模仿高逼真的发布效果。

这是一个自动的、简单的、功能强大的、颠覆手工与迎合搜索引擎优化的内容采集与发布方案,可以完全解决手工采集的繁杂与工作量,可以解决普通采集程序无法实现的搜索引擎优化与用户体验问题,高度模仿真实内容的发布状态,堪称国内网站内容采集第一方案。

预发布文章和评论,实现自动采集、发布与定时更新并生成静态页,这一套程序主要包括内容预发布处理程序,前台内容审核程序,前台静态页面生成程序构成。

本程序于2010年5月11日最后更新,请商业用户联系升级。

继续阅读DEDE_V5.6/V5.5/V5.3 文章和评论,实现自动采集、发布与定时更新并生成静态页面

DEDE使用火车采集器实现的自动实时发布文章和更新HTMl的功能

一,为什么有这个想法:

  1. 使用火车发布文章,有三大不足。
    • 需要登陆发布,受DEDE系统限制太大
    • 就是一次发布的数量有限制,可能造成一次性发布太多遭K的恶果
    • 如果网站首页是静态文件,则不能更新首页,用户就不知道网站的更新情况
  2. 如果没有一台可以一直运行的服务器,使用火车采集器的自动更新功能就不太现实
  3. 火车采集器的自动更新功能是收费的,呵呵。
  4. 自己需要咯,想挑战一下自己咯等。

二,Do it.

  1. 首先想到,让火车发布大量数据,且将文章属性设置为未审核状态,这个问题很简单,使用DEDEv5.3.1时却遇到DEDE的一个Bug。就是未审核的文章居然会在前台显示。先是对DEDE一气臭骂,后来找了一些原因,发现了DEDEv5.3.1中的一个Bug.经修复后可以实现未审核的文章不在前台显示。1月13号到DEDE报告Bug以后,1月14号DEDE出的补丁中修复了这个问题,呵呵,所以,1月15号,就是今天咯,开始正式整理此开发文档。
  2. 实际发现,发布和保存大量未审核文章不成问题,难在如何实现随机激发发布功能。想了很久,觉得使用时间限制最好。当前台JS调用了审核文章的链接,传递一个访问用户的信息,程序取得用户的IP并保存为SESSION信息,此时,审核一篇文章并生成文章与首页静态文件。一个用户在一定的时间内,只能激活限定数量的文章,且,发布时使用此用户的IP信息,呵,挺个性的。
  3. 激活文章,生成文章静态页和首页静态文章,受网站模板的影响,可能会比较慢,则会出现首页未生成完页面就被关闭的问题。所以,最好的办法是,在发布时文章时就生成文章静态文件,然后把文章设置为未审核状态。激活文章时则只需要很短的查询。首页或者列表页尽量使用动态页,这两个问题不好处理,只能以此法代之。
  4. 完整的过程就是,发布文档时,将文档设置为未审核状态;调用程序时,先判断上一次查询的缓存有没有超时,如果超过缓存时间,则清除缓存,以显示最新的文章。清除缓存以后,查询出一定数量属性为未审核的文档,将Archives和Arctiny表中的未审核属性取消,并更新一下文档的Pubdate字段,实现一点随机化。最后写入缓存,禁止缓存有效期内的重复更新!

三,文件使用方法:

  1. 发布文档时请把文档属性设置为未审核状态,即发布时提交的文档属性参数为:arcrank=-1,这时为动态浏览;
  2. 如果你想生成静态文档,请将文档状态设置为正常浏览状态,即arcrank=0;然后修改默认文档添加程序。
    如:arcticle_add.php,在文件最下边“//生成HTML”处添加一段代码:

  3. //生成HTML
    InsertTags($tags,$arcID);
    $artUrl = MakeArt($arcID,true,true);
    if($artUrl=='')
    {
    $artUrl = $cfg_phpurl."/view.php?aid=$arcID";
    }
    $dsql->ExecuteNoneQuery("UPDATE `#@__archives` SET `arcrank`='-1' WHERE (`id`='$arcID');");
    $dsql->ExecuteNoneQuery("UPDATE `#@__arctiny` SET `arcrank`='-1' WHERE (`id`='$arcID');");

  4. 然后,上传New.php到你的网站根目录,到Dede后台设置系统基本设置中,将性能选项卡中的arclist标签调用缓存时间设置为一个合适的数,如3600表示一个小时刷新一次缓存。
  5. 最后,在模板文件顶部调用一段代码即可:
    <script type="text/javascript" src="{dede:global.cfg_cmsurl/}/new.php"></script> ”。
  6. 支持的参数:
    • no=每次随机更新的数量,为空时默认为5;
    • typeid=栏目ID,为空则是全站数据
    • order=排序方式,支持Desc:倒序,Asc:顺序,Rand:随机,默认为随机查询。
    • 如:“ <script type="text/javascript" src="{dede:global.cfg_cmsurl/}/new.php?no=100&typeid=2&order=desc"></script>
    • 排序为Desc的时候,是按先发布的文章先审核的方式进行发布的,Asc反之,Rand为随机。

四,这是我们在数据处理方面做的一个尝试,也许这种新的模式会是一次突破。祝大家使用愉快。有Bug或者建议请回复于后。

点此下载文件:dedecms_v53_autonew
注:此处为5.3时发布的测试版程序,后测试也可运行在DEDE5.5。

DEDE问答程序采集发布接口、规则、模块下载,带视频演示

火车采集器 To DEDE-V5.1,5.3,5.5,5.6 问答模型  专用接口 By vus520 QQ:130775

接口版本:

本接口是尘缘早期开发的一个接口产品,从最初的DEDE 2007,一直升级直到现在的V5.6。
接口功能:

  • 同时添加多个栏目分类
  • 同时添加多条回复
  • 同时 添加多用户
  • 支持随机用户发表,支持回复时间随机增加
  • 支持问题补充,感谢评语和随机好评
  • 根据上级分 类自动获取一级二级栏目信息,简化操作
  • 可以快速重装数据表
  • 增加了生成问答模型Sitemap的功能。

注意事项:

  • 为保证程序安全,请务必修改接口文件名
  • 此接口所授权商业用户不 得用于其它商业用途,不得修改版权,不得发布于除火车论坛以外的其它论坛

优惠信息:
本接口售价RMB 150 元,全套文件含有:PHP接口,Web发布模块,百度知道采集规则,新浪 爱问采集规则,操作视频。

视频教程&演示:
下 载

截图于后:
ded-ask.jpg

下载 (194.86 KB)

2009-8-22 12:30

[2009-06-14更新]Modoer内容采集程序,准确快速方便的Modoer内容解决方案

网站建设核心在运营模式,基础在内容建设。

我们提供的内容采集方案可以为你解决以下几个难题:

一,采集软件化,解决人手少,每天更新数据少,手工发布内容难度大,重复率高,效率低的问题
二,过程自动化,批量化数据更新,你仅需要在后台做一些简单的修改和整理,你可以花更多的时间在改进用户体验上
三,模拟原创化,每日自动发布信息,创造多用户同时在线气氛,搜索引擎优化 继续阅读[2009-06-14更新]Modoer内容采集程序,准确快速方便的Modoer内容解决方案

火车采集器第二期教程目录

火车采集器第二期教程

·   前言

1.     什么是采集器,采集器的工作原理,运用范围

2.     网站管理系统与采集器(CMS+LocoySpider)的运用和前景

3.     本教程的相关术语和学习要求

·   第一部分,软件与功能介绍

1.     火车采集器软件介绍,功能简介,购买及售后简介

2.     火车采集器软件的下载,环境安装

3.     火车采集器软件界面,功能菜单介绍,版本介绍

4.     重难点:火车采集器工作流程

·   第二部分,站点功能及操作

1.     站点的建立、删除,站点规则导入、导出

2.     站点规则制作请参考任务规则制作

·   第三部分,任务功能与操作,重难点内容

1.      第一步,任务的建立、删除、数据处理,任务规则导入、导出、复制

2.      第二步,添加采集网址规则:自动分析链接

2.1.   重难点:添加采集网址规则:手动设置链接格式

3.      第三步,规则标签的建立、修改、删除、复制

3.1.   第四步:使用前后截取模式采集数据

3.2.   重难点:使用正则匹配模式采集数据

3.3.   重难点:使用自定义格式获取数据

3.4.   重难点:过滤、替换、文件下载设置

3.5.   进阶篇:使用正则表达式的采集方法

4.      第四步:配置发布方式

4.1.   重难点:WEB发布方式介绍与配置

4.2.   重难点:数据库发布方式介绍与配置

5.      第五步:文件保存及任务运行时设置

·   第四部分,火车采集器内容发布模块的制作与配置

1.     免费版:WEB发布模块介绍、建立、制作、修改、加密

2.     标准版:数据库发布模块介绍、建立、制作、修改、加密

3.     重难点:DEDECMS简介,DEDECMSWeb发布模块的制作

·   第五部分,数据采集、编辑、发布,自动更新,数据库整理等

1.     采集任务的启动,停止,批量设定

2.     标准版:任务自动更新设置,采集数据库处理

·   第六部分,完整规则的制作、采集、发布

1.      论坛发布:采集Discuz 6.1论坛帖子与回复

1.1.   论坛发布:发布Discuz 6.1论坛帖子与回复(使用接口文件)

2.      CMS实例:采集并实现 DEDE V5.1 图片模型内容的发布,下载附件,远程附件

3.      博客实例:实现百度空间内容的发布

4.      进阶:多特软件站全站采集与自动更新

·   第七部分,其它

1.     火车采集器多功能插件的配置与使用

2.     产品与服务订制,联系方式与报价