Archive for LocoySpider
DEDE_V5.6/V5.5/V5.3 文章和评论，实现自动采集、发布与定时更新并生成静态页面
发表于 2009-02-12 22:33 : 评论 ( 16 条评论 )
DEDE_V5.6/V5.5/V5.3文章和评论，实现自动采集、发布与定时更新并生成静态页，这是一套快速的、准确的、完整的、经过长期测试的DEDE网站内容建设解决方案。 我们将这个功能定义为“预发布”。 可以实现大批量内容连带评论同时采集，然后发布为预审核内容存放在数据库中，最后通过前台无人值守的激活方式把文章和评论发布出来，模仿高逼真的发布效果。 这是一个自动的、简单的、功能强大的、颠覆手工与迎合搜索引擎优化的内容采集与发布方案，可以完全解决手工采集的繁杂与工作量，可以解决普通采集程序无法实现的搜索引擎优化与用户体验问题，高度模仿真实内容的发布状态，堪称国内网站内容采集第一方案。 预发布文章和评论，实现自动采集、发布与定时更新并生成静态页，这一套程序主要包括内容预发布处理程序，前台内容审核程序，前台静态页面生成程序构成。 本程序于2010年5月11日最后更新，请商业用户联系升级。
DEDE使用火车采集器实现的自动实时发布文章和更新HTMl的功能
发表于 2009-01-15 05:41 : 评论 ( 19 条评论 )
一，为什么有这个想法： 使用火车发布文章，有三大不足。 需要登陆发布，受DEDE系统限制太大 就是一次发布的数量有限制，可能造成一次性发布太多遭K的恶果 如果网站首页是静态文件，则不能更新首页，用户就不知道网站的更新情况 如果没有一台可以一直运行的服务器，使用火车采集器的自动更新功能就不太现实 火车采集器的自动更新功能是收费的，呵呵。 自己需要咯，想挑战一下自己咯等。 二，Do it. 首先想到，让火车发布大量数据，且将文章属性设置为未审核状态，这个问题很简单，使用DEDEv5.3.1时却遇到DEDE的一个Bug。就是未审核的文章居然会在前台显示。先是对DEDE一气臭骂，后来找了一些原因，发现了DEDEv5.3.1中的一个Bug.经修复后可以实现未审核的文章不在前台显示。1月13号到DEDE报告Bug以后，1月14号DEDE出的补丁中修复了这个问题，呵呵，所以，1月15号，就是今天咯，开始正式整理此开发文档。 实际发现，发布和保存大量未审核文章不成问题，难在如何实现随机激发发布功能。想了很久，觉得使用时间限制最好。当前台JS调用了审核文章的链接，传递一个访问用户的信息，程序取得用户的IP并保存为SESSION信息，此时，审核一篇文章并生成文章与首页静态文件。一个用户在一定的时间内，只能激活限定数量的文章，且，发布时使用此用户的IP信息，呵，挺个性的。 激活文章，生成文章静态页和首页静态文章，受网站模板的影响，可能会比较慢，则会出现首页未生成完页面就被关闭的问题。所以，最好的办法是，在发布时文章时就生成文章静态文件，然后把文章设置为未审核状态。激活文章时则只需要很短的查询。首页或者列表页尽量使用动态页，这两个问题不好处理，只能以此法代之。 完整的过程就是，发布文档时，将文档设置为未审核状态；调用程序时，先判断上一次查询的缓存有没有超时，如果超过缓存时间，则清除缓存，以显示最新的文章。清除缓存以后，查询出一定数量属性为未审核的文档，将Archives和Arctiny表中的未审核属性取消，并更新一下文档的Pubdate字段，实现一点随机化。最后写入缓存，禁止缓存有效期内的重复更新！ 三，文件使用方法： 发布文档时请把文档属性设置为未审核状态，即发布时提交的文档属性参数为:arcrank=-1,这时为动态浏览; 如果你想生成静态文档，请将文档状态设置为正常浏览状态，即arcrank=0;然后修改默认文档添加程序。 如：arcticle_add.php,在文件最下边“//生成HTML”处添加一段代码： //生成HTML InsertTags($tags,$arcID); $artUrl = MakeArt($arcID,true,true); if($artUrl=='') { $artUrl = $cfg_phpurl."/view.php?aid=$arcID"; } $dsql->ExecuteNoneQuery("UPDATE `#@__archives` SET `arcrank`='-1' WHERE (`id`='$arcID');"); $dsql->ExecuteNoneQuery("UPDATE `#@__arctiny` SET `arcrank`='-1' WHERE (`id`='$arcID');"); 然后，上传New.php到你的网站根目录，到Dede后台设置系统基本设置中，将性能选项卡中的arclist标签调用缓存时间设置为一个合适的数，如3600表示一个小时刷新一次缓存。 最后，在模板文件顶部调用一段代码即可： “ <script type="text/javascript" src="{dede:global.cfg_cmsurl/}/new.php"></script> ”。 支持的参数： no=每次随机更新的数量，为空时默认为5； typeid=栏目ID，为空则是全站数据 order=排序方式，支持Desc：倒序，Asc:顺序，Rand:随机，默认为随机查询。 如：“ <script type="text/javascript" [...]
DEDE问答程序采集发布接口、规则、模块下载，带视频演示
发表于 2008-09-22 01:18 : 评论 ( 24 条评论 )
火车采集器 To DEDE-V5.1，5.3，5.5，5.6 问答模型 专用接口 By vus520 QQ:130775 接口版本： 本接口是尘缘早期开发的一个接口产品，从最初的DEDE 2007，一直升级直到现在的V5.6。 接口功能： 同时添加多个栏目分类 同时添加多条回复 同时 添加多用户 支持随机用户发表，支持回复时间随机增加 支持问题补充，感谢评语和随机好评 根据上级分 类自动获取一级二级栏目信息，简化操作 可以快速重装数据表 增加了生成问答模型Sitemap的功能。 注意事项： 为保证程序安全，请务必修改接口文件名 此接口所授权商业用户不 得用于其它商业用途，不得修改版权，不得发布于除火车论坛以外的其它论坛 优惠信息： 本接口售价RMB 150 元，全套文件含有：PHP接口，Web发布模块，百度知道采集规则，新浪 爱问采集规则，操作视频。 视频教程&演示： 下 载 截图于后： 下载 (194.86 KB) 2009-8-22 12:30
[2009-06-14更新]Modoer内容采集程序，准确快速方便的Modoer内容解决方案
发表于 2008-09-10 03:30 : 评论 ( 没有评论 )
网站建设核心在运营模式，基础在内容建设。 我们提供的内容采集方案可以为你解决以下几个难题： 一，采集软件化，解决人手少，每天更新数据少，手工发布内容难度大，重复率高，效率低的问题 二，过程自动化，批量化数据更新，你仅需要在后台做一些简单的修改和整理，你可以花更多的时间在改进用户体验上 三，模拟原创化，每日自动发布信息，创造多用户同时在线气氛，搜索引擎优化
火车采集器第二期教程目录
发表于 2008-05-29 19:36 : 评论 ( 没有评论 )
火车采集器第二期教程 · 前言 1. 什么是采集器，采集器的工作原理，运用范围 2. 网站管理系统与采集器（CMS+LocoySpider）的运用和前景 3. 本教程的相关术语和学习要求 · 第一部分，软件与功能介绍 1. 火车采集器软件介绍，功能简介，购买及售后简介 2. 火车采集器软件的下载，环境安装 3. 火车采集器软件界面，功能菜单介绍，版本介绍 4. 重难点：火车采集器工作流程 · 第二部分，“站点”功能及操作 1. 站点的建立、删除，站点规则导入、导出 2. 站点规则制作请参考任务规则制作 · 第三部分，“任务”功能与操作，重难点内容 1. 第一步，任务的建立、删除、数据处理，任务规则导入、导出、复制 2. 第二步，添加采集网址规则：自动分析链接 2.1. 重难点：添加采集网址规则：手动设置链接格式 3. 第三步，规则标签的建立、修改、删除、复制 3.1. 第四步：使用前后截取模式采集数据 3.2. 重难点：使用正则匹配模式采集数据 3.3. 重难点：使用自定义格式获取数据 3.4. 重难点：过滤、替换、文件下载设置 3.5. 进阶篇：使用正则表达式的采集方法 4. 第四步：配置发布方式 4.1. 重难点：WEB发布方式介绍与配置 4.2. 重难点：数据库发布方式介绍与配置 5. 第五步：文件保存及任务运行时设置 · 第四部分，火车采集器内容发布模块的制作与配置 [...]
