网际网路数据採集与挖掘技术：是指利用计算机软体技术，针对定製的目标数据源，实时进行信息採集、抽取、挖掘、处理，从而为各种信息服务系统提供数据输入，并按业务所需，进行数据发布、分析的整个过程。

要求从网际网路上对特定目标数据源或不特定目标数据源进行採集与监控，并对信息进行结构化抽取保存为本地结构化资料库，然后按业务流程需求与其它模组结合，导入与套用并服务于到电子行业平台。

(2)、数据导出接口丰富，可以将数据导出成各种主流结构关係型数据。

对于新闻资讯採集，只需输入待採集目标网站的地址或某个主题页面地址，软体即会自动学习网站的风格，并自动提取网站的资讯，无需配置模板，目标网站风格发生变化，软体自动学习。对于数据採集软体提供了通俗易懂的站点配置嚮导，维护人员稍加培训即可配置出任何的信息採集。对于複杂的採集过程，通过一张採集卡脚本即可实现信息的自动採集与监控。

增加採集：对于初次採集目标网站，软体支持完全採集；而对于已採集过的站点支持增量採集。支持自动更新：自动检测站点是否发生更新，并不会遗漏任何一个重要的信息。

不是利用简单的规则判断,而是利用内容的相似性进行排重判断,準确性高,不会因为标题或内容的少许变化而产生漏判,即使把标题进行了改头换面,系统也会正确判定。

可以通过一个关键字广域监控网际网路上任何一个站点上的相关信息。也可以通过设定监控频道监控任何站点所採集到含有关键字的信息。对于数值栏位可以设定监控误差监控数值出现在一定範围内的信息。信息监控达到栏位级。您可以对任何一个採集目标网站设定监控属性，监控周期达到了秒级。对于发生变化的信息可以在短时间内採集到本地

强大的站点管理工具可以对所有採集对象进行集中管理和各种操作

支持多种网站的信息的编码，GBK、BIG5、UNICODE、UTF8，软体会自动转换成GBK码进行统一的处理。软体即会自动识别网站的组织结构，自动识别网站的编码。 表单管理，随心所欲自定义表单，方便採集不同的内容，如採集软体用单独的表单，採集图片用图片表单。

提供信息导入导出与其它软体可作无缝连线 ，如CRM OA 软体提供有强大的信息记录导入导出功能，您可以对任何一个频道、一条记录进行导入与导出。可以导成Excel/Access等，也可以直接导到指定的资料库。与《信息发布伺服器》结合使用可以将信息发布到任何一个地方。

任何一种信息类型，软体都会自动创建一个阅读模板方便了您快速阅读；任何信息您可以对任何一种信息表单定製一款漂亮的阅读模板，也可以对任何一个频道设定不同的阅读模板。

对于目标数据源的一篇文章在目标网站上分页显示,系统能自动对其重组.软体运行稳定、採集速度快、占用系统资源少。

历经多次改造的软体採集底层模组运行稳定、採集速度快，点用系统资源少。可多执行绪并发运行，而不占有过多的系统资源。採集速度快到瞬间到位。软体完全可以实现7*24小时不间断无人值守的信息採集。更多细节功能有待于您在使用中去体验。

(12)、军犬“信息採集系统”其它特点列表：

1、支持多种语言:支持简体中文、繁体中文、英文、日文、韩文等多国语言

2、支持多种站点类型：包括html与rss

3、支持登录、验证后採集

4、软体支持需要登录与需要验证码的网站信息採集，採集过程完全仿人工。

5、支持附属档案採集

包括图片附属档案採集、多媒体附属档案採集、音视频附属档案採集、附属档案与正文自动映射与关联

6、完全结构化抽取将网页的非结构化数据抽取成特定的结构化信息数据。

网页搜寻是以网页为最小单位，基于视觉的网页块分析是以网页块为最小单位，垂直搜寻是以结构化数据为最小单位。然后将这些数据存储到资料库，进行进一步的加工处理，如：去重、分类等，最后分词、索引再以搜寻的方式满足用户的需求。

整个过程中，数据由非结构化数据抽取成结构化数据，经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。

7、数据保存到本地，您可以随时查阅信息。 採集到信息自动保存到本地资料库，您可以随时查阅信息。

8、多线层、多任务

9、支持海量数据採集

10、软体实用、易用、功能强大

11、可移植、可扩展、可定製

l、支持多执行绪採集。

2、单机在数据採集在G级以上。

3、数据与数据源同步更新小于10秒级。

4、数据同步发布小于10秒级。

1、搜寻引擎与垂直搜寻 2、综合门户与行业门户

3、电子政务与电子商务 4、知识管理与知识共享

5、企业竞争情报系统 6、BI商业智慧型系统

7、信息谘询与信息增值 8、信息安全和信息监控

要求：WindowsNT4/ Windows 2000 Server 或更新的作业系统。

要求： Microsoft SQL Server 7/ 2000或其它ODBC　接口

要求：intel xeon 2G 以上CPU，2G 以上RAM，硬碟空间200GB以上

第一步：确定採集任务。

网际网路採集系统流程

第二步：每个採集任务，我们有多个目标数据源可供採集。

第三步：针对不同的目标数据源，进行不同的採集配置，以确保能採集到数据。

第四步：调度採集任务，与目标站点同步更新，增量採集。

第五步：採集到数据结果，完成数据异构到同构的过程。

第六步：通过发布伺服器，将数据发布到套用平台。