现在位置：范文先生网>理工论文>计算机信息技术>面向中小企业智能数据处理工具

面向中小企业智能数据处理工具

时间：2023-02-21 00:09:09 计算机信息技术我要投稿

相关推荐

面向中小企业智能数据处理工具

　　吴坚王家捷张波
　　
　　摘要：
　　
　　本文分析了目前国内企业MIS应用的的现状，分析了今后企业信息系统的应用需求，根据目前状况和需求介绍了一个商业智能工具软件的设计。
　　
　　关键词：MIS DSS 商业智能 OLAP 数据仓库
　　
　　一、企业MIS应用现状
　　
　　随着国内企业改革的不断深入，企业管理也随之深化，企业领导、管理人员和专业技术人员都更加充分认识到了信息资源只有通过信息系统的加工处理，才能得到更有效的利用。信息系统的建设在社会经济活动中起着越来越重要的作用。经过几十年的探索与实践，我国各企事业信息系统的建设也由单项应用、小系统应用向大型化和网络化方向发展。
　　
　　但是，我们也清楚地看到目前MIS的建设仍有许多不尽人意之处，如：许多MIS往往只限于对数据的统计分析，而真正涉及到预测、决策及优化方面的工作较少，结果是只能代替一部分繁重的手工劳动，并没有充分发挥MIS的效益。当前的MIS所必须解决的一些较普遍的问题有：
　　
　　涉及的数据种类多、数据量大，而且数据往往分散在各业务部门，每个业务部门对信息的收集方式、分析方法、统计口径、报表输出形式等都有各自独特的处理要求。
　　
　　具有明显的时变性。管理制度的不断改革和经济形式的不断变化，引起信息处理方法频繁变更，各业务口采集的数据，及对基础数据的分析统计方法，报表输出格式都会随着形势的发展而有新的变化和侧重。这些修改必须由专业程序员利用较长的时间才能完成，远远无法满足对系统数据灵活查询，随机查询的要求，浪费了宝贵的数据内在的价值。而且由于系统不停地被改动，稳定性也大大降低。
　　
　　新、旧系统的继承与发展。有的企业原来就有MIS,但是旧的系统不能满足各业务部门自身的业务需求，而且早期的系统多采用单机环境，所采用的应用平台及数据库系统也各不相同。怎样将这些现有的、零散的、独立的信息继承起来，有效地利用，也是企业信息化建设的重要课题。
　　
　　缺乏辅助决策支持功能。许多MIS往往只限于解决一些具体的业务处理问题，对数据的统计分析较少，而涉及到多维分析、决策支持及数据挖掘方面的工作则更少，使大量数据不能充分发挥效益。
　　
　　二、企业通用管理软件现状
　　
　　我国中小型企业占国内企业总数的94%,它们在市场中最具活力。在大型企业对计算机的需求已经趋于平稳的时候，中小型企业用户就显得格外的突出。中小型企业由于企业自身的规模有限，没有能力自己独立开发内部管理软件，而并不十分健全的内部经营体系又急需系统化的管理，这就为企业管理软件的发展打下了坚实的基础。
　　
　　当前，建立竞争优势，提高市场竞争力已经成为企业管理的核心，而原有的管理软件已经越来越不能适应管理实践的要求，新的时代需要新一代的管理软件。我国企业管理软件的发展，在经历了单项管理系统、MRP/MRPⅡ应用之后，正朝着更先进的ERP模式发展。ERP（企业资源计划）是管理信息系统在九十年代的最新发展，近年来被引入到中国后，受到国内的广泛关注。ERP不仅集成了企业运营和管理的各主要部分（财务、分销、制造、人力资源、决策支持），更代表了先进的管理思想和管理方式。我们可以预见， ERP将作为管理现代化的重要工具，在我国企业等组织得到越来越广泛的应用。
　　
　　但是，当前国内ERP 系统的数据分析能力大都不够强大，而ERP系统启动运行之后，其数据分析能力是决定性能的重要指标。面向ERP软件的数据分析功能被称为“商业智能”,其主要功能是对ERP系统积累的数据进行分析处理，形象地说就是帮助用户发现ERP系统积累的数据的潜在价值。可以这么说，普通的ERP 系统能够帮助用户规范企业的管理，而拥有强大数据分析功能的ERP 系统则能够使用户从这种规范的管理中获得更大的效益。因此，如果企业要采用ERP系统，一般需要一个强大的数据分析部件。这个数据分析部件能够与ERP系统集成，在ERP系统运行过程中采集数据进行分析，并能将样本数据和分析结果存入数据仓库以便用户查询采用。
　　
　　三、企业信息系统应用需求
　　
　　1、企业对数据仓库的需求
　　
　　调查研究表明，大多数企业并不缺少数据，而是受阻于过量的冗余数据和数据不一致；而且它们变得越来越难于访问、管理和用于决策支持；其数据量正以成倍的速度增长。这样，信息中心面临着不断增长的决策支持的需求，但是，开发应用变得越来越复杂和耗费人力。那么怎样把大量的数据转换成可靠的、商用的信息以便于决策支持呢？数据仓库正广泛地被公认为是最好的解决方案。
　　
　　数据仓库化是企业范围内数据的处理过程，它将企业内分散的原始操作数据和来自外部的数据汇集和整理在一起，为企业提供完整、及时、准确和明了的决策信息，使最终用户能够真正利用DSS工具直接从企业信息池中随机地提取、分析数据，有效地服务于企业的全方位决策。作为一个决策支持环境，DW（Data Warehouse）收集存储了各种不同数据源中的数据。通过数据的组织给决策支持者提供分布在整个企业内部跨平台的数据。
　　
　　再下一步，现有的管理系统和现有的数据仓库将得到扩展，一是使数据仓库从一种局部的企业解决方案扩展到企业外部，扩展到企业的用户中去，使企业用户的数据仓库使用面更加广泛，这些可以通过Internet/Intranet的帮助来实现，这是数据仓库与电子商务相互融合的一点；二是使数据仓库从一种企业数据管理工具扩展到企业辅助决策工具，能够充分利用数据仓库中的数据资源，为企业的发展起到辅助决策的功能，使企业用户的数据仓库得到更加深入的使用，这些可以通过数据库厂商提供的工具来实现，也可以由其它软件公司提供的独立工具包来实现，这是数据仓库与商务智能相互融合的一点。
　　
　　2、企业对Internet/Intranet的需求
　　
　　企业决策系统与互联网的结合，正成为企业亟待解决的焦点问题之一。因为随着企业内部和企业间的信息交流量的增大，用户已不再满足于简单的文件共享方式，而是追求一种更灵活、更方便的数据共享策略，这便是大批企业用户将自身以数据库为核心的MIS系统从客户机/服务器计算模式向Internet/Intranet的系统架构转变。另外，发展到一定规模的企业，其自身的国际化已成为必然，一些分支机构可能是跨地区、跨国界的，因此，在数据传递、信息共享和发布时，Internet成为这些跨地域企业的必然选择；激烈的市场竞争，也要求企业对市场变化做出快速的反应，用户的需求也不再是对离散的单个信息做简单的查询，而是要求能够提供一种对企业大量数据做出汇总的、多层次的、多侧面的快速灵活的查询、分析及报表制作手段。因此，市场上最需求的是如何使数据库中的大量信息满足人们不断变化的业务需求，并能及时为管理决策支持提供服务。如何将企业决策支持系统与Internet/Intranet技术有机地结合起来，提供基于Web,集查询、报表、OLAP（On-Line Analytical Processing）分析及数据挖掘为一体的企业级决策支持解决方案，已经成为一个重要课题。
　　
　　四、企业智能数据处理工具的设计
　　
　　针对企业应用需求，我们分别在一九九五年和一九九七年开发出“科力MIS—多媒体MIS系统生成工具软件”DOS版和Windows版本，这个工具软件主要解决用户不写程序，通过可视化交互设计工具建立管理系统的需求，它还支持声音、图像和AVI活动图像的数据库存储和显示等的多媒体应用。经过几年来的实践，我们认为企业迫切需要一种智能化的数据处理工具，这类工具将解决如下问题：
　　
　　建立在企业已有MIS系统或ERP系统的基础之上，利用已有的数据。现在有许多中小型企业已经有了一些MIS系统或ERP系统，但由于形势的变化，很快就会有进一步的需求，因此迫切需要新的软件，既能解决出现的问题，又能利用已有的数据。
　　
　　为部分中型企业提供基于数据仓库的解决方案。对小型企业，出于各方面的考虑，一般都不采用基于数据仓库的解决方案，而对于中型企业，则应该给他们一个建立自己的数据仓库的机会。如果能建立数据仓库，就能更好地组织企业的数据，智能决策工具也能发挥更大的功效。
　　
　　可以为小型企业提供通用MIS系统生成工具。对一些需求比较简单的小型企业，不用用户编程，就能通过可视化的方法实现一个MIS系统，再结合智能决策系统，将能实现更灵活、更强大的功能。
　　
　　既可以实现传统的查询及统计报表功能，又可以实现多维数据分析、决策支持及数据发掘等高级功能。智能决策工具可以实现极为灵活的查询和报表，而且内嵌了部分分析功能，可以称之为交互式的查询和报表。另外，即使在较大型的MIS系统甚至ERP系统中，都很难找到多维数据分析、决策支持及数据发掘等高级功能，智能决策工具内却提供这些功能，这样就可以很好地利用原有的数据，大大加强原有系统的能力。
　　
　　全面支持Internet/Intranet.绝大部分的输出都可以定向为HTML文件，这中间包括查询结果、报表、分析和数据挖掘的结果等；另外，还提供部分功能在基于浏览器的环境中实现，使用户可以通过浏览器来进行诸如查询数据、浏览报表、简单分析等功能。
　　
　　五、系统的结构
　　
　　系统分为两大部分棗分析设计部分和应用系统部分，分别面向企业IS（信息系统管理员）人员与企业管理人员，IS人员除了负责高级数据分析工作以外，还负责为管理人员设计具体应用系统，由于大部分具体的应用工作可以由管理人员来完成，所以从另一个方面缓解了信息人才缺乏的问题。应用系统部分的功能结构图见图一，设计部分功能结构图见图二。系统中最重要的是“描述层”的设计。
　　
　　在一般的商业用户访问数据时，他们最担心的往往是复杂的数据库术语和繁复的数据库操作。如何才能赋予这些商业用户自主访问数据库和数据仓库中信息的能力，使他们可以把那些数据库术语和操作抛之脑后呢？我们在此使用了一种称为“描述层”的技术来解决这个问题。在使用了“描述层”技术后，不但解决了一般商业用户担心的问题，而且同时也提供了IS人员控制和管理数据访问所必须的工具。这一技术把复杂的数据库结构描述成易于理解的业务术语，把商业用户同技术性的数据库术语以及复杂的SQL访问语言分离开来。它就像一个透镜，用户可以通过它来看数据仓库。这样最终用户无须具备计算机专业知识，更不必是数据库方面的专家，就能够自主地访问公共数据，分析信息，从而更好地理解企业发展的趋势，作出明智的决策。
　　
　　“描述层”可以被称为一个覆盖在数据库内部数据对象之上的一个解释层，是用户和数据库之间的一个代码翻译层，也就是将数据库中比较凌乱、复杂的数据对象（例如：存储在数据表中的各个字段的记录）通过预先定义好的规则（“描述层”）过滤转换成实际使用的业务对象，例如：人员姓名、物资类型等等。同时，“描述层”的功能不仅仅在于过滤和映射，还可以对数据通过预先定义好的规则进行重组，例如在数据库中没有的高层数据（比如：通过价格和销售量在本地提取销售额），所以我们可以通过“描述层”给数据库增加一些不存在而又有实际意义的内容。另外，我们还可以利用“描述层”来增加数据库中数据所包含的信息量（比如：建立某一字段的分类规则，使数据库中的记录可以分属于不同的类别，具体的例子是，按销售业绩多少分为优、良、中、差，用户就可以直接用诸如 “销售业绩=优”之类的条件进行查询；类似的还有分层规则等其它许多规则）。最后，我们还可以在“描述层”中加入一些预定义的条件，在以后的查询或分析时，就可以直接从“描述层”中提取条件。使用“描述层”重组数据的实际意义在于：数据库内大量珍贵的数据资源不再是只有数据库开发人员才能理解的“天书”,通过“描述层”的解释和组织，大多数不具备计算机专业知识的业务人员，可以直接使用这些数据。
　　
　　在这个部分，主要的工作就是两点，即“描述层”的定义与解释。在“描述层”的定义部分，要进行各种不同类型的定义，具体来说就是上一段提到的几种类型，然后将各个类型的定义作为元数据进行存储。在定义的过程中，必然要通过数据库连接工具来对数据库或数据仓库进行访问，再按照数据库的结构和内容来设计各个不同的“描述”.另外，在以后使用本系统的其它主体部分如查询、报表、分析和数据挖掘部分时，将用到“描述层”中定义的“描述”,这是就需要“描述层”的解释部分来进行解释，将“描述”语言翻译为数据库能够接受的语言。
　　
　　本软件设计中的另一个重点是体现商业智能化的数据挖掘功能，随着数据库技术的不断发展及数据库管理系统的广泛应用，数据库中存储的数据量急剧增大，可是目前用于对这些数据进行分析处理的工具却很少。现在所能做到的只是对数据库中已有的数据进行由人驱动的分析，人们通过这些数据所获得的信息量仅仅是整个数据库所包含的信息量的一部分，隐藏在这些数据之后的更重要的信息是关于这些数据的整体特征的描述及对其发展趋势的预测，这些信息在决策生成的过程中具有重要的参考价值。
　　
　　数据库中的知识发现（KDD）就是利用机器学习的方法从数据库中提取有价值知识的过程，是数据库技术和机器学习两个学科的交叉学科。数据库技术侧重于对数据存储处理的高效率方法的研究，而机器学习则侧重于设计新的方法从数据中提取知识。KDD利用数据库技术对数据进行前端处理，而利用机器学习方法则从处理后的数据中提取有用的知识。KDD与其他学科也有很强的联系，如统计学、数学和可视化技术等等。
　　
　　在我们的系统中，将实现一个完整的KDD工具，也可以称为数据挖掘（Data Mining）工具。因为我们要面向广大商业用户，所以我们的系统特别注重对用户与数据库交互的支持，由用户根据数据库中的数据，选择一种模型，然后选择有关数据进行知识的挖掘，并不断对模型的数据进行调整优化。整个处理过程分为下面一些步骤：
　　
　　数据发现：了解任务所涉及的原始数据的数据结构及数据所代表的意义，并从数据库中提取相关数据。
　　
　　数据清理：对用户的数据进行清理以使其适于后续的数据处理。这需要用户的背景知识，同时也应该根据实际的任务确定清理规则。
　　
　　模型的确定：通过对数据的分析选择一个初始的模型。模型定义一般分为三个步骤：数据分隔，模型选择和参数选择。在我们的系统中，主要引入了关联规则模型和分类模型。
　　
　　数据分析：对选中的模型进行详细定义，确定模型的类型及有关属性；通过对相关数据的计算，计算模型的有关参数，得到模型的各属性值；通过测试数据对得到的模型进行测试和评价；根据评价结果对模型进行优化。
　　
　　输出结果生成：数据分析的结果一般都比较复杂，很难被人理解，将结果以文档或图表形式表现出来则易于被人接受。
　　
　　在KDD过程中，最重要的是其中的数据挖掘部分，即模型和相关属性的确定。我们计划采用其中应用最广泛的两个模型，分别是关联规则和分类规则，以下作详细的介绍。
　　
　　关联规则是形式如下的一种规则，“在购买面包和黄油的顾客中，有90%的人同时也买了牛奶”（面包+黄油=>牛奶）。用于关联规则发现的主要对象是事务型数据库，其中最典型的应用则是售货数据，一个事务一般由如下几个部分组成：事务处理时间，一组顾客购买的物品，有时也有顾客标识号（如信用卡号）。如果对这些历史事务数据进行分析，则可对顾客的购买行为提供极有价值的信息。例如，可以帮助如何摆放货架上的商品（如把顾客经常同时买的商品放在一起），帮助如何规划市场（怎样相互搭配进货）。由此可见，从事务数据中发现关联规则，对于改进零售业等商业活动的决策非常重要。随着应用的推广，关联规则已经在许多领域发挥作用，成为最典型的数据挖掘应用。
　　
　　分类也是数据挖掘中的一项非常重要的任务。分类的目的是学会一个分类函数或分类模型（也常常称作分类器），该模型能把数据库中的数据项映射到给定类别中的某一个。分类的应用实例也很多，比较典型的由保险公司的保费设置。保险公司成功的一个关键因素是在设置具有竞争力保费和覆盖风险之间选择一种平衡。保险市场竞争激烈，设置过高的保费意味着失去市场，而保费过低又会影响公司的赢利。保费通常是通过对一些主要的因素（如驾驶员的年龄、车辆的类型等）进行多种分析和直觉判断来确定。由于投资组合的数量很大，分析方法通常是粗略的。采用分类进行数据挖掘以后，就可以利用计算机处理海量数据的能力来进行合理的分类，定出合理的保费，使保险公司得到最大收益。
　　
　　六、结束语
　　
　　面向企业应用的智能决策支持工具是很有前途的研究开发方向，在我国随着市场经济的确立和发展，中小企业对企业信息化决策支持工具的需求会越来越强烈，本文提出的智能决策支持工具的设计方案旨在与广大同行交流共同推进智能决策支持工具的开发和研究，最终开发出适合国内中小企业应用需求的软件。

【面向中小企业智能数据处理工具】相关文章：

面向大海作文11-16

套索工具08-16