数据分析与挖掘论文

数据挖掘的算法及技术的应用的研究论文

摘要： 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。任何有数据管理和知识发现需求的地方都可以借助数据挖掘技术来解决问题。本文对数据挖掘的算法以及数据挖掘技术的应用展开研究, 论文对数据挖掘技术的应用做了有益的研究。

关键词： 数据挖掘; 技术; 应用;

引言: 数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的, 然后发展到可对数据库进行查询和访问, 进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶段, 它不仅能对过去的数据进行查询和遍历, 并且能够找出过去数据之间的潜在联系, 从而促进信息的传递。

一、数据挖掘概述

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。

二、数据挖掘的基本过程

(1) 数据选择:选择与目标相关的数据进行数据挖掘。根据不同的数据挖掘目标, 对数据进行处理, 不仅可以排除不必要的数据干扰, 还可以极大地提高数据挖掘的效率。 (2) 数据预处理:主要进行数据清理、数据集成和变换、数据归约、离散化和概念分层生成。 (3) 模式发现:从数据中发现用户感兴趣的模式的过程.是知识发现的主要的处理过程。 (4) 模式评估:通过某种度量得出真正代表知识的模式。一般来说企业进行数据挖掘主要遵循以下流程——准备数据, 即收集数据并进行积累, 此时企业就需要知道其所需要的是什么样的数据, 并通过分类、编辑、清洗、预处理得到客观明确的目标数据。数据挖掘这是最为关键的步骤, 主要是针对预处理后的数据进行进一步的挖掘, 取得更加客观准确的数据, 方能引入决策之中, 不同的企业可能采取的数据挖掘技术不同, 但在当前来看暂时脱离不了上述的挖掘方法。当然随着技术的进步, 大数据必定会进一步成为企业的立身之本, 在当前已经在很多领域得以应用。如市场营销, 这是数据挖掘应用最早的领域, 旨在挖掘用户消费习惯, 分析用户消费特征进而进行精准营销。就以令人深恶痛绝的弹窗广告来说, 当消费者有网购习惯并在网络上搜索喜爱的产品, 当再一次进行搜索时, 就会弹出很多针对消费者消费习惯的商品。

三、数据挖掘方法

1、聚集发现。

聚集是把整个数据库分成不同的群组。它的目的是要群与群之间差别很明显.而同一个群之间的数据尽量相似.聚集在电子商务上的典型应用是帮助市场分析人员从客户基本库中发现不同的客户群, 并且用购买模式来刻画不同客户群的特征。此外聚类分析可以作为其它算法 (如特征和分类等) 的预处理步骤, 这些算法再在生成的簇上进行处理。与分类不同, 在开始聚集之前你不知道要把数据分成几组, 也不知道怎么分 (依照哪几个变量) .因此在聚集之后要有一个对业务很熟悉的人来解释这样分群的意义。很多情况下一次聚集你得到的分群对你的业务来说可能并不好, 这时你需要删除或增加变量以影响分群的方式, 经过几次反复之后才能最终得到一个理想的结果.聚类方法主要有两类, 包括统计方法和神经网络方法.自组织神经网络方法和K-均值是比较常用的`聚集算法。

2、决策树。

这在解决归类与预测上能力极强, 通过一系列的问题组成法则并表达出来, 然后经过不断询问问题导出所需的结果。典型的决策树顶端是一个树根, 底部拥有许多树叶, 记录分解成不同的子集, 每个子集可能包含一个简单法则。

四、数据挖掘的应用领域

4.1市场营销

市场销售数据采掘在销售业上的应用可分为两类:数据库销售和篮子数据分析。前者的任务是通过交互式查询、数据分割和模型预测等方法来选择潜在的顾客以便向它们推销产品, 而不是像以前那样盲目地选择顾客推销;后者的任务是分析市场销售数据以识别顾客的购买行为模式, 从而帮助确定商店货架的布局排放以促销某些商品。

4.2金融投资

典型的金融分析领域有投资评估和股票交易市场预测, 分析方法一般采用模型预测法。这方面的系统有Fidelity Stock Selector, LBS Capital Management。前者的任务是使用神经网络模型选择投资, 后者则使用了专家系统、神经网络和基因算法技术辅助管理多达6亿美元的有价证券。

结论:数据挖掘是一种新兴的智能信息处理技术。随着相关信息技术的迅猛发展, 数据挖掘的应用领域不断地拓宽和深入, 特别是在电信、军事、生物工程和商业智能等方面的应用将成为新的研究热点。同时, 数据挖掘应用也面临着许多技术上的挑战, 如何对复杂类型的数据进行挖掘, 数据挖掘与数据库、数据仓库和Web技术等技术的集成问题, 以及数据挖掘的可视化和数据质量等问题都有待于进一步研究和探索。

参考文献

[1]孟强, 李海晨.Web数据挖掘技术及应用研究[J].电脑与信息技术, 2017, 25 (1) :59-62.

[2]高海峰.智能交通系统中数据挖掘技术的应用研究[J].数字技术与应用, 2016 (5) :108-108.

论文供应链数据分析

论文供应链数据分析，越来越多的企业采用数据分析来应对供应链中断，并加强供应链管理(SCM)，目前有几项重大中断正在影响供应链。以下分享论文供应链数据分析，一起来看看。

数据挖掘技术在供应链精细化管理中的应论文

摘 要：对企业大量的历史数据，采用SQL Serve的OLAP技术，建立了供应链数据的挖掘模型，对现库存结构、呆废账和供应周期进行了分析，找出了存在问题，提出了相应的解决方法;对现系统提出了二次开发具体目标。

关键词：数据挖掘 精细化 大物流 供应链

一、前言

生产管理信息系统运行5年来，形成了了大量的历史数据，如生产主计划、备件计划、供应商、供货信息、质检信息和入库、领用信息等。

但该系统只是一个顶层数据逐级向下单向透明、注重出入库管理的平台，丰富的历史数据只是偶尔备查，没有把已有庞大的数据转化为知识，从全局上辅助企业决策，使公司在计算机软硬件的开发、维护上的巨大投资，只在局部管理上取得了改进，总体成效并不显著。

本文以半成品库供应链为主体，从计划、采购、外协厂商、质检等多维度分析供货周期及库存的相互关系，以减少冗余环节，降低供应链成本;同时对信息系统的二次开发提出了具体目标。

二、库存结构和供应链分析

我集团的半成品采购，采取多外协厂家的定点生产、每年对价格招标、每月下达采购数量的策略，由外协厂家按照我方提供的设计图纸生产，需要开模或使用专业机具加工，更换厂家有一定的难度。做好供应商的考核和选取，对保质按时完成生产，就显得尤为关键。

我用半成品的相关历史数据，按照关系型数据库第三范式，建立雪花形数据仓库，在其逻辑结构中，将数据表划分为存储实际数据的事实表;以及存储测评指标的维度表，如供应链上的采购、质检、结账周期、质量符合度等。

2.1 数据准备

以系统后台采用的sql server 2005数据库中自带程序Business Intelligence Development Studio为挖掘工具。数据准备如下：获取和供应链相关的完整历史数据，从2013年2月到2015年3月的基本信息：批量、计划数、厂家。

下达日期、返回数量和日期、质检完成日期和合格数量，点收入库数量和日期，以及非结构化的返回日期要求等数据。剔除了试制新品等异常数据;建立了相应的维度数据库，转换所有的日期为考核的维度，以精确分析供应链周期。

2.2 数据挖掘结果和分析

库存分析：平均月入库为1373万，出库为1399万，库存金额平均为802万，比原库存下降400万以上，比例为34%，逐步消化了存货，有效地降低了半成品库存。

呆废账分析：我们重点对三年(74万元)及五年以上(24万元)无动态的呆账进行了分析，其产生的原因如下：

(1)BOM表中已经不存在此类备件。

(2)产品设计发生了变更。

(3)对应的产品已经淘汰停产。

(4)配套的产品仅在部分支线上使用，存量过多、过久。

(5)订单变更、采购的半成品不配套，部分出现冗余。针对以上原因，我们提出如下解决方法：

(1)全面清理此类半成品，做好外观和质量检测，不符合要求的申请报废。

(2)尽可能替换使用、降级使用。

(3)按材质、规格制定改制表，按需对半成品改制，减少呆废料。

(4)除少量必须备件外，多余部分调拨给可能生产此类产品的`子分公司待用。

供货期分析：期间平均供货总周期为19.55天;其中外协厂家生产期14.13天，到公司后质检期3.27天，入库2.15天，供货后到发票开具23.73天。在提前期为半个月的采购模式下，数据表明大部分半成品在每月初就基本入库，占用了大量库房，并在当月末转化为财务付款压力。

针对外协厂家大多位于省外，重点分析了供应商区域、数量、重量、采购品种和供货周期的关系，对锻铸件类产品的挖掘结果分析如下：

(1)为减轻库房压力，本省市的外协厂家按需分批次组织运送，期供货周期和质检周期存在人为失真。

(2)外省市供货周期和区域距离成正比。

(3)供货周期与采购的数量和重量无关，表明生产能力和运力现阶段充沛。

(4)质检周期短的供货商，其一次到货率和合格率较高。

三、供应链管理新模式

基于供应周期分析结论1，我们可以把所有的外协厂商作为外围库房，按大数据模式下的机器学习法，自动计算不同外协厂家、不同半成品的提前期，借助第三方物流，由生产流水线上主导产品的需求，决定其配送日期;包装用数量就近选择厂家，第三方质检合格后，直接发到施工现场。

为实现此设想，信息系统必须互联互通、信息共享，实时采集需求和获取外协厂商的生产、库存情况，建设一条敏捷的供应链。系统可做如下改进：

(1)对供应商做出科学考核评价：资质;产品质量(尺寸、外观、表面的目视检查合格率;化学成分等合格率;力学性能参数、内部的超声无损检测缺陷值等)、退货率，降级接收率、及时完成率、交货紧迫性、变更配合度、售后服务等指标进行动态考核。按指标得分高低对外协厂家优胜劣汰，在任务分配时优先向优秀供应商倾斜。

(2)拉伸供应链，把各生产部门、库房、供应商作为一个整体，对内实现数据的全透明，共享主计划、车间旬计划、采购计划，做好内部关键工序的报工和外协厂商的数据采集，使相关人员能从数据流中自动获取到所需数据，实时监控所需半成品，及时协调相关生产;在任务繁重时，对外适度开放采购信息，有利于外协厂家安排生产。

(3)领用定额只获取BOM表中的组装数量，包装用备件可由外协厂商直发施工现场。

(4)多粒度获取半成品需求，多层次规划生产。在销售部门取得合同后，按照交货期汇总其总量，和外协单位的产能对比，做好生产分配和预测;按旬计划汇总需求，精准组织半成品的到货时间。

四、结论

建立数据透明的信息系统，充分利用挖掘数据技术，动态获取需求和产能，借助第三方物流，可以精准地满足生产和施工需求，同时优化控制库存结构，可以减少库存量，降低对流动资金和库房的占用。在实际应用中，还需要发挥人的主观能动性，按实际情况调整采集信息量和透明度，提升供应链管理水平。

参考文献：

[1]王桂从，姜兆亮，李兆前.协同供应下的库存控制及供应商选择[J].现代制造工程，2007(11).

[2]王晶，唐玲，张在晓.供应商共享POS信息时的信息挖掘策略与方法[J].工业工程，2008(07).

大数据分析对供应链有什么影响

如今，从物流到客户偏好的各种数据的持续增长正在迅速改变企业的经营方式，并突出了对加强数据管理和分析的强烈需求。大数据分析(指大型和复杂的数据集)的好处是显而易见的：大数据可以完全改变组织的工作方式，在效率、成本、可见性和客户满意度方面产生巨大差异。

大数据来源广泛：

-如今的技术和社交平台允许企业以评级、评论和博客评论的形式获得直接的客户反馈。

-来自移动通信、社交平台和电子商务的数据正在与来自企业系统的数据集成。

-随着物联网和机器对机器通信的引入，制造业正在从基于事件的计划转变为实时感测。

-不断发展的传感器技术可提供实时设备和产品状况数据，从而实现自动维护和过程调整。

数据在数量上、种类上和速度上都有所增长，如果以正确的方式加以利用，可以带来巨大的价值。

研究显示，企业已经在推动整个企业供应链的生产力，但在供应链功能中使用大数据分析在全球企业中并不普遍或协调得很好。受益于大数据分析的公司有三个共同点：它们拥有强大的企业级分析战略，它们将大数据分析嵌入供应链运营，它们拥有合适的人才库，能够从大数据中产生可操作的见解。

有必要雇用、培训和扶持能够帮助企业从大数据分析中受益的领导者。从人力资本的角度来看，大多数公司的定位尚不足以接受数字化供应链转型。我们分析了各行各业的50多位高级供应链高管的个人资料，以了解他们在供应链数字化方面的定位。在涉及所谓的“数字防备连续性”方面，各行各业的公司中绝大多数高管都普遍缺乏。

调研机构采访了各行各业的商界领袖，以探讨当今日益数字化的世界对首席供应链官的角色以及供应链领导者与高级管理人员中其他高管人员之间互动的影响。通过这些访谈，我们发现了供应链领导者应具备的四个关键特征，以便能够从大数据分析中获得收益：

1、对数据和系统技术有深刻的了解。当今的企业可以通过数据分析和通过数字方式收集数据来深入了解客户行为。尽管不需要首席供应链官成为信息技术（IT）专家，但他们应该对数据收集、技术和分析有足够的了解，以引导对话并为高级领导者及其供应链团队提供数字化愿景。

供应链领导者应认识到如何实施和利用相关平台和流程以及数据来自何处，并应表现出对来自各种渠道的数据范围和规模的扎实理解。重要的是，领导者必须准备好对数据采取明智的行动。

2、具有影响力的协作方法。如果首席供应链官在孤岛工作，将无法从大数据分析中获得收益。在内部，供应链领导者必须能够与首席技术官进行沟通和协作，以帮助确定适合组织的技术和政策；

与首席数据官一起了解如何最佳地捕获和使用数据；与首席营销官一起，评估供应链如何能够更专注于客户和需求驱动，并与首席执行官具体沟通更广泛的创造价值的机会。最终，供应链执行官将需要能够与内部利益相关者和外部供应商建立桥梁。

3、跨职能经验。如今的供应链管理人员具有跨部门的'经验，并且能够理解和与来自多个业务部门的人员进行交流。重要的是，首席供应链官员还必须具有销售、财务或技术方面的知识。

4、发展新技能和培训他人的能力。当今的首席供应链官必须紧跟最新技术，以确保组织适当地吸收数字技能和分析人才。企业犯的最大错误之一是在没有适当准备组织的情况下实施大数据分析项目。建立内部计划以确保在整个供应链中采用技能至关重要。

要从整个供应链或整个组织的大数据分析中获取所有好处，不仅需要技术和IT。从首席执行官和执行委员会开始，企业必须准备好支持一种全新的思维方式，培养一种对创新和技术开放的文化，并愿意挑战关于供应链管理方式的惯例。

大数据分析对供应链有什么影响、中琛魔方大数据分析平台表示由于供应网络上数十亿的连接设备提供关于服务需求、位置和库存分布的实时信息，甚至实现预期的需求，理解和接受大数据的执行领导层、数字颠覆和这些趋势的人力资本方面对未来企业的优势至关重要。

供应链案例分析的方法

一、供应链案例的类型

供应链案例可以是从原材料供应一直到最终产品送到最终用户手中的整个供应链的案例，也可以是只涉及供应链一个环节或只关注于单一的物流活动的案例。无论哪一种案例，在分析时都应该从供应链整体的角度进行，要考虑单一环节的变化对供应链中其他环节产生的影响。

二、供应链案例分析的目标

提高客户服务水平和降低总的运作成本是供应链管理的两大目标，在案例分析时，必须牢记这两大目标。

三、供应链案例分析的方法

供应链案例分析可分为这样几步进行：

第一，分析供应链现状。

首先分析供应链的结构，在分析时可绘制一个从原材料或零配件供应的起点开始，通过生产制造环节和分销配送环节，直到最终用户手中的货物流动示意图，示意图目的是为了描述供应链中各固定节点(如工厂、仓库)的结构和货物在这些节点之间的流动模式。即货物流。

然后分析支撑货物移动的信息流和信息系统，包括订单信息处理、需求预测信息、管理信息和计算机系统。其次对现行的供应链绩效进行分析，这对改进措施的提出是非常有效的，绩效分析可包括供应链的总体绩效、供应链的相对绩效和单项物流功能的绩效。

第二，在现状分析的基础上找出问题。

这常常是案例分析最困难的也是最重要的一步。因为如果无法正确地鉴别出主要问题，也就无法作出正确的选择。在分析时要注意症状与原因的区分，通常在分析时症状是比较容易明确的。

例如，经理可能认为仓储能力短缺是一个问题，实际上，这可能仅仅是一个症状，造成的原因可能是库存管理不良或生产安排不合理而使得库存的大大超过了实际需求。因此在分析时，必须找到真正造成问题的原因。

第三，设想并提出解决问题方案

解决方案的提出是和现状分析紧密联系在一起的，一个好的现状分析能够对主要问题进行清晰的确定，从而指出正确的解决问题或行动路线。提出解决问题方案时通常可从三个层面上考虑：具体功能部门层面;公司层面，在公司内实行跨部门的改革;供应链层面，同一供应链上的公司间相互配合上进行改革。

最后对提出的方案应当做全面的说明。

以上是对分析供应链问题提供一个思考分析的框架，这不是一个应用于所有供应链问题的万能方法，而是列出了在分析问题时可考虑的因素，案例分析时应根据实际问题确定相关的研究因素。