大数据的核心问题

大数据：核心问题是“人”不是“技术”“要解决数字孤岛，现在的核心问题不是技术问题，而是管理问题，法律问题。”上海超级计算中心副主任李根国博士对中国青年报记者说。“你注意到没有，每个人的手机都变成采集器了。”这位数学专家很清楚阿里巴巴等商业公司的大数据发展异常红火。手机拥有者刚显示出对某个商品表示兴趣，30秒钟之内精确的广告就会投放过来。李根国所在的超级计算中心一直为高精尖的科研项目提供模拟和运算的平台。2014年，上海大数据中心将在超级计算中心挂牌。李根国介绍说，政府主导的大数据将会有广泛的用途。除了人口管理外，还有空间管理，绘制城市地图，建立导航系统。上海市成立了一个和航天局合作的北斗应用有限公司，注册资金两个亿，推动北斗应用落地。在相应的信息系统里，有了传感信息后，救护车、公交车走到哪里了，管理者看得清清楚楚。此外，用大数据搜集经济运行的数据也改变着传统的政府统计。从抽样调查抽取几个样本到大数据的全样本，管理系更强，更准确。像上淘宝一样挂号看病何萍所在的上海申康医院发展中心，就是大数据用于公共服务的典型范例。“我们的医疗预约平台每天产生的数据是P级。”申康医疗事业部的高级工程师、医联中心主任何萍说。1P相当于20万部5G大小的高清电影。据何萍观察，老百姓通常是一大早看病，但往往是早上出门，真正看上病已是下午，挂号排队太慢了。有时没看上，一天就要跑几家医院。而现在，挂号可以仅需一部手机。何萍所在的申康团队指导开发的上海三级医院预约平台上有上海所有区县的38家医院的专家信息，精确到哪个科、哪天排班都清楚可查。市民可以直接预约感兴趣的专家，预约精确到一个小时，不用过分排队。每次挂号信息的变动就会进入HIS（医院信息系统）信息里，预约成功短信知会。医保卡一刷实时互通。市民在联网的任何一家医院看病，医生都可以在数据库中调出住院小结和处方等患者信息，医院之间并无壁垒，信息联通包括影像互认。比如病人在某家医院做过CT, 在另一家医院看病时，片子和报告会详细地显示出来。如果医生判断病情并无特别需要再做检查，比如CT显示在一个月内，他可以直接以这份非本医院的报告作为诊断依据，免去病人再受辐射之苦。“医疗专家是紧缺资源。有时候老百姓只认大牌的专家，其他的都不知道。这就是医疗信息不对称造成的，也是通过平台可以改善的。”何萍说。他们参考淘宝的做法，为预约的市民推荐“你同样喜欢”。在有号的情况下，市民可以同步选择同类医疗专家。看完病还可以打星和评价。比方病人都想看血液专家吴孟超，但他90多岁的人了，一周就来一次，何萍他们就会推荐吴孟超的学生和师弟师妹，也都是很好的专家，患者满意，医院也实现了分流。最大的突破还是在管理机制上李根国认为，政府主导的大数据服务将更侧重对社会管理提供公共服务。在他看来，大数据未来发展面临的壁垒，更多来自于技术之外。他发现，一个人的基础人口数据有五十几个字段，包含年龄、性别、社保，户籍等信息。各主管单位各自掌握，往往并不共享，一个人的信息在一处更改后，在另一处不能同步更改，就会造成很多麻烦。而基层街道、区县需要弄清楚自己小区内的户籍人口，流动人口以进行管理，但却无法从掌握数据的上级部门获得相关数据。在医疗系统工作多年的何萍觉得，最大的突破还是在管理机制上。医疗领域多年来有着固有的思维，医院各有所属互不相认，这曾经是“搬不动的大山”。上海市基于电子信息档案的卫生系统工程，是国内首例采用美国HIS标准来运行的信息平台。这个项目在2006年启动，2008年23家市级医院联通起来，2010年卫生部和总后勤部所属的10家医院也加入进来，紧接着连接着的是4家郊区医院和属于宋庆龄基金会的医院，形成了现在38家的规模。从社区医院一层层打通到一二三级医院，数据不能有断档。打破信息的壁垒，也对医院的管理规范提出了更高的要求。排班涉及科室、病房、门诊、查房，合理协调好以后需要提前一个月上传平台。预约精确到一个小时，牵一发动全身。一旦要变更，要把短消息及时推送出去。“大数据在带来我们产业发展的时候，怎么防止不法分子利用？系统安全是第一位的。包括运行的物理安全，和信息安全。”李根国说。而为公共服务时，管理上的疏忽有时会带来安全隐患。接受采访前一天，何萍就接到一个患者的投诉电话：他的乙肝病人身份在社区医院看小毛病时显示在系统上，病人既尴尬又愤怒。实际上，系统早有规定：为了避免歧视，对于传染病的一些数据共享要求是有严格保护的，只有在问诊相关病症时才会有所显示。但在一二三级联动过程中，数据推到基层，区里没有管理好。“上层设计好了，技术才有支撑。”何萍感慨说。这个本科硕士都攻读信息工程的标准工科女，博士选择了管理学。大数据是台综合大戏2003年，从测绘专业毕业的毛炜青在一线工作了一段时间以后，3天内开发完成了一个基于服务的带有GIS分析功能的地名处理软件工具，在民防办信息中心的服务器上运行，这个基于地理位置的系统为当时社会管理者提供了整个上海市的流动与常驻人口的信息地图。“地理信息本来就是综合的。”这位上海市测绘员基础信息地理中心的总工程师、国家注册测绘师对中国青年报记者说。在测绘一线工作时，他需要对测绘地的地质、水文甚至建筑、文化都有所了解才能做到精确。而如今，他越来越多地需要与其他政府部门合作，将地理信息与人口等信息相连。据他介绍，随着一个个cbd的兴起，现在的行业新热点是获取楼内的位置信息，用数据再造一座虚拟的热闹大楼，方便火灾监控等一系列的社会管理。他的团队并不需要如阿里巴巴等商业公司一样，24小时在线为涌进来的数据准备着，他们所做的工作主要是利用超强的计算能力，汇集和加工数据。首先，从网络上搜集的和政府提供的数据。通过技术和人工的手段来甄别：哪些有用，哪些是垃圾；接着，对汇集的数据以应用的不同进行分类，打上标签，用特定的关键字就能查到。何萍团队近期的工作是与银联的合作。从2010年起，上海许多医院开始推行各自的充值卡，用于院内消费。和银联合作后，一张卡可以在所有医院使用，既方便患者看病，又减轻窗口工作量。卡片轻松一划完成交易，需要涉及银行之间、医院之间划拨与结算。“我们自己做一套结算体系，既费精力，又不专业，这需要行业间的融合。”何萍说。巧的是，在不久前的一次科研性奖项的竞争中，这两家是对手。以上是小编为大家分享的关于大数据 核心问题是“人”不是“技术”的相关内容，更多信息可以关注环球青藤分享更多干货

大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

大数据开发涉及到的关键技术：大数据采集技术大数据采集技术是指通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。大数据预处理技术大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作。大数据存储及管理技术大数据存储及管理的主要目的是用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。大数据处理技术大数据的应用类型很多，主要的处理模式可以分为流处理模式和批处理模式两种。批处理是先存储后处理，而流处理则是直接处理。大数据分析及挖掘技术大数据处理的核心就是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。大数据展示技术在大数据时代下，数据井喷似地增长，分析人员将这些庞大的数据汇总并进行分析，而分析出的成果如果是密密麻麻的文字，那么就没有几个人能理解，所以我们就需要将数据可视化。数据可视化技术主要指的是技术上较为高级的技术方法，这些技术方法通过表达、建模，以及对立体、表面、属性、动画的显示，对数据加以可视化解释。