2023-12-08 17:20:02 来源：1569下载站 作者：小何
本书以美国信息产业的发展和政府职能的完善为主线，勾勒了20世纪初至今信息时代发展的里程碑。其中，美国政府的信息自由制度的建立过程，真可谓一波三折，奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结，充满传奇，它也真的就是传奇，这个过程让我们看到，在公民社会中来自民间的力量是如何与政府博弈的，社会又是如何自省和努力实现进步的。这种博弈的结果就是《信息自由法》和一系列涉及信息公开的法案通过与实行，最典型的应用应属美国联邦政府的统一数据开放门户网站——旨在向全美开放政府拥有的公共数据，鼓励新的创意，提供更透明、更丰富的公共服务。
截至2011年12月，共有3721个开源数据和386429个地理数据。更重要的是，该网站还汇集了1570个数据可视化应用程序。从空气质量与工厂数量的关系，到肥胖人群和快餐店的数量，给人们无限的启迪和便利。
在软件产业的发展中，联邦政府也扮演着重要的角色。整个软件产业最早是由个别大项目推动的。这些大项目基本上都是由联邦政府认购和支付的。
其中最大的项目之一，是美国国防部和ibm在1959年开始合作的一个防空项目（semi-automatic ground environment)，该项目致力于用计算机软件处理雷达收集的信号，侦察、跟踪天空飞行物的活动。---摘自《大数据》第八章
软件产业是从数据分析开始的。现在软件产业发展的最大机遇是数据。可以说，那些获得数据的人得到了世界。支持与大数据组织管理和价值发现相关的企业经济活动，将成为软件产业发展的主流。如何在自己的产品中引入先进的数据概念，提供符合大数据时代的软件服务，是未来生存的根本。
我们平台的“共享交换系统”其实就是具有“大数据”概念和内涵的优秀产品。从网上抄的大数据产业的几个流程如下：
二看看美国如何运用数据的一个例子吧
数据“打”假：最大的争议就是福利滥用。
据cms中心统计，2009年，医疗保险计划支出5023亿美元，覆盖美国4700万人口；医疗补助计划支出3739亿美元，覆盖美国5680万人口。因为这两个计划都是针对社会弱势群体的，它们也相互交叉。例如，对于老年贫困群体，可以同时应用这两个计划。2009年，有850万人同时受惠于两个项目。
福利政策在世界范围内最大的争议是福利的滥用，最后是对懒惰者的扶持，导致社会发展动力的缺失。虽然美国很谨慎，但这两大免费蛋糕也不例外。2008年，联邦调查局在《财务犯罪年度公开报告》中估计，联邦政府每年的医疗开支当中，大概有3%到10%涉嫌造假和欺诈。
在利益面前，人类的创造力总是层出不穷：虚报账单、重复申报、无中生有、小病治疗、慢治慢治、长期治疗、隐瞒收入和储蓄、假装贫穷、吃基本保险，有很多。
两个项目的受惠人群，加起来有近1亿人，平均每人每月上一次医院，一年就有12亿张账单，按照联邦调查局的估计，大概会有3600万到1.2亿张账单存在问题。如果要依靠人力资源进行审查，工作量是难以想象的。
目前，cms中心最重要的措施是通过数据打击假冒伪劣行为。---摘自《大数据》第三章
下面我推想演绎一下美国的 “数据来打假”。
首先，这些定义是错误的。就美国医疗和福利制度而言，一般包括：虚报账单、重复申报、无机会、小病、慢性病、长期治疗、隐瞒收入和储蓄、假装贫穷、吃基本保险等。
再者，找到欺诈的痕迹，这书没有说这么多，我凭专业知识在这里补充：虚假账单，应该就是福利医疗机构虚构患者或者虚构治疗，不符的就是就医院虚构病人或已经死亡人员还就医（还有永远不死的患者）；重复申报，就是一次治疗多次申报，不符的同一天或不够治疗周期重复治疗；装穷吃低保就是不够条件的人员混福利，不符的是假装的穷人买车买房等等。
最后，根据欺诈行为的痕迹，制定了使用数据工具（主要是在线分析）搜索和检索数据的标准，找出可能存在的不符合事件。如患者超过120岁的患者的治疗（可能不用这么老），先判断为异常，再利用人力逐笔核对等等。这就是所谓的数据挖掘的一种。
书上说的： 2001年，加州州政府率先推出了一个数据挖掘的项目“保险补助双向核对”（medical-medicaid data match），将医疗保险和医疗补助两个项目的数据整合起来，利用两个计划中的人员、时间、价格、地点等数据信息对每一宗申报进行互相核实，通过计算机算法自动确定相互矛盾、有异于常态的支付记录，一旦发现造假或者不实申报的可疑账单，则转入人工追讨的环节。
还要提高管理水平。书上说：“保险补助双向核对”这大大缩小了人工审查的范围，提高了打假的效率。
由于效果显著，2004年，该项目在个别国家的实施范围进一步扩大，从事后恢复到事前预防。这意味着，cms中心一收到申请报销的账单，就启用数据挖掘系统对该申请的数据记录进行“风险评分”：得分低于预定风险额度的申报则转入自动支付的环节；得分超过该风险额度的申请将退回申请人，或提交专门的小组进行人工复审。
在支付账单后，需要另一个数据挖掘算法来检查账单。如发现可疑票据，将转入人工回收流程。xZ1569.cOm
上面的例子是使用数据进行内部控制的典型例子。
三几粒“沙子”
真正的读书人应该永远有批评者的立场。就我想到为这书挑点毛病。
这部谈到中国人民的“国民性”，我认为有可以探讨的地方。中国人缺乏精确，是有这个毛病，但是，这跟数据没有关系。其实，谈任何国民性都是非常危险的事情，我个人观点“国民性”是个伪命题。
书中有提到了做菜，说什么食盐少许，醋一勺等等，其实，这是反证中国人的精确，全世界有这么多中国餐馆，大家都爱吃中国菜就是事实，事实是最大的数据。据说德国菜很精确，但很难吃。因为，好吃不好跟精确与否无关，甚至是不精确带来的好吃，数据当然是重要，但是数据不是也不可能知识的全部。
这本书有明显的政治倾向。在这本书中，只要民主党总统是数据共享和开源的支持者，只要共和党总统是信息公开的反对者，即使是州和市的领导人也是一样的。虽然我不了解美国的历史和政治制度，但我的直觉告诉我，这一定是有问题的。
最后，这本书过分强调了数据在人类社会中的作用。看完之后，人们觉得无论是哪个领域，数据一经引入，都会有很大的变化，并取得成效。我看真正高明的数据使用应该是无形的，是于无声处起风雷，这个世界美好而简单，大家在郊外散步，运动，谈天说地，数据在默默地，不知不觉地为我们服务，因为，我们大多数人是不喜欢看到数据的本身的。
【导读】
……一、数据量。收藏家实时收集新闻、论坛、博客和微博。当然，如果一年的数据量不大，或者宁波的数据量不大。公司假设业务量在几年几十年内增长，实现了浙江省乃至全国的目标。
那个时候的数据量我想应该是非常的庞大了。
2、 当然，数据挖掘的程度涉及到更多的公司。但有时公司只是过滤收集到的数据并将相关信息发送给相关客户。在我看来，这个价值应该被放大。通过对相关数据的挖掘，总结了过去的规律，并对未来的趋势做出了展望。
比如固特异轮胎，根据往年的数据，总结出某个轮胎在某个地点、某个时间段的销量最大，然后在下一年，根据这一数据，生产厂家可以提前准备大量这类轮胎以备不时之需。通过在一定时期内的挖掘，哪些产品**的销售会得到更好的销售等等。当然，数据仓库是一种面向主题的数据收集，用于支持管理中的决策。
我认为这对公司领导层做出正确的决策有很大的指导作用。2、公司应该加大数据挖掘能力。公司招聘的所谓数据分析师只是为了数据监控。
真正意义上面的数据分析师很是匮乏。现在客户大多希望的是能够给本企业决策有指导性意义的报告、或者建议。这就要求我们通过数据挖掘来发现未来的趋势，即**性别分析。
这样，无论是在产品推广上，还是在品牌忠诚度上都会有一定的保证。
……【全文】
首先，本书大体上都是在讲美国**在各社会团体不断“争取”权利、三权分立制度的制衡下，一步步将信息公开的历程。以及数据对美国政治的影响，美国**如何保护公民隐私等。其实真正涉及到企业如何变得更加“智能”，唯有第四章讲得非常详细。
先来看一下完整的商务智能流程：1、通过各种**的关系型数据库，使用elt（提取、转换、加载）工具，对来自不同系统的数据以统一格式进行清洗、转换、集成进入到数据仓库。2、锁定目标数据后进行联机分析。
通过不同的分析角度进行多维分析，这样用户可以随时创建自己需要的报表，开发人员只要在后台为用户创建构建多维的数据立方体模型，用户就可以直接在前端的各个维度之间进行切换，从不同的维度对数据进行分析。从而获得更加全面的、动态的的分析结果。3、进行数据挖掘。
它是从海量数据中挖掘有价值的数据。通过对数据的挖掘其
1、 我们可以找到数据的历史规律，总结过去。其
二、可以根据数据对未来进行**。企业可以对**的未来趋势做出**和相关决策。四。数据可视化，我认为任何看到数据推送的人都会感到头疼。
当然也很不直观，到底企业的各项指标相比往年是好是坏去做对比也会很麻烦。利用各种图表、三维地图、动态**等相关动画技术，原本就是枯燥的数据，变得生动起来。数据可视化以更直观的形式显示数据，让人们对相关数据一目了然。
5、通过上面几步我们就把原先毫无价值的数据，变成了信息，最后演变为知识。
其次，我们应该考虑：1。有必要建立一个数据仓库吗？当然我这个问题我也**上向ibm数据仓库的人员询问过。要考虑的有两个因素:其
一、数据量的级别，其
二、对数据挖掘的程度。
一、数据量。收藏家实时收集新闻、论坛、博客和微博。当然，如果一年的数据量不大，或者宁波的数据量不大。公司假设业务量在几年几十年内增长，实现了浙江省乃至全国的目标。
那个时候的数据量我想应该是非常的庞大了。
读《大数据时代：生活、工作、思维的大变革》有感
《大数据时代》主要描述的是大数据时代到临人们生活、工作与思维各方面所遇到的重大变革。这本书的作者舍恩伯格是大数据领域最受尊敬的权威演讲者之一。20多年来，他一直致力于网络经济、信息与创新、信息监管、网络监管和战略管理等领域的研究。从维也纳大学到哈佛大学，从新加坡国立大学到牛津大学，世界上最著名的互联网研究机构都留下了他的足迹。
他宽广的学术视野和系统的学术造诣，使他不断为企业和企业应用提供强有力的理论支持。他的咨询客户包括微软、惠普、ibm、亚马逊、facebook、twitter、visa等大数据先锋们，所以在《大数据时代》一书中，他将掌握的最前沿的大数据应用案例给予充分的分析，并对大数据的价值链与角色定位给予清晰的预见。本文阐述了大数据的基本概念和特点，并提出了明确的观点。
不管对于产业实践者，还是对于**和公众机构，都非常具有价值。作者将本书分为3个部分。第一部分提出了大数据时代数据处理概念的三大变化：
抽样=全体；要效率不要绝对精确；要相关不要因果；第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力；最后一部分，作者描绘了大数据帝国前夜的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等问题。本书观点掷地有声，作者观念高屋建瓴，从很多实例和经验中萃取普适性观念。例子详实丰富，囊括了进百个学术和商业实例。
提起“数据”，大家都知道是一种用0、1等计算机语言表示的信息，而所谓的“大数据”就是一种流量、存储量超级大（以tb计算）数据。谷歌地图街景（图片）是大数据，每一个微博用户在微博上产生的全部内容合起来作为一个整体是一种大数据，淘宝店主和每一位淘宝用户在淘宝这个平台上产生的所有信息作为一个整体是一种大数据，国内最大的搜索引擎百度里面所有的无数条的类目信息合起来也是一种大数据，这些都是互联网企业普遍存在的大数据，事实上，大数据在我们的日常生活中还有更为普遍的应用：超级市场里每一位会员刷卡购物（非会员购物买单时留下的购物清单也是大数据的一部分）时留下来的信息是大数据，百货大楼、大商场里面各个角落里安装的摄像头拍下每一位顾客进出商场及在商场中活动的画面是大数据，甚至汽车里面安装的电子狗、导航系统作业时也能带来大数据。
细数身边常接触的这些大数据，仿佛还不得不信维克托这位号称“大数据商业应用第一人”大胆提出的“大数据”这个新概念的存在。大数据最大的特征就是数据量大、庞大、巨大。因为数据量大，所以才能商业特别是互联网企业带来不可估量的现时或潜在的价值，如果百度里面的数据量不够大，可供网民搜索的类目和条目不够多，那它毫无可能成为网民的“移动的百科全书”。
如果超市里的顾客和会员没有留下很多数据，那么超市就无法准确判断下个月要买多少商品，要买哪些商品。这，就是数据量够大带来的变革之一。其次，大数据还具有巨大的商业价值。
除了刚才举到的两个案例，再譬如汽车里面安装的导航系统如果除了导航还增加实时测速、安全气囊爆破记录甚至刹车、加速、减速记录功能，那么它形成的大数据对保险公司定制车险套餐，汽车维修店开发新业务具有强大的参考借鉴价值。再比如，每一个微博用户，即使从未发布过微博（内容）只是观看，对新浪微博来说都有商业价值，因为新浪微博大数据的构成离不开每一个微博用户。当然，大数据的商业价值远非于此，下文还会讲到。
沂源四中田玉才
有人说生活像一团乱麻，剪不断理还乱；我说生活像一团乱码，尽管云山雾罩惝恍迷离，最后却总会拨云见日雨过天晴。维克托迈尔舍恩伯格就把这团乱码叫做大数据，在他的这本书里，试图给出的就是拨开云雾见青天的玄机。这玄机说来也简单，就是放弃千百年来人们孜孜追求的因果关系转而投奔相关关系。
说来简单，其实却颠覆了多少代人对真理探求的梦想。我认为作者是一个典型的实用主义者。在美帝国主义的压迫和洗脑下，他始终追求成本效益和利益最大化，甚至放弃了追求共产主义真理的最基本要求！这不像我们从小就在中国之光的影响下开始学习和追求纯粹的共产主义理想主义的科学、历史和文化知识！
这也许是我们永远无法获得诺贝尔奖、站在科学技术前沿的根本原因。事实上，在我上小学的时候，我就想过这个问题。我相信所有人都问过类似的问题。比如，现在很多人还在问，妈妈从来不知道我每天摆摊赚多少钱，你怎么计算4500的人均收入。中国是样本的代表，因为中国人最喜欢代表整体。最典型的例子是，公布的幸福指数满意度指数总是高于你的预期。你不直到他是怎么来的，直到最后总结成三个代表，真的不直到它能代表什么。
说这么多显得自己是个愤青，其实只是想表达“样本=总体”这个概念在科技飞速发展的今天，在世界的不同角落，还是会体现出不同的价值，受到不同程度的对待及关注。在大数据概念的冲击下，我们真的需要把注意力从事物的内在发展规律转移到事物的客观发生上吗。
大数据的出现必将对许多领域产生巨大影响。一些行业在未来十年将迅速发展，而另一些行业可能会消失。这是废话，典型的三十年河东三十年河西的道理，就像三十年前的数理化王子们，现在可能蜷缩在某工厂的小角落里颤颤巍巍的修理机器；就像三十年前职业高中的学生才学财会学银行，如今这帮孙子一个个都开大奔养小三攒的楼房够给自己做墓群的了；当然也不乏像生物这种专业，三十年前人们不知道是干啥的，三十年后人们都知道没事别去干，唯一可惜的是我在这三十年之间的历史长河中却恰恰选了这么一个专业，这也是为什么我现在在这写读后感而没有跟姑娘去玩耍的原因。实际上，乍一看，我想到了精益生产的过程控制，比如六西格玛。这实际上是通过对所有数据的分析来预测产品质量的变化，这是大数据的具体应用。
而任何事物都会有偏差，会有错误，也就是说，这全部的数据中，肯定是要出现很多与总体反应出的规律相违背的个体，但是无论如何这也是该事件中一般规律的客观体现的一种形式，要远远好过从选定的样本中剔除异常值然后得到的结论。也就是说，它也大大降低了排斥对事物客观规律表达的影响。就好比是统计局统计中国人民的平均收入一样，这些数怎么这么低啊，这不是给我们国家在国际社会上的形象抹黑么，删掉删掉；这些数怎么这么高啊，这还不引起社会不满国家动荡啊，删掉删掉。
所以说，大数据至少对反应客观事实和对客观事实做预测这两个方面是有非常积极地意义的。这个新兴产业所蕴含的商机，不仅在于如何使用数据，更在于如何获取数据。
大数据又称海量数据，是指通过新的处理模式产生的具有较强决策能力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。目前，电子商务等行业已经进入大数据时代。作为一个企业的信息技术人员，我们应该有一个敏感的**，并积极迎合这种心态。大数据技术的战略意义不在于掌握海量数据信息，而在于将这些有意义的数据专业化。
换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。如何利用大数据服务甚至计划指导矿山生产经营，是摆在我们面前的一个新课题。
行动胜于言语。只有有效的数据才是正确的方法。为了保证数据的有效性，必须从现实出发，从问题的根源入手。只有以解决问题为目的的主动搜集，才能确保数据的“质”量，这也是品觉老师行文之中处处体现的精神所在。
脱离了任何一个场景，再谈大数据已毫无意义。
品觉提醒我们，我们的思维能力每天都是有限的。如果我们想做更有意义的思考，就不要把有限的思考资源浪费在无法产生价值的思考上。有人问美国前**奥巴马：“为什么你每天穿的都是一样的衣服？
”而奥巴马的答案是：“因为这样可以减少我的思考时间，我就可以将更多的时间留下来做更有价值的决策了。”如是这般。
所以，我们要利用好时间，利用好数据。
那么，我们如何利用数据帮助企业识别机会呢？品觉老师的理念是“人人都是数据分析师。”，也就是说让公司的业务人员都能够通过数据去做决策，让数据来驱动业务，以实现真正的数据数据化运营。
这一理念和之前分享的“让公司所有的员工参与到业务上来”不谋而合。
数据对于企业和用户来说，意味着什么？
企业价值是利益的最大化。在以数据为宝的电子商务平台中，企业价值就是点击购买率。
用户价值是提高用户体验，让用户购买自己急需的产品或服务。
有时企业价值和用户价值之间存在着强烈的冲突。企业追求的利润最大化理念将引导用户购买产品。推荐系统做到了这一点，但忽略了用户的意愿。
许多人在网上被逗乐时会迷失自我。对于电子商务推荐的产品，遇到新的东西就会下订单购买。例如，当我看到有趣的书时，我就点菜。
你说这些书对我有什么急需的功效吗，好像有也好像没有，但是买来储存着以后看，说不定哪天还绝版了呢。
既扩展了用户价值，还提高了企业价值。
大数据的本质是分析用户，还原真实屏幕数字背后的逻辑。
不用“大”来形容，数据的本质就是洞悉用户，与大小无关。
在《别再死盯着roi》这篇文章里，车品觉谈到了他当年的一个决定，根据复购率最高的30%的广告关键词进行跟踪，看看跟着这些广告词而来购物的用户，在三个月后，是不是还会再次进行登录并购物。
这个故事背后的实现，完全靠技术。在这个场景中，技术人员是产品经理的枪，要射哪个枪。做的好是产品经理的功劳。当然，一些产品经理也在承担风险。因为产品经理或运营不好，他们直接与收入挂钩，而技术总是在他们背后做出贡献。
技术员有着明确的敌人，就是技术难题；而产品，则有太多的敌人，有时候看不清敌人在哪；有时候明知道敌人就在**，却苦思冥想而不得战术要领。两者都是在费脑子，只不过这么看来，技术的脑子费得不如产品那么多，那么强度大。
