亚马逊的大数据论文参考文献

亚马逊拥有强大的基础设施，才能成为世界级大数据企业的。

亚马逊公司，外文名是Amazon。成立时间是1994年7月5日，总部地点是西雅图，经营范围有书籍、电子产品、家居产品等，年营业额是 亿美元(2020年) ，员工一共有647500人(2019年)，CEO是安迪·贾西。它是是美国最大的一家网络电子商务公司，也是网络上最早开始经营电子商务的公司之一。在2021年7月，杰夫·贝索斯正式卸任亚马逊首席执行官，由安迪·贾西继任。

首先，打开Amazon Elastic MapReduce控制台。然后点击 Create Cluster ，在五个步骤中完成配置设置。 第一步，配置一个集群 在 Cluster name 字段中，输入一个描述性的名称。它可以是非唯一的。 在Termination protection 字段中，其默认值为Yes。这一设置可确保集群不会因为意外或错误而关闭。 在Logging 字段中，其默认值为Enabled。日志数据将被发送至亚马逊S3。 在Log folder S3 location 字段中，请以如下格式输入存储桶名称和文件夹信息：s3:////。 在Debugging 字段中，其默认值为Enabled。 Tag 部分是可选的。你可以为你的EMR集群添加最多10个标签。在一个标签中，包括了一个区分大小写的键值对。 第二步，设置软件配置 在Hadoop distribution 多选框中，选择Amazon 为默认值。 在 AMI version 多选框中，选择 （Hadoop ） 在Application to be installed 多选框中，保留选中Hive 和 deletePig。 第三步，设置硬件配置 在 Network 字段中，选择Launch into EC-2 Classic。 在EC2 Subnet 字段中，选择 No preference。 在Master、Core 以及 Task 字段中，默认EC2实例类型为。对于低工作负载的应用，你可以为所有节点选择使用小实例（可确保降低你的使用成本）。相应地，Count 的默认值分别为1、 2、 0。同时，对于所有三个字段，确保不选中 Request Spot Instances 。 注意：20是每个AWS帐户的最大节点数。如果你运行了2个集群，那么2个集群运行的节点总数必须为20或以下。如果你确实需要节点数超过20，那么你必须提交一个请求以便于提高你的亚马逊EC2实例上限。 第四步，设置安全和访问配置 在EC2 key pair 字段中，从列表中选择一个亚马逊EC2密钥对。这一设置可以让你使用Secure Shell（SSH）来连接主节点。 在IAM user access 字段中，其默认值为 No other IAM users。 在EC2 role 多选框中，其默认值为 no roles found。 在Bootstrap Actions 部分，你可以不做任何操作。 第五步，指定集群参数 在Steps 部分，从列表中选择Hive Program，并点击 Configure and add。 在Name 字段中，其默认值为Hive Program。 在 Script s3 Location 字段中（必选项），以BucketName/path/ScriptName的格式输入相关信息，例如 s3n://elasticmapreduce/samples/hive-ads/libs/model-build。 在 Input s3 Location 字段中（可选项），以BucketName/path的格式输入相关信息，例如 s3n://elasticmapreduce/samples/hive-ads/tables。该输入值会作为名为INPUT的参数发送给Hive脚本程序。 Output S3 Location 字段（可选项），以BucketName/path的格式输入相关信息，例如 s3n://myawsbucket/hive-ads/output/2014-4-14。该输入值会作为名为OUTPUT的参数发送给Hive脚本程序。 在 Arguments 字段，输入相关信息，如 - d LIBS=s3n://elasticreducemap/samples/hive-ads/libs。HIVE脚本程序需要额外的库。 在 Action on Failure 字段中，选择 Continue。如果当前步骤失败，它将继续至下一个步骤。 当你完成后，点击Add，然后点击Create Cluster。你将会看到Summary 信息。 如上例，在你继续查询操作和分析大数据前，你需要在主节点上准备一个HIVE会话。 你将需要每隔五分钟向亚马逊S3推送 Impression 和 Click Log Files。每次添加一个条目，就会向客户显示一条广告。每次添加一个Click Log Files的条目，客户一条广告。类似于SQL的查询操作简化了关联客户点击数据和特定广告的过程。 总之，分析大数据的最佳方法就是在Hadoop上运行Hive，并使用SQL查询以简化日志数据分析。

亚马逊ppc设置后台操作：1、单击导航Advertising-Campaign Manager2、在广告管理界面给广告计划起名，每日的预算、开始结束时间、设置自动选择关键词或手动选择3、输入广告组的相关信息上面全部填写完毕后，ppc广告就创建完成亚马逊ppc设置注意事项出价是比每次点击费用都高美金，其本身就非常有优势，若是高出了1美金以上，就没有什么意义。其原因就是点击价格都是由第二名的出价+第一名与第二名间差价的百分比加上卖家的表现所综合得出。简单说来就是有一定额度的上限，并非出价越高越有竞争力。广告展位跟搜索展位其实非常类似，他们都有自己本身的排名体系，搜索为排名主要是由销量、转化率等决定，而广告展位则是由买家的performance表现与出价bid共同决定。所以，若是卖家找不到自己广告位就需要赶紧去抢救下自己的账户表现。2.出单量很多卖家都认为只要做了广告就可以大量的出单，但其实这跟产品关系才是最大的，要时刻记住“产品为王”这个概念。如果卖家有一款新品，亚马逊上面没有同款，做广告一段时间后，点击率有，但是转化率太低，那么就需要考虑这个产品是否有市场，要及时的分析下广告并且暂停下来，避免损失。若卖家的产品不是新品，那么就需要考虑下listing是否有问题，图片、标题、内容都需要不断的修改优化直到出效果为止。3.关键词亚马逊的A9算法中，关键词也是关系到搜索权重的，但在卖家的眼中，亚马逊关键词是能够吸引或让买家搜索到自家产品的重要途径，买家可在关键词上看出产品颜色、款式、用法、功能、型号等一些信息，越多越具体越好，如果能够跟竞争对手产品有差异化，那样才最好。

发展历程：十年来大数据产业高速增长，我国信息智能化程度得到显著提升

我国大数据产业布局相对较早，2011年，工信部就把信息处理技术作为四项关键技术创新工程之一，为大数据产业发展奠定了一定的政策基础。自2014年起，“大数据”首次被写进我国政府工作报告，大数据产业上升至国家战略层面，此后，国家大数据综合试验区逐渐建立起来，相关政策与标准体系不断被完善，到2020年，我国大数据解决方案已经发展成熟，信息社会智能化程度得到显著提升。

市场规模：2020年市场规模超6000亿 维持高速增长

中国大数据产业联盟发布的《2021中国大数据产业发展地图暨中国大数据产业发展白皮书》指出，2018年以来，大数据技术的快速发展，以及大数据与人工智能、VR、5G、区块链、边缘智能等新技术的交汇融合，持续加速技术创新。与此同时，伴随新型智慧城市和数字城市建设热潮，各地与大数据相关的园区加速落地，大数据产业持续增长。

赛迪顾问的数据显示，2020年中国大数据产业规模达6388亿元，同比增长，预计未来三年保持15%以上的年均增速，到2023年产业规模超过10000亿元。

市场格局

——细分市场格局：软硬件占据行业主要市场

目前，我国的大数据产业尚处于初级建设阶段，从市场结构来分，大数据产业可划分为大数据硬件、软件以及服务三类市场。

根据《IDC全球大数据支出指南》，2020年中国大数据市场最大的构成部分仍然来自于传统硬件部分——服务器和存储，占比超过40%，其次为IT服务和商业服务，两者共占的比例，剩余由的大数据软件所构成。从软件角度来看，2020年中国最大的三个细分子市场依次为终端用户查询汇报分析工具(End-User Query, Reporting, and Analysis Tools)、人工智能软件平台(AI Software Platforms)以及关系型数据仓库(Relational Data Warehouses)，并且IDC预计，三者总和占中国整体大数据软件市场的比例接近50%。

——应用市场格局：互联网、政府、金融为大数据主要应用领域

从具体行业应用来看，互联网、政府、金融和电信引领大数据融合产业发展，合计规模占比为。互联网、金融和电信三个行业由于信息化水平高，研发力量雄厚，在业务数字化转型方面处于领先地位;政府大数据成为近年来政府信息化建设的关键环节，与政府数据整合与开放共享、民生服务、社会治理、市场监管相关的应用需求持续火热。此外，工业大数据和健康医疗大数据作为新兴领域，数据量大、产业链延展性高，未来市场增长潜力大。

发展趋势与前景

——发展趋势：数据治理成为大数据发展的重要方向

——发展前景预测

据赛迪顾问预测，2023年中国大数据产业市场规模将超过10000亿元，2021-2023年增速将达到15%以上。在此基础上，前瞻测算，到2027年我国大数据产业市场规模将接近18000亿元。

—— 更多行业相关数据请参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》