1、-_目录来自 Connotate 的解决方案 .2金融数据聚集 .2金融行业应用 .2金融行业应用案例-华尔街个案 .4用户案例:FactSet .5Conotate 功能介绍: .6来自 Datameer 的解决方案 .8大型零售银行 .8金融机构 .8Datameer 简介 .9来自 Syncsort 的解决方案 .13Syncsort 为金融服务行业提供的解决方案 .13Syncsort 的产品介绍 .15-_来自 Connotate 的解决方案金融数据聚集每天,所有的政治事件、金融行业动态、企业动态和其他的市场动态都会发布到网上。实时地监控和了解金融行业的动态对于占领和稳固金融数据的市
2、场份额是必不可少的。速度和精准度是最关键的。自动化 Web 数据监控和抽取功能,大大方便了金融数据提供商持续的跟踪各银行、客户金融服务网站和世界各地的新闻、企业新闻、政府新闻和媒体新闻,并向其用户推送所需的信息,自动化监控的解决方案能够做到: 通过监控市场动态,利用内部变化监控和关键字搜索方式,提供实时的更新报表 通过复制收集的数据和减少数据上传时的人工干预,大大提高了数据的精准度 通过选择性数据推送功能,向特定的管理员发出提醒,告知用户哪些企业网站、新闻门户和政府网站有重要的改变 通过增加对金融文件的监控力度(自动化抽取),大大减少了成本 通过从世界各网站中收集精准的数据(语言不限)并转换成
3、结构化数据,大大提高了数据收集的广度 通过一些指标性特征使管理人员迅速调整监控个抽取的目标数据,提高商务和管理的灵活性有了 Web 数据自动化监控和抽取的 Connotate,管理人员和分析人员可以收到关于数据更新的报告,无需再依赖易于出错的人工方式和繁琐的脚本语言处理工具Connotate 自动化监控所有数据源的数据,如银行网站等,下载 PDF 文件并把 Web 页面转化为 Excel、XML 或者适用的文件格式Thomson Reuters(路透社)、 Dow Jones(道琼斯)、FactSet 和其他世界各主流金融数据商都新来 Connotate,用 Connotate 进行数据监控和
4、抽取。金融行业应用信息和内容随时可以在 Web 上获得,随着其价值的增加,对相关的信息内容做出及时的措施、分析和加快决策就越来越显得重要。有了 Connotate 的帮助下,投资者和分析师可以针对企业和部门的表现有更加深刻的认识,即使在市场看来并不是很明显的表现。Connotate 的必杀技在与不断的标记来自 Web 上部门和政府的变化数据、新闻信息、诸如价格、库存、产品供应水平、生产力和招聘人员活动等操作数据,和各种能够帮助预测分析的指标。-_现在,从 Web 上精准的收集数据并进行数据分析成本是很高昂的。如今 Connotate 的自动化数据抽取和分析不仅为用户大大减少了成本而且其操作也是
5、非常简易的即使不是专业的编程人员或者 IT 架构人员也可以进行部署和操作。详情见下文: 支持买卖双方的决策通过抽取一系列操作数据来加速对整个季度的趋势分析 对市场变化的反应更加灵敏通过实时地监控市场动态 为研究调查加大深度通过锁定需要监控的数据源 加速产品上市通过监控市场异常和机遇利用 Web 数据支持研究调查,以增加调查的质量和效率。Connotate 优越的自动化数据监控和抽取的解决方案能够让用户实时地发现公共资源的价值,大大增加其透明度以更好的支持研究调查和投资决策。过去使用 Web 爬虫的用户,会发现要花费很大的精力对收集的数据进行处理后,数据才会有意义。与 Web 爬虫工具不同的是,
6、Connotate 能够抽取 Web 数据并转换为结构化数据格式(CSV、 XML、 XLS 等格式)Connotate 使用户不必等待季度报表或者成本昂贵的消费研究调查来进行投资决策。Connotate 使用户对数据抽取拥有最大的控制权。无论数据集的保存期限是几天、几周、还是几个月,用户都可以精准地定位需要的数据,并获得实时的洞察。-_金融行业应用案例-华尔街个案Connotate 使用户对市场部门个体股票的微小动态都了如指掌,获得支持买方购买的可行性洞察。华尔街一家投资机构欲更好地了解个别企业、企业产品销售情况和市场部门的微妙动态,其选择是是实时地收集操作数据,其目的是为了应对瞬息变化的股
7、票市场做出更好的投资决策。随之电子商务的大兴崛起,除了纯粹惯例地发布数据和季度报表,该企业抽取了不同企业、电子商务平台、博客和社交平台网站(Amazon 和 Crunchbase 等)上的 Web 数据。该企业选择了 Connotate 实地部署的解决方案,在几周内就设定好预访问的网站,抽取营销活动、价格数据、库存情况和客户偏好选择等的数据。利用这些数据为相应的金融趋势、金融活动和金融观点建立模型。在过去的一年里,该企业在 Connotate 的帮助下,在股票市场上获得了额外的一百多万美元的收益。 Connotate 实地部署能够使数据分析更加灵活简易了,更易于调整,更易于管理、查询和定位。
8、Connotate 在电子商务上网页内抽取关于营销活动和库存情况的数据,然后只推送与上次抽取的数据相比有变化的数据提供了清晰明了的定位信息。 Connotate 将抽取的数据转换和推送结构化数据,如 CSV 文件;将重点数据推送到分析应用程序中进行趋势分析“Connotate 的解决方案为我们提供了产品价格、库存情况、广告话费、转换率、订单情况和其他重要的非结构化数据信息,而这些数据(用其他工具)是很难抽取的但是却是很有分析价值的。”- Jason Jones,对冲基金投资组合经理-_用户案例:FactSetFactSet 在世界各地的成千上百个网站中收集数据,并向其金融行业的用户推送数据,支
9、持他们更好地做出投资决策。FactSet 的客户要求数据是精准、实时和完整的。随着 Web 数据量的不断增加,FactSet 也在寻求能够加快数据抽取自动化程度的工具。由于其业务的不断扩大,FactSet 分析师更多对更新数据有更大的需求。在使用 Connotate 之前,FactSet 使用的是一种 Web 监控工具(带有少许的过滤功能) ;一般分析师收到的 35%的提醒信息是有效的。因此,FactSet 希望能够提高其数据抽取的效率并简化工作流。 自从选择了 Connotate 之后,数据提醒的有效率从 35%上升到 90%。 FactSet 选择的是 Connotate 的实地部署解决方
10、案,他们利用下拉式菜单和便捷式点击页面管理和设置了成千上万个 web Agents(Connotate 数据抽取的工具) Connotate 使 FactSet 能够访问到一些没有宽带的偏远地方的数据 Connotate 使 FactSet 在无需增加管理人员的数量的同时增加企业监控数量Connotate 抽取的数据比我们之前使用的那套工具精准多了,推送的数据更加可靠、精准和便于使用。- Chris Clifford,FactSet 的信息创建经理说道-_Conotate 功能介绍:Connotate 利用机器学习自动生成的高效代码和辅助配置,其数据抽取的工具称为 Agent。在 Agents
11、 的指引下,用户能精准地获得需要的信息Connotate 在过滤了广告和无关信息的同时,将非结构化数据转化成为支持业务流程的可读性数据。Connotate 的解决方案相比于网页脚本工具要优越得多,由于网站格式不断变化,修整是一项很重要的工程,Connotate 的解决方案具有较强的适用性。各网站都在不断地更新。优化解决方案,不但是为了精准地检测网页内容的变化,而且是为了更有效率地提高推送信息。过滤垃圾信息和删除重复数据可使工作流取得更大成效。-_部署选项Connotate 能够满足用户的业务之需,并且适应今后的发展和变化。而且,Connotate 能够提供灵活实用的解决方案以满足用户具体的业务
12、需求。详情请访问:http:/www.bigdataunion.org/detail2.php?id=1-_来自 Datameer 的解决方案大型零售银行为了量化资产风险和遵守监管报告的要求,如多德 - 弗兰克法案,这家一流的零售银行正在使用 Datameer 来验证数据的准确度和质量。 银行贷款和分支数据以及财富管理数据集成,数据质量的举措是负责确保每一条记录是准确的。这个过程包括对数据超过 50 个数据的理智和质量检查。这些检查的结果,随着时间的推移的趋势,以确保数据损坏和数据域的公差不改变不利和被报告给投资者和监管机构的风险状况,审慎和符合监管要求。Datameer 之前,该银行采用 T
13、eradata 和 Netezza 公司和建设数据集市,以分析数据的质量,使用他们的 SAS 应用。这个过程是耗时和复杂,数据集市的做法没有提供数据的完整性需要确定整体数据质量。金融机构为了提高客户保留和参与,这家领先的金融研究机构使用 Datameer 加快客户的使用情况分析和产品改进。 基于 Web 的平台结合了全球性的公司具有强大的财务基本面分析,构思一代,为用户的工作流管理工具的信息和市场研究。该公司的产品管理团队需要了解用户访问模式和产品互动的细节,以便更好地吸引和留住客户。该公司此前使用 OLAP 多维数据集,存储和报告用户访问日志,客户数据和许可证信息。他们拼命用一个 4-6 周
14、的周转时间,提供新的或更新的数据。因此,产品管理一直非常被动,他们的大部分时间花在管理报告的过程,而不是理解最终用户如何响应特性和内容。该公司选择了 Datameer 加快洞察顾客使用,并加快新产品型号。有了 Datameer,产品经理现在可以快速地关联在用户的流量模式的变化(点击流)和事件的背景下,如新版本,-_A / B 测试和故障,以确定哪些工作或不执行队列分析。产品策略,现在可以迅速调整和改进 Datameer 释放产品经理的部署,把重点放在分析用户的使用模式,并创造新的产品模型,而不是建设报告。Datameer 简介数据快速集成将您的 IT 资源从数据管道中释放出来, 为 IT 和商
15、业用户快速整合任何数据源。数据自由化无 ETL数据是观察事物的基础。你掌握的数据越多,对事物的了解就会越深入。因此,你不仅要掌握传统意义上的交易数据,而且还要掌握所有其它类型的数据,这样才可以完全了解客户,充分理解业务流程,提高业务绩效。Datameer 为了把所有数据整合到 Hadoop,而不关注 ETL 和静态模式的局限性。预建的数据连接向导关联所有常见的结构化和非结构化数据源,这就意味着,数据集成是一种简单的,分成三个步骤的过程:集成存储于哪里的数据、集成哪些数据、什么时候集成这些数据。结构化数据包括: Oracle, DB2, MS SQL, MySQL 等 Teradata, Gre
16、enplum 等 XML, JSON, CSV 等 HBase, Cassandra非结构化数据包括:-_ Twitter, Facebook, LinkedIn, Jive 等 Email LogFiles SaaS - CRM, GitHub, Jira, Zendesk 等数据导入类型导入作业Datameer 将所有数据以其原始格式直接导入到 Hadoop。强大的采样、解析、调度和数据保留等工具使得整个导入过程到了优化和支持,从而用户可以便捷高效地获得他们所需要的数据。任何数据的无限相关性数据链接在某些使用场景下,如分析瞬息万变的用户数据时,系统需要在分析在进行的过程中即将数据导入 Hadoop 平台中。这确保了用户数据始终处于最新状态。为此, Datameer 为所有数据源都提供数据链接.