如何光明正大搜集竞争对手数据?

2019-02-22    来源:raincent

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

中国古话说的好,“知己知彼,百战百胜”,这用到国外的公司也是同样的道理。小探今天就来跟你说说,大公司,尤其是电子商务领域的大公司们是如何搜集竞争对手数据的?

先来看看美国的在线零售商的几大巨头都有谁。

根据 Techcrunch 去年的一篇报道,亚马逊无疑已经是占据了美国电子商务的半壁江山,其它零售商像沃尔玛、Home Depot、Best Buy 的份额都远远小于亚马逊了。

 

 

但这并不意味着后来者主动放弃竞争向上的机会。

路透社在 2017 年就曾报道过,沃尔玛依靠计算机程序扫描竞争对手网站上的价格,以便相应地调整其价格列表。因为价格差50美分就可能意味着你的消费者就去别家买了。(嗯,没错,精明,是哪个国家消费者都有的事!)

当然,大公司并不是你想搜集,就能搜集的。事实上,亚马逊的发言人就表示,该公司已经意识到有竞争对手使用机器人检查其价格列表,并“残忍地”拒绝了任何机器人类的“活动”。

 

 

(截自路透社新闻报道)

那到底有没有办法,绕开亚马逊的检查,顺利爬取它的数据呢?当然!几个亚马逊前员工,就希望反大公司而行之,帮助客户,搜集大公司的数据。更准确说,“抓取你竞争对手的网上数据,无论是你本身是大公司,还是小公司。”

这就是最近小探从伯克利孵化器 Skydeck 采访到的一家初创公司 Bungee 在做的。Skydeck 孵化器此前小探已经有介绍过,它是全美较早的公立研究型大学的校内加速器计划。它孵化的初创企业多数是已有工作经验的人,在校生相对较少。

光明正大地搜集数据

就电子商务领域来说,亚马逊由机器人驱动的定价已经代表了零售业的巨大变化。电子商务跟实体店的一个巨大不同是:你的价格可以一天变化好几次。而亚马逊总是有较低价,就是因为它能时刻追踪竞争对手的价格变化。

这是怎么做到的呢?主要是零售商通过其库存水平、销售预测和竞争对手的定价数据,用算法帮助进行价格的更新。正因为是算法驱动的,每天甚至可以更新多次。

 

 

(亚马逊的产品价格变化)

如果没有像亚马逊或者沃尔玛这样用机器人来搜集数据的话,那就只能动用其它武器了:比如虚拟专用网(VPN)、代理、P2P 网络等,再加上庞大的开发运营,就为了手动挖掘对手的数据。

那如果用机器人来搜集数据的话,一般又是怎么做的呢?

据 Bungee 产品经理 Calrence Chang 介绍,抓取的行为多半是通过机器代码进行的。这也是为什么只要网上一搜“爬数据”(crawl data),出来的都是如何用代码进行爬数据。用机器爬数据虽然快,但很容易被“反爬”,这也是为什么亚马逊能够识别“机器人”的行为,然后进行阻止。

 

 

2017年秋季开始,Bungee 的两位创始人Rajat Nigam 和 Charles Ding 就开始研究,到底有没可能自动轻松搜集数据,而且还不被对方的机器人发现呢?

按照 Bungee 产品经理 Clarence Chang 的说法,创始人“是希望能有一种工具,可以简化全球规模的网络数据收集,各种代理、VPN和其他传统技术都不需要了。就光明正大地互相收集数据吧!”

让机器人假装成人,就不会被发现了

如今,Bungee 已经成功开发出了一种 API,让 API 可以比任何当前服务更大规模地满足爬取数据(crawl data)的请求,同时还保持接近完美的爬取成功率。

到底是怎么做到的呢?

很简单,机器人容易被对方机器人发现进而阻止,但人就不会啊!那扮成“正常的消费者”不就好了!

试想一下,如果你自己在网上浏览各种产品信息的话,一般是怎么做的?是不是先搜索一下这个产品,进入电商页面后,还会上下滑动页面,回到主页再比较一下不同的价格,甚至会看看点评?

事实上,Bungee 就是这样做的。Clarence告诉小探,如果是机器的话,一般是一个固定的IP地址,进入网站后,就不断地点击产品链接,获取价格数据。但是,Bungee 通过“模拟”人在挑选页面的动作,比如停留的秒数,滑动的次数等,从而让机器做到像“人类”一样“购物”。如今,Bungee 的成功率高达 90%,也就是说,只有10%的可能性会被机器人发现了。

这样“爬数据”,竞争对手一旦知道了,会不会反应很激烈呢?

Clarence 认为,实际上,爬数据已经是“公开的秘密”了。商业领域时刻都在进行这样的事情,因为你总是需要了解竞争对手的,大公司也不会告诉你“我们已经在做这件事”了。

当前,Bungee 服务的客户主要面向的是电商、机票以及酒店领域,这些都是典型消费者最关注价格的应用场景。“这样,消费者就能获得较好的价格了。”

Clarence 还透露,其实连我们平时不太留意的求职市场,也存在着众多机会。像美国当前求职市场里面,LinkedIn、Indeed、Glassdoor等 ,都难免存在相同的求职信息,这其实就是竞争对手互相“复制”导致的。

无需防火墙,300个城市任你选

不知大家有没有试过,如果买一张从美国出发到中国的机票,你在美国买和在中国买,价格是不一样的,至少小探就试过。(所以每回买回国机票,小探难免还得回国内各大机票官网瞄一眼!)

这也是销售商最典型的销售策略:越发达国家,可以承受同样东西的价格就越贵……(销售商内心OS:发达国家钱多,当然要赚多点啊!)

Bungee 的另一大技术优势就出现了,即使你想要查找同一款产品在不同国家的价格数据,又或者是只在同一个国家、不同城市的价格数据,都可以!

“这有助于我们的客户迅速了解全球的价格数据,而不再是仅仅某个国家的数据。” Clarence告诉小探,这主要是通过 Bungee 服务器在全球有30多个国家,以及300多个城市的终端做到的,从而帮助客户获取基于地理位置数据的价格。

 

 

那么,现在 Bungee 的客户都有哪些呢?据 Clarence 透露,现在 Bungee 已有2个大客户,其中一个是电子商务领域的客户,另一个是财富 50 强客户,是一家专做市场研究的印度企业。

Bungee 最终能提供给客户的是什么呢?很简单,竞争对手数据。获得数据有两种方式,第一种方式,是给客户提供API(应用程序编程接口),客户可以通过自己的开发人员,从中获取任何想要的数据;第二种方式,提供数据包,比如客户想要某个邮编区域销售电子器材的电商的价格数据,无论是沃尔玛,还是Sears百货,Bungee提供的销售文档里面,就包括产品价格、运输情况、客户的评价等。如今,每天,Bungee 能够对1500 万件产品进行分析!

此外,Bungee 还提供基于 Chrome、Firefox 浏览器的插件版本,让客户搜集数据更加方便。登录 Bungee 账户后,选择你想要假装在的地方,比如你现在在加州的伯克利,但你想要假装在美国的佛罗里达州,又或者说加拿大的多伦多,都是可以的。

下一步:从搜集数据到分析数据

研究机构 IDC 曾预测, 到2025年预计全世界每年将创造163个zettabytes( 1万亿千兆字节) 的数据 。小探此前曾报道过,美国大约每年花费 250 亿美元在人工收集数据上。

无论是数据拥有者,还是数据分析者,都试图在这样庞大的数字市场当中分一杯羹。“数据是到处都有的,但你如何收集收据,用好数据,这正是企业所期盼的。” Bungee 告诉小探,当前第一步确实是从收集数据开始,但是,随着数据的增加,Bungee 希望用自己的深度学习等算法技术,对数据进行分析,提炼出更多洞察在其中,向用户出售更多有价值的数据。

Bungee 希望服务的,不仅仅是大公司,也有众多小型公司,从10人到500人的公司,都是可以提供 SaaS 服务的。

试想一下,如果某个国内企业想要在亚马逊上售卖自己的产品,比如鞋子,但是可能一开始是不知道如何定价的,如果通过 Bungee 获取了某双鞋子的价格、其它公司如何做促销的、假期如何影响销量等关键信息后,或许就知道如何定价、如何促销了。

分析竞争对手的庞大帝国

小探发现,捕捉竞争对手动态的公司已有不少,甚至已经形成一个完整的产业链。不同的初创公司正在试图通过多种渠道解决,到底企业该如何分析你的竞争对手,分析竞争对手的哪些部分并加以利用。

综合性竞争对手分析

Kompeyte:小探此前就采访过这个创业公司,它是被 500 Startups 孵化的企业。Kompeyte 提供的是实时访问竞争对手的网站、社交媒体、广告、新闻简报、热议度、着陆页等多个渠道,24小时就能见分晓。我不是教你诈,这家公司就是教你如何“吃透”竞争对手

竞争对手的受众分析

Brandwatch:这家英国的创业公司着重于在社交平台关注竞争对手的受众,主要监控竞争对手的社交媒体输出。企业可以分析并查看对手的受众特征、以及他们共享的内容。甚至可以下载粉丝作为列表,通过像 Twitter 广告之类来定位类似的受众。这家公司融资6470万美元,利润8960万美元。

 

 

SEO和关键词分析工具

SpyFu,亚利桑那州这家公司 可以显示竞争对手在谷歌 AdWords 中购买的每个关键字,以及过去 10 年以来的广告变化。 帮助客户更深入地了解竞争对手使用的关键字和PPC(pay-per-click) 广告关键词策略。比如,竞争对手排名的关键字数量,以及企业关键字与对手关键字设置的重叠程度等。这家企业的利润是380万美元。

SEMRush,这家位于波士顿的创业公司,提供在线可视化管理和内容营销SaaS平台。希望通过分析竞争对手的一系列关键字、付费搜索和排名等指标,帮助企业进行分析。可免费搜索10个网站,得出有限结果。 这家公司融资4000万美元,利润310万美元。

付费广告和PPC工具

iSpionage,这家硅谷初创公司成立于2008年,该公司提供可识别竞争对手PPC的工具,还包括其每月预算和整个Adwords策略。甚至可以访问七年的PPC和SEO关键字数据。这家公司利润1000万美元。

 

 

Whatrunswhere,这家成立于2011年的加拿大公司,提供查看竞争对手的广告位置,甚至广告外观、以及广告效果的功能。甚至包括访问15万个效果较佳的展示广告发布商的广告系列数据,在2016年被一家数字广告企业收购。这家企业利润400万美元。

可以说,无论是分析竞争对手本身,还是分析竞争对手的受众,乃至竞争对手如何做广告都分析了。这些企业明显面向企业的需求也导致了即使未有进行过多融资,但利润并不低。果然是:都来互相搜集吧!

标签: idc isp seo ssd 代码 电商 电子商务 防火墙 服务器 谷歌 媒体 排名 数据分析 搜索 网络

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:Golang与Python,哪种编程语言更适合您?

下一篇:CNN 之父再出豪言:深度学习需要新的编程语言