当前位置:主页 > 74499co现场开奖结果 >

“爬虫”怎么成了“害虫”?

发布时间:2019-11-30   浏览次数:

  一时间,魔蝎数据、新颜科技、公信宝、快钱支付、天翼征信等公司先后传来有人被警方带走调查的消息。

  这令处于大数据风控服务核心的——爬虫技术推上了风口浪尖,大数据行业也迎来了前所未有的“震荡”。安徽招聘网和新安人才网比较!消息称,被调查或是因为这些公司利用网络爬虫技术侵犯个人隐私数据,这些隐私数据的泄露,加剧了暴力催收的泛滥,助长了“套路贷”“高利贷”。

  而港股上市公司51信用卡被警方突击调查的消息,则为这场风波炸响了一声“惊雷”。10月21日晚,杭州公安通报称,51信用卡被突击调查原因在于,今年9月以来,其委托的外包催收公司冒充国家机关,采取恐吓、滋扰等软暴力手段催收债务,涉嫌寻衅滋事。

  目前,已经有多家大数据风控平台暂停部分服务。大数据行业似乎进入了一个前所未有的“整顿期”。

  在近年互联网金融大潮中,大数据风控供应商一直扮演着重要角色。爬虫技术也是大数据风控行业的主打产品。“爬虫”怎么成了“害虫”?在互联网金融风险整治不断深化的大背景下,大数据风控行业又将何去何从?

  网络爬虫也叫网络蜘蛛(spider),是一种自动浏览网络的计算机技术,能够自动化、高效率地检索互联网并抓取数据。爬虫技术也是搜索引擎技术的核心元素之一,经历了20多年的发展,已经日趋多样化,在搜索引擎、数据分析、人工智能等领域得到了广泛应用。

  此次风波中的公司大多是国内较早从事大数据风控的服务商,主要为银行、保险、消费金融公司、贷款机构等提供风控技术解决方案,而其中就包括了爬虫服务或者基于爬虫技术而形成的产品。

  知名大数据风控平台同盾科技卷入了此次风波。其旗下子公司信川科技的数聚魔盒业务已经停止。公开信息显示,数聚魔盒主要涉及数据采集流程,支持爬取数据用作信用评估。

  “信川科技是同盾科技下属独立运营的子公司,旗下的数聚魔盒业务已经停止。”同盾科技相关负责人向《中国经济周刊》记者介绍,数聚魔盒业务本身对适用条件与场景有严格的授权要求与限制,为更加严格地保护用户合法权益,并积极响应国家关于个人信息保护的相关政策,去年公司已经开始主动收缩该业务,今年上半年已完全停止。

  而背靠中国电信的天翼征信也传来被调查的消息。有媒体报道称,9月12日上午,天翼征信总经理、副经理以下及市场人员,共计十余人被警察带走。

  天翼征信相关负责人对《中国经济周刊》记者表示,“我们现在一切都正常,没有什么太大问题。未来可能将对客户进行筛选。我们业务都是合规的,至于行业里的传闻也不太好评价。而关于有无人员被带走调查,对外不做任何回复。”

  爬虫作为一种计算机技术具有中立性,在法律上也从未被禁止,为什么这些公司会因为爬虫技术而被调查?

  问题的关键在于爬取的行为和爬取获得的数据是否触及监管红线——是否经过授权?是否过度爬取数据?获取了哪些数据?是否为获取数据破坏被爬服务器的防护措施?

  前述同盾科技负责人直言,“爬虫其实是一个中立的技术,但现在可能会有灰色地带存在。”

  随着互联网金融兴起,非银行金融机构如P2P、小贷公司、消费金融公司等都试图掘金传统征信数据缺失人群。而伴随用户金融行为进一步线上化,还产生了除工商财税、水电煤缴费之外的信息,如支付和交易信息、社交大数据信息等等,成为判断用户信用水平的重要数据类型。

  然而,对于这些机构而言,自身搭建完整的风控系统成本动辄高达数千万。在此背景下,服务金融机构以及类金融机构的第三方大数据风控公司应运而生。

  从这些大数据风控企业的合作体量,就可以看出市场需求的旺盛。公开信息显示,魔蝎科技已与国内银行、保险机构、消费金融、互联网金融等超过2000家客户合作。新颜科技合作机构2500家以上;数聚魔盒在2019年3月份下线家。

  随着行业的“野蛮生长”,竞争日益激烈,一些变异的爬虫产品也随之出现,涉及窃取、泄露、滥用用户数据等。

  有业内人士向《中国经济周刊》记者介绍,一些大数据风控服务商为了获取海量数据,许多非授权隐私数据也会成为爬虫的目标,甚至用户手机里的通讯录、通讯记录、电商交易数据、外卖交易记录等等,要是被盯上,“基本上你就没什么秘密了”。

  而有些爬虫技术则采用“多线程爬取”,从而导致网站瘫痪或不能访问,这也是大多数网络攻击所使用的方法之一。

  “去年就一直存在个人隐私信息不断被泄露,部分金融公司通过各种数据源对用户数据进行打包出售再加工,严重涉及到公民隐私及数据安全的问题。”有业内人士对《中国经济周刊》记者表示,有的金融公司通过各种数据源对用户数据进行打包出售再加工,严重涉及公民隐私及数据安全问题。去年问题爆发得很明显,主要集中在消费金融和现金贷两大业务板块。

  部分拓展在线零售业务的中小城商行、农商行,也会选择与第三方大数据风控公司合作,进行数据交叉验证、丰富风控维度。

  在上述业内人士看来,大量第三方数据公司为了获得银行业务,会提供大量不同的数据源,很多数据是“非脱敏”数据,“银行业是一个国家的经济命脉,这些数据提供给银行就会涉及到金融安全问题。”

  “即便客户允许你抓取,也是在这一次审批当中可以用,你把这些数据留存用于其他场景肯定是不对的。”一位不愿透露姓名的业内人士对《中国经济周刊》记者分析,支气管炎的症状有哪些?,从对个人信息保护的严格意义上讲,这些数据应当全部销毁。而部分爬虫公司并不销毁历史上抓取的数据,同时还提供给其他客户、其他场景使用。

  这位业内人士举例称,还有一类公司会采用特殊手段规避法律风险,“比如:用户上传身份证号码,征信公司直接显示用户每个月纳税金额,这肯定触犯法律。但他们会规避掉法律风险,用数据标签给用户的纳税金额打分,比如缴税1万元的人就是5分,1万元以下的就是3分。”

  随着强监管信号的不断释放,“野蛮生长”的大数据爬虫时代或将结束。在不少业内人士看来,本次整顿也是一个行业净化、洗牌的过程,有利于整个行业更加健康、规范发展。

  今年5月28日,国家互联网信息办公室发布了《数据安全管理办法(征求意见稿)》(下称“《管理办法》”),用部门立法的方式对互联网数据收集、数据处理使用,都做了明确的界定。

  《管理办法》第十六条规定,“网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。”

  在北京大成律师事务所执业律师、北京网贷协会法律顾问肖飒看来,没有授权的爬虫就一定是违法的,需要重点整治。现在的关键是如何面对这些看似“合法”的爬虫,重中之重就是运营商做到用户授权链的完整,明晰完整的授权链,做到源头控制。总的来说,应当尽快制定完善针对网络爬虫的数据安全法律法规,将网络爬虫引向合法轨道。若是违法进行网络爬虫,就要重拳出击,加大惩罚力度和侦查力度,涉及刑事犯罪的要重点处理。

  然而,过去一个多月的行业“震荡”昭示着,针对大数据风控行业的强监管才刚刚开始。

  10月24日,有报道称,央行日前发文紧急调研银行与第三方数据公司合作情况。其中,银行需排查的内容主要涉及数据采集、信用欺诈、信用评分、风控建模等方面。央行还要求各企业征信机构排查自身业务中是否存在违规爬虫行为。央行表示,如存在上述情况,请立即上报,对于存在违规爬虫业务的要立即整改。如不存在上述情况的,请出具加盖公章的书面承诺函,并于10月24日前送至央行征信管理处。

  一时间,魔蝎数据、新颜科技、公信宝、快钱支付、天翼征信等公司先后传来有人被警方带走调查的消息。

  这令处于大数据风控服务核心的——爬虫技术推上了风口浪尖,大数据行业也迎来了前所未有的“震荡”。消息称,被调查或是因为这些公司利用网络爬虫技术侵犯个人隐私数据,这些隐私数据的泄露,加剧了暴力催收的泛滥,助长了“套路贷”“高利贷”。

  而港股上市公司51信用卡(02051.HK)被警方突击调查的消息,则为这场风波炸响了一声“惊雷”。10月21日晚,杭州公安通报称,51信用卡被突击调查原因在于,今年9月以来,其委托的外包催收公司冒充国家机关,采取恐吓、滋扰等软暴力手段催收债务,涉嫌寻衅滋事。

  目前,已经有多家大数据风控平台暂停部分服务。大数据行业似乎进入了一个前所未有的“整顿期”。

  在近年互联网金融大潮中,大数据风控供应商一直扮演着重要角色。爬虫技术也是大数据风控行业的主打产品。“爬虫”怎么成了“害虫”?在互联网金融风险整治不断深化的大背景下,大数据风控行业又将何去何从?

  网络爬虫也叫网络蜘蛛(spider),是一种自动浏览网络的计算机技术,能够自动化、高效率地检索互联网并抓取数据。爬虫技术也是搜索引擎技术的核心元素之一,经历了20多年的发展,已经日趋多样化,在搜索引擎、数据分析、人工智能等领域得到了广泛应用。

  此次风波中的公司大多是国内较早从事大数据风控的服务商,主要为银行、保险、消费金融公司、贷款机构等提供风控技术解决方案,而其中就包括了爬虫服务或者基于爬虫技术而形成的产品。

  知名大数据风控平台同盾科技卷入了此次风波。其旗下子公司信川科技的数聚魔盒业务已经停止。公开信息显示,数聚魔盒主要涉及数据采集流程,支持爬取数据用作信用评估。

  “信川科技是同盾科技下属独立运营的子公司,旗下的数聚魔盒业务已经停止。”同盾科技相关负责人向《中国经济周刊》记者介绍,数聚魔盒业务本身对适用条件与场景有严格的授权要求与限制,为更加严格地保护用户合法权益,并积极响应国家关于个人信息保护的相关政策,去年公司已经开始主动收缩该业务,今年上半年已完全停止。

  而背靠中国电信的天翼征信也传来被调查的消息。有媒体报道称,9月12日上午,天翼征信总经理、副经理以下及市场人员,共计十余人被警察带走。

  天翼征信相关负责人对《中国经济周刊》记者表示,“我们现在一切都正常,没有什么太大问题。未来可能将对客户进行筛选。我们业务都是合规的,至于行业里的传闻也不太好评价。而关于有无人员被带走调查,对外不做任何回复。”

  爬虫作为一种计算机技术具有中立性,在法律上也从未被禁止,为什么这些公司会因为爬虫技术而被调查?

  问题的关键在于爬取的行为和爬取获得的数据是否触及监管红线——是否经过授权?是否过度爬取数据?获取了哪些数据?是否为获取数据破坏被爬服务器的防护措施?

  前述同盾科技负责人直言,“爬虫其实是一个中立的技术,但现在可能会有灰色地带存在。”

  随着互联网金融兴起,非银行金融机构如P2P、小贷公司、消费金融公司等都试图掘金传统征信数据缺失人群。而伴随用户金融行为进一步线上化,还产生了除工商财税、水电煤缴费之外的信息,如支付和交易信息、社交大数据信息等等,成为判断用户信用水平的重要数据类型。

  然而,对于这些机构而言,自身搭建完整的风控系统成本动辄高达数千万。在此背景下,服务金融机构以及类金融机构的第三方大数据风控公司应运而生。

  从这些大数据风控企业的合作体量,就可以看出市场需求的旺盛。公开信息显示,魔蝎科技已与国内银行、保险机构、消费金融、互联网金融等超过2000家客户合作。新颜科技合作机构2500家以上;数聚魔盒在2019年3月份下线家。

  随着行业的“野蛮生长”,竞争日益激烈,一些变异的爬虫产品也随之出现,涉及窃取、泄露、滥用用户数据等。

  有业内人士向《中国经济周刊》记者介绍,一些大数据风控服务商为了获取海量数据,许多非授权隐私数据也会成为爬虫的目标,甚至用户手机里的通讯录、通讯记录、电商交易数据、外卖交易记录等等,要是被盯上,“基本上你就没什么秘密了”。

  而有些爬虫技术则采用“多线程爬取”,从而导致网站瘫痪或不能访问,这也是大多数网络攻击所使用的方法之一。

  “去年就一直存在个人隐私信息不断被泄露,部分金融公司通过各种数据源对用户数据进行打包出售再加工,严重涉及到公民隐私及数据安全的问题。”有业内人士对《中国经济周刊》记者表示,有的金融公司通过各种数据源对用户数据进行打包出售再加工,严重涉及公民隐私及数据安全问题。去年问题爆发得很明显,主要集中在消费金融和现金贷两大业务板块。

  部分拓展在线零售业务的中小城商行、农商行,也会选择与第三方大数据风控公司合作,进行数据交叉验证、丰富风控维度。

  在上述业内人士看来,大量第三方数据公司为了获得银行业务,会提供大量不同的数据源,中铝集团换帅葛红林卸任董事长,很多数据是“非脱敏”数据,“银行业是一个国家的经济命脉,这些数据提供给银行就会涉及到金融安全问题。”

  “即便客户允许你抓取,也是在这一次审批当中可以用,你把这些数据留存用于其他场景肯定是不对的。”一位不愿透露姓名的业内人士对《中国经济周刊》记者分析,从对个人信息保护的严格意义上讲,这些数据应当全部销毁。而部分爬虫公司并不销毁历史上抓取的数据,同时还提供给其他客户、其他场景使用。

  这位业内人士举例称,还有一类公司会采用特殊手段规避法律风险,“比如:用户上传身份证号码,征信公司直接显示用户每个月纳税金额,这肯定触犯法律。但他们会规避掉法律风险,用数据标签给用户的纳税金额打分,比如缴税1万元的人就是5分,1万元以下的就是3分。”

  随着强监管信号的不断释放,“野蛮生长”的大数据爬虫时代或将结束。在不少业内人士看来,本次整顿也是一个行业净化、洗牌的过程,有利于整个行业更加健康、规范发展。

  今年5月28日,国家互联网信息办公室发布了《数据安全管理办法(征求意见稿)》(下称“《管理办法》”),用部门立法的方式对互联网数据收集、数据处理使用,都做了明确的界定。

  《管理办法》第十六条规定,“网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。”

  在北京大成律师事务所执业律师、北京网贷协会法律顾问肖飒看来,没有授权的爬虫就一定是违法的,需要重点整治。现在的关键是如何面对这些看似“合法”的爬虫,重中之重就是运营商做到用户授权链的完整,明晰完整的授权链,做到源头控制。总的来说,应当尽快制定完善针对网络爬虫的数据安全法律法规,将网络爬虫引向合法轨道。若是违法进行网络爬虫,就要重拳出击,加大惩罚力度和侦查力度,涉及刑事犯罪的要重点处理。

  然而,过去一个多月的行业“震荡”昭示着,针对大数据风控行业的强监管才刚刚开始。

  10月24日,有报道称,央行日前发文紧急调研银行与第三方数据公司合作情况。其中,银行需排查的内容主要涉及数据采集、信用欺诈、信用评分、风控建模等方面。央行还要求各企业征信机构排查自身业务中是否存在违规爬虫行为。央行表示,如存在上述情况,请立即上报,对于存在违规爬虫业务的要立即整改。如不存在上述情况的,请出具加盖公章的书面承诺函,并于10月24日前送至央行征信管理处。

Copyright © 2002-2011 DEDECMS. 织梦科技 版权所有 Power by DedeCms