AG百家乐怎么玩才能赢 AI全面战斗, 从爬虫拆除互联网启动
这是第一次，全寰球最大的聚积基础规律公司之一，Cloudflare，启动用魔法击败魔法，用AI来对抗AI爬虫。
这事特意思的进度，足以载入AI发展文籍。这是一次AI规模的全面战斗。
你可能当前还有许多狐疑，Cloudflare是什么，AI爬虫是什么，AI迷宫又是什么，这个事到底特意思在哪。
看成这一切的启动，我思先跟你讲一个故事，一个在本年1月份，发生在一个仅有7东说念主的乌克兰公司的故事。
这个公司叫作念Triplegangers，作念的业务稀罕肤浅，即是卖东说念主的3D数字模子。
Triplegangers专注于销售“东说念主体的数字孪生”模子素材，这些高清3D模子像片来自简直东说念主类扫描，价值巨大。
首创东说念主Tomchuk对我方公司的业务一直很满足，公司天然不大，但这是他最心爱的事情。
这个网站一共有65000个居品页面，每个居品的页面至少放着三张高清像片。每一张图片都良好地标注了年事、肤色、纹身甚而伤痕。
然而，就在一个普通的周六早上，这种坦然被一场风暴倏地冲破。
Tomchuk收到了一条贫瘠申报：公司的网站崩溃了，因为受到了大批的DDoS迂回。
他懵了，因为平时也没啥仇东说念主，更没啥竞品，守着我方那一亩三分地，谁会好好地来迂回我方呢？
他惊险失措地启动窥探原因，很快发现，竟然是OpenAI的爬虫机器东说念主，GPTBot在迂回他的网站。
GPTBot纵容地爬取每一个页面，网站上的数十万张像片、数十万条描述，在短短几小时内被冷凌弃下载。
这些爬虫机器东说念主使用了整整600个IP地址，更难仆数的劳动器央求，这种网站哪见过这种架势，网站的劳动器霎时瘫痪，业务堕入停滞。
Tomchuk东说念主都傻了，不仅我方的数据全丢了，被OpenAI爬得鸡犬不留；更糟的是，由于劳动器压力暴涨，公司还将面对一笔多量AWS账单。
他们这个七东说念主的团队花了十年心血，才构建了这个浩大的数据库，客户普遍游戏斥地、动画制作等多个行业。
而当前，啥也没了。
更令东说念主无奈的是，他们蓝本就明确辞谢爬虫机器东说念主未经许可握取网站数据。
然而因为没那么懂AI，也不太知说念那些AI大模子公司的玩法，是以莫得严格设置robot.txt文献，莫得配专门奉告GPTBot不要走访该网站的标签，这基本等同于默许允许了OpenAI的握取行为。
过错是，配了GPTBot的标签也不够，因为OpenAI还有ChatGPT-User和OAI-SearchBot，这两个标签也要配。你甚而不知说念他们还有啥。
“咱们原认为设定辞谢条件就饱和了，没思到还必须专门设定终结机器东说念主的王法。”
几天后，Tomchuk终于修复好了Triplegangers的robot.txt文献，并启用了Cloudflare劳动以屏蔽更多爬虫。
Cloudflare巨匠可能没听过，然而大多数东说念主应该都见过。
就这个玩意，它会让你在参预某些网页之前，考据一下你是否是东说念主类。
不外这玩意也不是免费的，挺烧钱的，都是老本。然而为了再防一波OpenAI那种流氓行为，他们只可启用。
这些劳动的钱都还好说，但让Tomchuk最隐秘的是，他压根不知说念OpenAI到底拿走了些许素材。
况且，Tomchuk说：
“咱们甚而规划不上OpenAI，也无法要求他们删除已握取的数据。”
最离谱的是，要是不是OpenAI这样贪，一次性运行太多央求，径直把Triplegangers爬崩溃了，而是迟缓爬，小数小数地偷，Tomchuk可能这辈子都发现不了我方的数据还是全部丢得鸡犬不留了。
OpenAI的爬虫逻辑很肤浅，要是你家门口莫得保安站岗，那就证明你默许你家里的东西我都不错拿走，都是我的。因为你没说不准我拿，也没设保安，是以我就不错进门，把数据抢夺一空。
这是一场战斗，一场莫得硝烟的战斗；
一场关乎于保护我方财产圣洁不能骚扰的战斗；
一场关乎于咱们，跟这些AI公司的AI爬虫的战斗。
Trilegangers的碰到并不是孤例。
在许多公司和内容创作家的眼中，AI爬虫即是这个期间的数字蝗虫，所过之处，网站不胜重担，数据还被抢夺一空。
客岁夏天，还有一个著明的例子，来自一家终点老牌的维修教程网站，iFixit。
iFixit发现，他们的网站也成了AI爬虫的盘中餐。
但这一次，吃相出丑的不是OpenAI，而是另一个AI王者，Anthropic公司的爬虫ClaudeBot。
那时，iFixit的CEO怒不能遏地在嘱托媒体上爆料：
ClaudeBot在短短24小时内纵容走访了iFixit近一百万次。径直差点把他们的网站挤爆，触发了通盘报警系统，迫使iFixit的运维团队连夜加班处理。
更离谱的是，ag百家乐可以安全出款的网站iFixit早就明文辞谢未经许可握取他们的内容用于AI历练，这一条清纯碎白地被写进网站使用条件，甚而稀罕注明“不得将本网站内容用于机器学习或AI模子的历练”。
然而Anthropic的爬虫显然不care这些声明，依旧固执己成见狂扒数据。
更让东说念主难过的是，这事爆了之后，有媒体去问Anthropic，对方给出的修起险些和OpenAI如出一辙：
他们示意，ClaudeBot爬虫是降服robots.txt的，要是网站不思被握，就应该在robots文献里屏蔽Claude。
言下之意即是，iFixit你我方明明没说啊，没在robots.txt透顶封禁啊，咱们天然有权一直爬下去啊。
无奈之下，iFixit只好飞速修改了robots.txt，添加了针对ClaudeBot的蔓延和贫瘠王法。
可这件事留给业界的蜕变却挥之不去，坦率地讲，连iFixit这样老练聚积技艺的知名网站，一启动都没猜测AI爬虫会如斯不讲武德，明知说念别东说念主不宁愿却还要硬闯。
要是连老牌互联网从业者都胆颤心惊，那其他那些莫得技艺团队守卫的小网站、小作家，又该如何起义这些窃贼？
甚而，更不要脸的是阿谁AI搜索始祖，Perplexity。
知名科技媒体《连线》（Wired）发现，Perplexity的爬虫不仅莫得降服一些网站的robots.txt禁令，甚而会试图悄悄握取那些明确声明不灵通给机器的网站。
换句话说，即是Perplexity公然无视robots条约，暗暗攫取了本不该拿的内容。
可能你看到这里会狐疑，robots条约是个啥。
咱们把时候倒回1994年，那时，聚积也正在阅历爬虫之乱。
彼时，搜索引擎刚兴起，一些自动爬虫要津在网上狐奔鼠窜，给劳动器酿成了不小的包袱。
于是，一位名叫MartijnKoster的荷兰工程师建议了一个终点私密的主意：
网站处分员不错在站点根目次放一个名为“robots.txt”的文本文献，提前告诉聚积机器东说念主那边不错爬、那边不许碰。
这个提议很快得回了行业的泛泛认同，成为互联网早期一种终点纯正的“正人协定”。
确认robots条约，要是网站在robots.txt里表明了辞谢握取某些内容，那么守规定的爬虫就应该乖乖停步，不去触碰那些被列入黑名单的旅途。
这套机制在本色上完全依赖自发，它莫得法律强制力，靠的是爬虫斥地者鼎沸降服王法的良知和诚意。
令东说念主欣喜的是，在相配长的岁月里，这种诚意基本上保持了下来。
Google、Yahoo等搜索引擎尊重robots.tx的范围，微软的Bing亦然如斯，甚而其后各类各样善意的聚积爬虫，都把不伤害网站、遵照站长意愿当工作业说念德的一部分。
正因为有robots.txt的存在，网站处分员才鼎沸翻开大门让搜索引擎索引内容，他们笃信明锐或不思公开的旯旮不错被礼貌地隐没。
这份信任，构筑了聚积内容开脱流畅和公说念诓骗的基础。
但当前，这份难得宝贵的信任正被冷凌弃地侵蚀。
当AI爬虫为了填饱模子的数据需求四处出击时，又有些许AI还会信得过尊重robots.txt的范围？
OpenAI、Anthropic口口声声示意他们降服robots条约，但事实是，要是你没明确写出禁令，他们就默许不错来拿，涓滴不探究你是否宁愿。
独一你没用饱和坚固的墙把我挡住，那即是你的错，我闯进来就理所应当。
这种倒打一耙的逻辑让东说念主愤激之余，也透出一点悼念。
是以，在这种布景下，Cloudflare挺身而出，看成大多数网站前的督察者，他们决定用魔法击败魔法，用AI对抗AI。
他们为这些AI爬虫造了一整座AI迷宫。
因为过往的驻防逻辑很肤浅，即是用考据径直把这些AI爬虫拦在门外，这样会出现一个问题，即反而会惊动敌东说念主，让他们换个马甲卷土重来。
比如OpenAI就有N个AI爬虫。
是以他们在此次更新顶用了一个更阴柔的作念法：放敌手进来，然而领着它走进一个用心编织的造作网页迷宫。
在这个迷宫里，通盘的页面、纠合和内容都是AI自动生成的，看上去有模有样，却十足是无道理的空城计。
那些AI爬虫一朝被携带进去，就会在假内容中团团转，白白销耗瞎想资源和带宽。
而这些迷宫进口对正常用户是隐形的，真东说念主访客压根不会点击到那些陷坑纠合。而AI爬虫则乐此不疲地一起跟踪下去，越陷越深，直到在造作的信息泥潭中迷失标的。
大卫终于也有了一块勉强歌利亚的利器。
Cloudflare他们在blog中写说念：
这是一场战斗，一边是如狼似虎、到处搜刮数据的AI爬虫雄兵，另一边则是苦遵照卫我方数字河山的网站站长和内容创作家们。
我不否定大模子需要海量数据历练，鼎新时时伴跟着对旧有王法的冲撞。
互联网历史上访佛的矛盾并非初度：音乐产业曾与数字盗版热烈交锋，新闻出书商也为搜索引擎收录内容而抗议。
也许在许多AI公司看来，聚积上的公开内容齐是取之无害、用之无罪的全球资源，握了又何妨？
然而有莫得思过内容分娩者的感受呢？学问和创意的源流若得不到尊重和答复，最终阑珊的将是鼎新自己。莫得东说念主鼎沸让我方否认训诲的后果被机器毫无费神地偷走。
至少在现存的伦理和经济体系下，这种行为会淹没创作家的柔软。
到终末，聚积上留住的全部是AI分娩的AI垃圾。
战斗还是打响，而AI规模的这场较量，恰是从爬虫启动的。
我只但愿，当硝烟散去，咱们还能领有一个咱们所爱好的、灵通而实在的互联网。
抛开那些巨大的技艺叙事AG百家乐怎么玩才能赢，关于咱们每一个普通网民而言，这才是咱们最值得去捍卫的东西。不是吗？
