거래를 성사시킨 후구글과 함께 그리고 오픈AI, Reddit CEO Steve Huffman은 Microsoft와 다른 사람들이 사이트 데이터를 계속 스크랩하려면 비용을 지불할 것을 요구하고 있습니다.

이러한 계약이 없으면 우리는 데이터가 어떻게 표시되고 어떤 용도로 사용되는지에 대해 말할 수도 지식도 없습니다. 이로 인해 우리는 원하지 않는 사람들을 차단할 수 있는 위치에 놓이게 되었습니다.Huffman은 이번 주 인터뷰에서 데이터를 어떻게 사용할지, 사용하지 않을지 결정해야 한다고 말했습니다.그는 협상을 거부한 Microsoft, Anthropic 및 Perplexity를 구체적으로 언급하며 "이러한 회사를 차단하는 것이 정말 골치 아픈 일이었습니다."라고 말했습니다.

Reddit은 최근 몇 달 동안 크롤러와의 싸움을 확대해 왔습니다.7월 초,robots.txt 파일이 업데이트되었습니다.웹 크롤러를 차단하기 위해 계약을 맺지 않았습니다.그 다음에사람들이 눈치채기 시작했어요Reddit 결과는 Bing과 같은 다른 검색 엔진이 아닌 Reddit이 데이터 표시에 대해 비용을 지불하는 Google 결과에서만 볼 수 있었습니다.

허프만은 마이크로소프트가 우리에게 알리지 않은 채 Reddit의 데이터를 사용하여 AI를 교육하고 Bing 결과에 콘텐츠를 요약해 왔으며 Reddit의 데이터도 Bing API를 통해 다른 검색 엔진에 판매되었다고 말했습니다..인터뷰에서 그는 마이크로소프트 AI CEO 무스타파 술레이만(Mustafa Suleyman)이 공개 데이터를 공개하는 컨퍼런스에서 최근 한 발언을 언급했다.인터넷에 있는 것은 '프리웨어'입니다.

“우리는 Microsoft, Anthropic 및 Perplexity가 인터넷의 모든 콘텐츠를 무료로 사용할 수 있는 것처럼 행동하도록 했습니다.”라고 Huffman은 말했습니다.......그게 그들의 진짜 입장이군요....

Microsoft의 검색 책임자인 Jordi Ribas는 최근 Bing에서 Reddit 결과가 사라진 것에 대해 다음과 같이 말했습니다.X에서 말했다Reddit은 Bing이 검색을 위해 사이트를 크롤링하는 것을 차단하여 다른 검색 엔진을 선호하고 Bing 및 Bing 기반 엔진의 경쟁에 영향을 미쳤습니다.... Microsoft 대변인 Caitlin Roulston별도로 말했다더 버지지난주페이지의 콘텐츠가 생성 AI 모델과 함께 사용되는 것을 원하지 않는 웹사이트에서 제공하는 지침을 존중합니다.

허프만은 OpenAI를 지적했다.SearchGPT의 최근 발표, 올해 초 두 회사가 체결한 거래 덕분에 Reddit 결과를 그가 복제하고 싶은 모델로 표시할 수 있습니다.대변인 Tim Rathschmidt에 따르면 Reddit이 현재까지 수행한 콘텐츠 라이센스 계약에는 데이터에 대한 독점적인 사용 사례가 포함되어 있지 않습니다.

라이센스 거래를 요청함으로써 Reddit은더 많은 전통적인 미디어 출판사에 합류(포함더 버지(The Verge)모회사인 Vox Media)는 콘텐츠를 생성 AI에 공급하는 데 대한 대가를 요구하고 있습니다.허프만은 "검색 엔진의 전통적인 가치 교환 방식이 바뀌었다고 생각합니다"라고 말했습니다.검색과 요약, 훈련이 합쳐져 트래픽을 돌려받는 대가로 크롤링하는 가치 교환이 흐려지고 있다....

이 이야기가 게시된 후 Anthropic 대변인 Jennifer Martinez는 다음과 같은 성명을 보냈습니다. 'Reddit은 5월 중순부터 웹 크롤링 차단 목록에 올랐으며 그 이후로 Reddit의 URL을 크롤러에 추가하지 않았습니다.우리는 웹 크롤링을 차단하기 위해 업계에서 인정하는 신호인 robots.txt를 존중합니다. 

마이크로소프트는 이 이야기에 대해 논평을 거부했습니다.Perplexity는 논평 요청에 응답하지 않았습니다.

업데이트, 7월 31일:Anthropic의 성명을 추가하고 Microsoft가 논평을 거부했으며 Perplexity가 응답하지 않았다고 언급했습니다.