웹사이트를 크롤링할 수 있는 OpenAI의 새로운 GPTBot

오픈AI의 GPTBot 공개, 그들의최신 웹 크롤링 봇 에서 알 수 있듯이 곧 출시될 GPT-5에 대한 기대감을 불러 일으켰습니다.상표 출원 .

이러한 움직임은 AI 학습을 강화하기 위한 것이지만, 동의와 투명성에 대한 논의를 불러일으켰습니다.

OpenAI는 차세대 AI 시스템을 위한 광범위한 데이터 소스를 축적하기 위해 GPTBot을 도입했습니다.

이 회사의 의도는 데이터 세트를 확장하는 동시에 개인 정보 보호 문제와 저작권 문제를 해결하기 위한 조치를 취하는 것입니다.

GPTBot은 웹 사이트에서 공개적으로 액세스할 수 있는 데이터를 수집하도록 설계되었으며, Google, Bing, Yandex와 같은 인기 검색 엔진과 유사한 옵트아웃 시스템을 채택하고 있습니다.

웹사이트 소유자가 크롤러가 콘텐츠에 액세스하지 못하도록 서버 파일에 '허용 안 함' 규칙을 사용하지 않는 한 데이터를 사용할 수 있다고 가정합니다.

OpenAI는 GPTBot이 수집된 데이터를 사전에 스캔하여 정책을 위반하는 민감한 정보와 콘텐츠를 제거할 것이라고 주장합니다.

일부 기술 윤리학자들은 동의와 관련된 잠재적 문제를 지적하며 옵트아웃 접근 방식에 대해 유보적인 입장을 표명합니다.

일부 사용자는 포괄적인 데이터에 대한 OpenAI의 필요성을 지지하지만, 다른 사용자는 적절한 저작자 표시와 투명성에 대한 우려를 표명하며 인용 없이 2차 저작물을 사용하는 것과 비교하기도 합니다.

'GPT-5'라는 상표를 출원한 것은 OpenAI가 다음 AI 모델을 출시하기 위해 준비 중이라는 가정에 무게를 더합니다.

이 단계는 업데이트되고 다양한 학습 데이터의 중요성을 강조하면서 보다 광범위한 데이터 수집 접근 방식으로의 전환을 제안합니다.

ChatGPT는 월간 15억 명 이상의 활성 사용자를 끌어들이는 방대한 사용자 기반을 자랑합니다.

GPTBot 액세스 제한

웹사이트 소유자가 자신의 사이트에 대한 GPTBot의 액세스를 제한하려는 경우 robots.txt 파일을 조정할 수 있습니다.

이를 원하는 경우 전체 웹 사이트에 대한 GPTBot의 접근을 차단할 수 있습니다.

사용자 에이전트: GPTBot 허용하지 않음: /

그러나 부분 액세스 권한을 부여하려는 사용자는 GPTBot이 액세스할 수 있는 디렉터리를 사용자 지정하여 액세스 권한을 부여할 수 있습니다.

이렇게 하려면 robots.txt 파일을 편집해야 합니다.

사용자 에이전트: GPTBot 허용: /directory-1/ 허용하지 않음: /directory-2/