Dopo averlo praticato per anni, tanto che per questa ragione realtà come il New York Times hanno portato in tribunale OpenAI, le grandi aziende americane dell’intelligenza artificiale si sono accordate per mettere fine allo scraping selvaggio. Ovvero all’utilizzo indiscriminato di qualunque contenuto presente in rete per l’addestramento dei large language model.
La notizia è che anche Google e Microsoft hanno scelto di aderire all’iniziativa lanciata da OpenAI e Anthropic, le aziende che sviluppano rispettivamente ChatGPT e Claude, volta a semplificare le modalità con cui i produttori di contenuti possono opporsi all’utilizzo di questi ultimi da parte di chi addestra gli LLM. Tecnicamente, si tratta di specificarlo all’interno dei file robot.txt. Ovvero di un documento inserito all’interno del codice html di un sito, che non viene visualizzato dagli esseri umani ma solo dalle macchine. E che, tra le altre funzioni, contiene indicazioni alle AI perché non utilizzino i contenuti di quella pagina per migliorare le loro prestazioni.
Fino a ieri, per ogni chatbot era necessaria un’indicazione ad hoc all’interno di robot.txt. Addirittura, ne poteva servire una diversa per ciascun modello di ogni singola azienda produttrice. Non esattamente la soluzione più comoda per gli sviluppatori. La novità è che le quattro big tech in questione hanno deciso di uniformare il messaggio da inserire nel file per fermare lo scraping da parte dei chatbot. Basterà insomma un’unica indicazione da parte degli sviluppatori dei siti per evitare che i contenuti ospitati finiscano in pasto alle intelligenze artificiali.
Non da subito, però. Come riporta Nieman Lab, Anthropic ha già implementato questa soluzione, OpenAI ha dichiarato che lo farà nei prossimi mesi, Google e Microsoft nel corso del prossimo anno. Circostanza più unica che rara in cui le aziende che sviluppano le intelligenze artificiali riescono davvero a rallentare.