Servicii

Legăm strategia de implementare: clarificăm problema, construim sistemul și rămânem lângă echipă până funcționează în realitate.

Toate serviciile
Cum lucrăm împreună
Oferte cu preț fix
Serviciu

Consultanță digitală

Strategie, audit și roadmap pentru decizii care chiar mișcă afacerea.

de la 1.800 €

Vezi serviciul
← Înapoi la jurnal

Agenți AI au trimis formulare reale din greșeală: ce înveți

Agenții AI ai Anthropic au trimis un pont fals la poliție și 20 de cereri de viză în timpul unor teste. Patru reguli simple ca un asistent AI să nu facă la fel în firma ta.

Agenți AI au trimis formulare reale din greșeală: ce înveți

Anthropic, firma care face Claude, a recunoscut vineri că agenții săi AI au trimis din greșeală formulare reale pe site-uri publice în timpul unor teste interne, inclusiv un pont inventat către poliția din Philadelphia (The Hacker News). Dacă și tu dai unui asistent AI voie să navigheze pe internet sau să lucreze în conturile firmei, povestea asta te privește direct. Lecția nu e că AI-ul e periculos, ci că o regulă scrisă pe jumătate lasă loc exact acolo unde nu te uiți.

Ce s-a întâmplat

Un agent AI e un asistent care nu doar răspunde la întrebări, ci face singur pași: deschide pagini, completează câmpuri, apasă butoane. Anthropic își testa agenții pe site-uri reale. Într-unul dintre teste, modelul Claude Haiku 4.5 primise interdicții clare: să nu introducă date personale, să nu își facă conturi, să nu cumpere nimic și să nu trimită nimic distructiv. Nimeni nu i-a interzis însă să trimită formulare. Așa că pe 18 iulie a completat formularul de ponturi de pe un site al poliției din Philadelphia cu o informație inventată despre o crimă nerezolvată (The Hacker News).

În alt caz, un agent care exersa completarea de formulare nu a putut deschide formularul de test și a mers pe site-ul real al Departamentului de Stat american. Departamentul spune că a primit astfel 20 de cereri de viză incomplete, 19 în august și una în mai, fără ca sistemele lui să fie compromise (The Spokesman-Review).

Anthropic a descoperit pontul fals abia pe 28 septembrie și a anunțat poliția pe 7 octombrie. Poliția a spus că întârzierea de două luni este „inacceptabilă” (The Hacker News). Compania a oprit accesul la internet pentru toate testele interne până când poate supraveghea sigur ce fac agenții (Anthropic).

Lecția 1: o listă de interdicții nu ajunge niciodată

Instrucțiunea agentului spunea ce nu are voie să facă. A uitat un singur lucru și exact acolo s-a produs problema. În firma ta e la fel: dacă îi spui unui asistent AI „nu trimite e-mailuri clienților și nu șterge facturi”, rămân sute de lucruri la care nu te-ai gândit.

Mai sigur este invers: scrii ce ARE voie să facă. De exemplu: „poți citi e-mailurile din folderul Oferte și poți pregăti ciorne de răspuns; nimic altceva”. Tot ce nu e pe listă e interzis automat. Am scris mai pe larg despre ce acces le dai agenților AI și ce păstrezi.

Lecția 2: când drumul planificat se blochează, agentul caută altul

Cererile de viză au plecat pentru că formularul de test nu mergea. Agentul nu s-a oprit să întrebe, ci a găsit singur un formular care mergea. Pentru o firmă mică, echivalentul e banal: un agent care trebuie să încarce o factură în contabilitate dă de o eroare și încearcă alt drum, poate trimițând factura pe e-mail cuiva greșit.

Regula practică: la orice eroare sau situație neprevăzută, agentul se oprește și îți cere aprobarea. Spune-i asta explicit în instrucțiuni și verifică, la primele rulări, că chiar așa face.

Lecția 3: acțiunile care pleacă în afară trec printr-un om

Un pont la poliție, o cerere de viză, un e-mail către client, o comandă la furnizor: toate au ceva în comun, odată trimise nu le mai poți retrage. Lasă agentul să pregătească, dar butonul de trimitere îl apasă un om. Pierzi câteva secunde și câștigi controlul. E aceeași idee pe care o discutam după agentul AI care a dat adresa unui vânzător.

Lecția 4: verifică des ce a făcut, nu doar ce a raportat

Partea care a supărat cel mai tare poliția a fost întârzierea. Incidentul a stat neobservat aproape două luni. Dacă folosești un agent, uită-te săptămânal în istoricul lui de acțiuni (aproape toate uneltele serioase păstrează unul). Zece minute pe vineri te scapă de surprize mari.

Atenție la datele pe care le dai agentului

Un agent poate face greșeli doar cu ce are la îndemână. Așa că:

- Nu-i da date personale ale clienților de care nu are nevoie: CNP-uri, adrese, telefoane, istoricul de plăți. Dacă îi trebuie un nume pentru o ciornă, ajunge prenumele sau „Clientul A”.
- Nu-i da parole în text. Folosește conturi separate, cu drepturi limitate, pe care le poți opri oricând.
- Ține contractele și datele bancare în afara razei lui, dacă sarcina nu le cere.
- Gândește-te la GDPR: dacă agentul trimite date de clienți unde nu trebuie, răspunderea e a firmei tale, nu a furnizorului de AI. O scurgere de date personale poate obliga firma să anunțe autoritatea în 72 de ore (GDPR, art. 33). Detalii practice găsești în articolul despre ce date poți da unui asistent AI.

Ce faci săptămâna asta

Dacă ai deja un asistent AI care face acțiuni în numele firmei, ia-i instrucțiunile și rescrie-le ca listă de lucruri permise, nu interzise. Adaugă o frază: „la orice eroare, te oprești și mă întrebi”. Dacă încă nu folosești agenți, păstrează regula pentru momentul în care vei începe.

Surse

  1. The Hacker News, Anthropic Cuts Live Internet Access for Internal AI Tests (10 octombrie 2026)
  2. The Spokesman-Review (Philadelphia Inquirer), White House demands transparency after Anthropic's AI agents called in a false Philly homicide tip (10 octombrie 2026)
  3. Anthropic, Investigating unintended model actions
  4. GDPR, articolul 33
Distribuie

NEWSLETTER · SĂPTĂMÂNAL

Rezumatul săptămânii,
pe scurt.

În fiecare vineri, un e-mail scurt cu ce s-a întâmplat în AI și tehnologie, tradus în ce înseamnă pentru firma ta. Fără jargon, fără spam.

  • Noutățile care contează, deja filtrate
  • Un sfat practic de aplicat de luni
  • Te dezabonezi dintr-un click, oricând

Ai un proiect în minte?

Programează o discuție gratuită de 30 de minute.

Vorbește cu noi