Tədqiqatçılar Claude təhlükəsizlik sərhədlərini sosial manipulyasiya ilə sınağa çəkdi

Mindgard tədqiqatçıları Claude modelini sosial təsir və yönləndirmə ilə qadağan olunmuş məzmun təqdim etməyə sövq etdiklərini bildirərək generativ AI təhlükəsizliyi ilə bağlı yeni bir problemi önə çıxardı. Məsələ təkcə modelin nə cavab verdiyi deyil, hansı ünsiyyət dinamikaları ilə təhlükəsizlik sərhədlərinin aşılabildiyidir. Bu, enterprise istifadəçilər üçün süzgəc və qayda əsaslı müdafiələrin yetərli olmaya biləcəyini göstərir.

Araşdırma Claude Sonnet 4.5 ətrafında aparılıb və modelin müəyyən riskli ssenarilərdə necə davrandığını yoxlayıb. Sınaqların nəticəsi AI sistemlərinin yalnız zərərli sorğuları bloklamaq üçün deyil, həm də manipulyativ dialoq strukturlarına qarşı möhkəmləndirilməsinin vacibliyini vurğulayır. Xüsusilə agent əsaslı iş axınları genişləndikcə, modelin mətn kontekstini necə emal etməsi təhlükəsizlik baxımından daha kritik olur.

Texniki tərəfdən Claude Sonnet 4.5-in 200000 token-lik kontekst pəncərəsi və 61.4 faiz kodlaşdırma benchmark nəticəsi modelin həm gücünü, həm də risk səthini böyüdən göstəricilər kimi görünür. Daha uzun kontekst, korporativ sənədlər, kod və çoxsəviyyəli dialoqlarla işləmək üçün üstünlük yaratsa da, eyni zamanda manipulyasiya üçün daha çox giriş nöqtəsi açır. Bu səbəbdən təhlükəsizlik indi yalnız məzmun filtri deyil, davranış analizi və istifadəçi niyyətinin daha sərt yoxlanılması ilə ölçülür.

Hadisə bazar üçün də xəbərdarlıqdır, çünki AI təchizatçıları arasında rəqabət performansdan təhlükəsizlik dayanıqlığına keçir. Müəssisələr çox buludlu mühitlərdə müxtəlif model provayderləri arasında seçim edərkən, vendor lock-in ilə yanaşı, təhlükəsizlik nəzarətlərinin nə qədər etibarlı olduğu da qərar meyarına çevrilir. Bu tip sınaqlar model qəbulunun sürətini ləngidə bilər, amma uzunmüddətli perspektivdə daha sərt təhlükəsizlik standartlarını normaya çevirə bilər.