Over-Refusal in Turkish: Language-Driven False Positives in Open-Source Prompt-Injection Guards

Le résumé fourni par la source

Self-deposited technical report — not peer-reviewed. A prompt-injection guard that flags 59.2% of harmless Turkish prompts as attacks — while flagging only 0.83% of the identical prompts in English — is not detecting harm; it is detecting language. This report measures over-refusal (benign inputs incorrectly blocked) in three widely deployed open-source guardrail classifiers on a controlled Turkish/English matched-pair set. Using an XSTest-style design, we constructed 120 minimal pairs in which a harmless prompt shares a surface-scary trigger word with a genuinely unsafe twin — for example patlat ("pop" popcorn vs. "break" a nose), vur ("strum" a chord vs. "shoot"), and öldür ("kill" a Linux process vs. a person) — yielding 480 evaluated rows across 10 categories and two languages. Over-refusal was scored on the 120 benign prompts per language at each guard's default threshold. ProtectAI deberta-v3-base-prompt-injection-v2 flagged 59.17% of benign Turkish prompts versus 0.83% in English, a ≈71× asymmetry; fmops/distilbert-prompt-injection showed 25.0% versus 5.0% (5×); jackhhao/jailbreak-classifier flagged nothing in either language. Most tellingly, the ProtectAI model flagged benign Turkish prompts (59.17%) more often than genuinely harmful Turkish prompts (39.17%) — an inversion indicating the classifier responds to the presence of Turkish rather than to intent. We frame this as a measurement with disclosed limits, not a security verdict: these are prompt-injection classifiers evaluated at default thresholds on a deliberately adversarial 120-pair probe. Türkçe özet: Bir istem-enjeksiyonu (prompt injection) koruma sınıflandırıcısının zararsız Türkçe istemlerin %59,2'sini saldırı olarak işaretlemesi — aynı istemleri İngilizce'de yalnızca %0,83 oranında işaretlerken — zararı değil, dili tespit ettiği anlamına gelir. Bu raporda, üç yaygın açık kaynak koruma modelinde aşırı red (over-refusal: masum girdilerin yanlışlıkla engellenmesi) olgusunu kontrollü bir Türkçe/İngilizce eşleştirilmiş-çift kümesinde ölçüyoruz. XSTest tarzı bir tasarımla, yüzeyde tehlikeli görünen bir tetikleyici kelimeyi (örn. patlat, vur, öldür) paylaşan zararsız ve gerçekten zararlı 120 minimal çift oluşturduk; bu, iki dilde 480 satır üretti. ProtectAI deberta-v3 modeli zararsız Türkçe istemlerin %59,17'sini, İngilizce'de ise %0,83'ünü işaretledi (≈71 kat fark). Dahası aynı model, zararsız Türkçe istemleri (%59,17) gerçekten zararlı Türkçe istemlerden (%39,17) daha sık işaretledi. Bulguları bir güvenlik hükmü olarak değil, sınırları açıkça belirtilmiş bir ölçüm olarak sunuyoruz. Open data & code: GitHub (code & data, Apache-2.0) · Hugging Face dataset · companion article: altaysec.com.tr. Author: Fevzi Ege Yurtsevenler, AltaySec (Türkiye). License: CC BY 4.0.

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.