Η κινεζική εταιρεία τεχνητής νοημοσύνης Moonshot ξεκίνησε εσωτερική αξιολόγηση μετά από έρευνα που έδειξε ότι δύο δημοφιλή μοντέλα της Kimi μπορούσαν να παρακάμψουν τα συστήματα ασφαλείας και να παράσχουν πληροφορίες για εξαιρετικά επικίνδυνα θέματα.
Η εταιρεία Mindgard, η οποία ειδικεύεται στον έλεγχο ασφάλειας συστημάτων AI, ανέφερε στο BBC ότι τον Ιούλιο κατάφερε να πείσει τα μοντέλα Kimi K2.6 και K3 Swarm να αγνοήσουν τους περιορισμούς που είχαν θέσει οι προγραμματιστές τους.
Η διαδικασία πραγματοποιήθηκε μέσω της τεχνικής «jailbreaking», κατά την οποία ερευνητές χρησιμοποιούν σύνθετες οδηγίες ώστε να ελέγξουν αν ένα μοντέλο τεχνητής νοημοσύνης μπορεί να παρακάμψει τα ενσωματωμένα φίλτρα ασφαλείας.
Το jailbreak στην τεχνητή νοημοσύνη είναι η προσπάθεια παράκαμψης των ενσωματωμένων περιορισμών ασφαλείας ενός μοντέλου AI, ώστε να δώσει απαντήσεις ή να εκτελέσει ενέργειες που κανονικά θα αρνιόταν.
Ο όρος προέρχεται από την πληροφορική: αρχικά περιέγραφε την αφαίρεση περιορισμών από συσκευές ή λογισμικό (π.χ. το «ξεκλείδωμα» ενός iPhone ώστε να λειτουργεί έξω από τους κανόνες του κατασκευαστή).
Στην περίπτωση των AI μοντέλων, ένα jailbreak γίνεται όταν κάποιος προσπαθεί να «ξεγελάσει» το σύστημα ασφαλείας του chatbot μέσω ειδικά σχεδιασμένων οδηγιών (prompts), ώστε το μοντέλο να αγνοήσει τους κανόνες που έχει προγραμματιστεί να ακολουθεί.
Η Moonshot δήλωσε ότι καλωσορίζει τις αξιολογήσεις τρίτων φορέων, χαρακτηρίζοντάς τις «βασικό πυλώνα» για τη δημιουργία πιο ασφαλών συστημάτων AI, ενώ ανέφερε ότι βρίσκεται σε συζητήσεις με τη Mindgard για τα ευρήματα.
Ανησυχίες για τις δυνατότητες των μοντέλων
Ο ιδρυτής της Mindgard, Πίτερ Γκάραχαν, δήλωσε στο BBC ότι τα αποτελέσματα των δοκιμών για τα Kimi K2.6 και K3 Swarm είναι ανησυχητικά.
«Από τη στιγμή που λειτουργήσει το jailbreak, το μοντέλο θα μιλήσει για οποιοδήποτε θέμα και μπορεί ακόμη και να προσφέρει προτάσεις για επικίνδυνες δραστηριότητες», ανέφερε, υποστηρίζοντας ότι η AI μπορεί να εμφανίσει απρόβλεπτη δημιουργικότητα όταν παρακάμπτονται οι περιορισμοί.
Οι επιθέσεις τύπου jailbreak θεωρούνται διαφορετικός κίνδυνος από τα πρόσφατα περιστατικά με αυτόνομους AI agents, οι οποίοι έχουν αναπτύξει δυνατότητες εκτέλεσης ενεργειών χωρίς άμεση ανθρώπινη παρέμβαση.
Τους τελευταίους μήνες έχουν καταγραφεί περιστατικά όπου agents που αναπτύχθηκαν από αμερικανικές εταιρείες όπως οι OpenAI, Meta και Anthropic κατάφεραν να παραβιάσουν διαδικτυακές υπηρεσίες σε ελεγχόμενες δοκιμές.
Κίνδυνος για κυβερνοεπιθέσεις
Η Mindgard διευκρίνισε ότι δεν έχει αποδείξει πως οι απαντήσεις που παρείχαν τα μοντέλα Kimi σε επικίνδυνα θέματα θα μπορούσαν πράγματι να εφαρμοστούν στην πράξη.
Ωστόσο, υποστήριξε ότι τα συστήματα ασφαλείας θα έπρεπε να είχαν εμποδίσει τα μοντέλα να συμμετέχουν σε τέτοιες συζητήσεις.
Η εταιρεία ανέφερε επίσης ότι μια έκδοση του Kimi K2.6 χωρίς περιορισμούς ασφαλείας θα μπορούσε θεωρητικά να επιτρέψει σε επιτιθέμενους να εκτελούν κώδικα στους υπολογιστικούς πόρους του συστήματος και να συνδέονται στο διαδίκτυο, δημιουργώντας πιθανό σημείο εκκίνησης για κυβερνοεπιθέσεις.
Η Mindgard ενημέρωσε τη Moonshot για το ζήτημα στις 27 Ιουλίου και δημοσίευσε σχετική αναφορά στις 12 Σεπτεμβρίου. Η εταιρεία υποστηρίζει ότι η Moonshot επικοινώνησε μαζί της μόνο πρόσφατα, μετά την προσέγγιση του BBC για σχόλιο.
Η Moonshot ανέφερε σε μήνυμά της προς τη Mindgard ότι τα μοντέλα της παρουσιάζουν γενικά «υψηλό ποσοστό άρνησης» σε τέτοιου είδους αιτήματα στις εσωτερικές αξιολογήσεις.
