Η Revolut μείωσε σε λιγότερο από έναν χρόνο κατά περίπου 90% το κόστος inference για τα εργαλεία AI προγραμματισμού των μηχανικών της. Η βρετανική fintech το πέτυχε βάζοντας ως προεπιλογή μοντέλα που φιλοξενεί η ίδια, αντί να στηρίζεται κυρίως σε εμπορικές υπηρεσίες όπως το Claude. Τα στοιχεία παρουσίασε τον περασμένο μήνα στο συνέδριο AI Engineer στη Νέα Υόρκη ο David Abitbol, υπεύθυνος λειτουργιών και υποδομών της εταιρείας.
Τα εργαλεία δόθηκαν σε περίπου 2.000 μηχανικούς. Από τότε ο χρόνος συγγραφής κώδικα έχει βελτιωθεί κατά 60%, και ο χρόνος από την ανάθεση μιας εργασίας μέχρι την παράδοσή της κατά 70%. Ξεκίνησε με το GLM-5.1 και αργότερα πέρασε στο GLM-5.3.
Νωρίτερα είχε δώσει στους μηχανικούς το Gemini στις αρχές του 2025 και το Claude Code στις αρχές του 2026, με αυστηρά όρια προϋπολογισμού, γιατί ορισμένοι ξόδευαν από 1.000 έως και 10.000 δολάρια τον μήνα χωρίς ουσιαστική απόδοση. Στις δικές της υποδομές το GLM-5.1 κόστιζε 0,30 δολάρια ανά εκατομμύριο tokens εισόδου και εξόδου, περίπου το ένα δέκατο του κόστους του Codex της OpenAI ή του Claude Code. Με φθηνά tokens, οι μηχανικοί σταμάτησαν να τα μετρούν. Τα μεγαλύτερα οφέλη πάντως ήρθαν όταν τα μοντέλα ανέλαβαν το debugging και τα tickets σε Jira και Confluence.
Το GLM-5.1 είναι μοντέλο ανοιχτών βαρών (open weights) της κινεζικής Z.ai, αλλά όχι μικρό. Έχει περίπου 754 δισεκατομμύρια παραμέτρους, με 40 δισεκατομμύρια ενεργές για κάθε token, και μόνο τα βάρη του χρειάζονται περίπου 380 GB μνήμης GPU. Για να εξυπηρετεί το GLM-5.3 σε αυτή την κλίμακα, η Revolut χρησιμοποιεί 56 GPU B200 της Nvidia. Τη μεγαλύτερη βελτίωση στις επιδόσεις όμως δεν την έφερε το hardware, αλλά η ρύθμιση των υπερπαραμέτρων, η κβαντοποίηση NVFP4, ο διαχωρισμός των σταδίων prefill και decode και το μήκος του context. Κατά τον Abitbol, το context που χρειάζεται στην πράξη είναι 256.000 tokens, όχι ένα εκατομμύριο.
Έτσι ο χρόνος μέχρι το πρώτο token έπεσε κάτω από τα 3 δευτερόλεπτα, με ταχύτητα παραγωγής γύρω στα 200 tokens το δευτερόλεπτο. Ο στόχος βγαίνει από τα δεδομένα: όταν ο χρόνος ξεπερνά τα 5 δευτερόλεπτα, το Slack του Abitbol γεμίζει μηνύματα. Η ταχύτητα παραγωγής μετράει λιγότερο, αφού οι μηχανικοί τρέχουν πια εργασίες παράλληλα.
Το GLM δεν έχει αντικαταστήσει πλήρως το GPT και το Claude. Δουλεύει μόνο με κείμενο, οπότε ένα router μοντέλων στέλνει όσα αφορούν εικόνα, όπως ο σχεδιασμός του UI, στο Gemini ή στο GPT Luna. Τα ανοιχτά μοντέλα είναι πλέον η προτεραιότητα της Revolut, με σταθερή χρέωση και χωρίς εκπλήξεις στον λογαριασμό. Ο Abitbol αναγνωρίζει τις ανησυχίες για την ιδιωτικότητα και την ασφάλεια των κινεζικών μοντέλων. Υποστηρίζει όμως ότι ο κίνδυνος αφορά τη χρήση τους μέσω API σε servers στην Κίνα, και όχι όταν η εταιρεία τα τρέχει στις δικές της υποδομές ή σε cloud της ίδιας περιοχής.
Claude: Απέκτησε με δική του πρωτοβουλία πρόσβαση στα στοιχεία ψηφοφόρων της πολιτείας Τζόρτζια
