Η αποκάλυψη ότι ένας αλγόριθμος της Amazon, που χρησιμοποιούνταν για τις προσλήψεις προσωπικού, δεν «χώνευε» τις γυναίκες ρίχνει φως σε μία από τις πιο σκοτεινές γωνιές της σύγχρονης τεχνολογίας. Εκεί όπου οι τεχνοκράτες συναντούν τους τσαρλατάνους του Μεσαίωνα.
Πριν από μερικά χρόνια η εταιρεία λιανικών πωλήσεων Amazon ανέθεσε σε μια ομάδα προγραμματιστών στο Εδιμβούργο να δημιουργήσει έναν αλγόριθμο που θα της επέτρεπε να επιλέγει με μεγαλύτερη ταχύτητα ανάμεσα στα χιλιάδες βιογραφικά που λαμβάνει κάθε χρόνο.
Η συγκεκριμένη πρακτική, την οποία ακολουθούν εκατοντάδες επιχειρήσεις, υποτίθεται ότι γλιτώνει τα τμήματα προσωπικού από χιλιάδες εργατοώρες, μειώνοντας δραστικά το κόστος λειτουργίας. Υπολογίζεται ότι το 72% των βιογραφικών, που κατατίθενται σε μεγάλες εταιρείες στις ΗΠΑ, απορρίπτεται από κάποιον αλγόριθμο πριν διαβαστεί από ανθρώπινα μάτια.
Το πρόβλημα με τον μηχανισμό της Amazon, όπως αποκάλυψε αυτή την εβδομάδα το πρακτορείο Reuters, ήταν πως… ήταν προκατειλημμένος αρνητικά απέναντι στις γυναίκες. Ο φαινομενικά «αλάνθαστος» και «αντικειμενικός» αλγόριθμος «εκπαιδεύτηκε» συλλέγοντας στοιχεία από δεκάδες χιλιάδες επιτυχημένους υπαλλήλους, που είχαν εργαστεί στο παρελθόν στην εταιρεία.
Αυτό όμως σήμαινε ότι στα αποτελέσματά του αναπαρήγαγε τη σκληρή πατριαρχική ιεραρχία που επικρατεί εδώ και δεκαετίες στον τομέα υψηλής τεχνολογίας των ΗΠΑ, όπως και σε πολλούς άλλους κλάδους. Οι ίδιες οι λέξεις «γυναίκα» και «γυναικείο» λειτουργούσαν αρνητικά στην κατάταξη, ενώ ο αλγόριθμος αναζητούσε λέξεις που χρησιμοποιούνται συχνότερα από άντρες στα βιογραφικά. Είναι προφανές ότι αν ο ίδιος αλγόριθμος λειτουργούσε στα χρόνια του απαρτχάιντ στη Νότια Αφρική, δεν θα επέλεγε ποτέ μαύρους, ενώ στην αρχαία Αθήνα θα απέκλειε ολοκληρωτικά τις γυναίκες (και θα «προσλάμβανε» μόνο σκλάβους).
Η ανάλυση Μεγάλων Δεδομένων (Big Data) κωδικοποιεί το παρελθόν, δεν δημιουργεί το μέλλον – Κάθι Ονίλ, Καθηγήτρια
Στο βιβλίο της Weapons of Math Destruction (Οπλα Μαθηματικής Καταστροφής) η πανεπιστημιακός Κάθι Ο’Νιλ εξηγεί πως οι αλγόριθμοι μπορεί να αναπαράγουν αλλά και να γιγαντώσουν στερεότυπα όχι μόνο σε επίπεδο φύλου και γένους, αλλά κυρίως κοινωνικής τάξης.
Υπολογίζοντας μεταβλητές, όπως η απόσταση της κατοικίας του υποψηφίου από την εργασία, η γειτονιά στην οποία πήγε σχολείο, αλλά ακόμη και προσωπικές του συνήθειες (τις οποίες συχνά συλλέγουν ή αγοράζουν από μέσα κοινωνικής δικτύωσης στο ίντερνετ) οι αλγόριθμοι τείνουν να αποκλείουν τους ήδη φτωχούς και αποκλεισμένους. Αν στο παρελθόν υπήρχε έστω και μια ελάχιστη πιθανότητα κοινωνικής ανέλιξης, ο αλγόριθμος την κάνει ακόμη πιο ισχνή.
Προκειμένου να παρακάμψουν αυτή την κατάσταση, υποψήφιοι καταφεύγουν σε εταιρείες που τους προετοιμάζουν τα βιογραφικά με τις κατάλληλες λέξεις-κλειδιά, τις οποίες πιστεύουν ότι αναζητά ο αλγόριθμος πρόσληψης. Για άλλη μια φορά δηλαδή τα «καλύτερα» βιογραφικά προέρχονται από αυτούς που έχουν περισσότερα χρήματα να πληρώσουν για την προετοιμασία τους.
Η αποκάλυψη του «φαλλοκρατικού» αλγόριθμου της Amazon (ο οποίος σύμφωνα με την εταιρεία δεν χρησιμοποιήθηκε στην πράξη) κατάφερε ένα ακόμη χτύπημα στην προσπάθεια αρκετών τεχνοκρατών να μετατρέψουν τους αλγόριθμους σε ένα είδος σύγχρονης θεότητας, που υπόσχεται να απαλείψει το ανθρώπινο λάθος από τους μηχανισμούς λήψης σημαντικών αποφάσεων.
Η ίδια ιστορία, εξηγούσε ο Φράνκλιν Φόερ στο βιβλίο του World Without Mind, επαναλαμβάνεται εδώ και τουλάχιστον δυο αιώνες, από τη στιγμή που Γάλλοι διανοητές όπως ο Ανρί Σεν-Σιμόν και ο Ογκίστ Κοντ πρότειναν την ανάθεση τμήματος της πολιτικής εξουσίας σε τεχνοκράτες – μηχανικούς. Κάποιοι μάλιστα ίσως θα έπιαναν την ιστορία από τις θέσεις του Πλάτωνα για τους φιλοσόφους που θα κυβερνούσαν και τους φιλοσοφούντες κυβερνήτες.
Ενώ όμως ο Σεν-Σιμόν και ο Κοντ ήθελαν να χρησιμοποιήσουν τη γνώση των μηχανικών για να ανατρέψουν το «παλαιό καθεστώς» των αριστοκρατών και του κλήρου, οι σύγχρονοι τεχνοκράτες χρησιμοποιούν με θρησκευτική πίστη τους αλγόριθμους για να εδραιώσουν μια νέα αριστοκρατία.
Οι αλγόριθμοι λειτουργούν πλέον σαν το εκπαιδευτικό σύστημά ή το σύνολο των νόμων μιας κοινωνίας. Αναπαράγουν δηλαδή τις θέσεις των κυρίαρχων τάξεων, ενώ την ίδια στιγμή ενδύονται τον μανδύα του επιστημονικού αλάθητου. Σε άλλες περιπτώσεις απλώς προωθούν επιχειρηματικές επιλογές και την ευρύτερη φιλοσοφία συγκεκριμένων εταιρειών. Χαρακτηριστικό παράδειγμα, εξηγούσε ο Φόερ, είναι οι επιλογές ταινιών και βιβλίων που μας παρουσιάζουν υπηρεσίες όπως η Amazon και η Netflix.
Ο αλγόριθμος της Amazon επιλέγει παρεμφερή βιβλία με αυτά που έχουμε ήδη αγοράσει. Αντίθετα ο αλγόριθμος της Netflix, τουλάχιστον στο παρελθόν, μας πρότεινε πιο εναλλακτικές ταινίες και σειρές, καθώς έτσι η εταιρεία πλήρωνε μικρότερα δικαιώματα αναμετάδοσης στους δημιουργούς.
Η αίσθησή μας δηλαδή για τα διαθέσιμα προϊόντα στην αγορά (βάσει της οποίας υπολογίζεται ότι πραγματοποιούμε το ένα τρίτο των αγορών σε ηλεκτρονικές πλατφόρμες) καθορίζεται από το επιχειρηματικό μοντέλο του πωλητή και όχι από τις ανάγκες του καταναλωτή.
Αρκετοί επιστήμονες των υπολογιστών συνηθίζουν να λένε ότι οι αλγόριθμοι απλώς «βασανίζουν» μεγάλους όγκους δεδομένων μέχρι να ομολογήσουν. Οπως εξηγούσε όμως ο Φράνκλιν Φόερ, τα δεδομένα, όπως και τα θύματα βασανισμού, συνήθως λένε αυτό που θέλει να ακούσει ο βασανιστής τους.
INFO
Διαβάστε:
Weapons of Math Destruction
H μαθηματικός Κάθι Ο’Νιλ εξηγεί πώς οι αλγόριθμοι χρησιμοποιούνται για να αυξήσουν τις κοινωνικές ανισότητες, ενώ παράλληλα απειλούν τη δημοκρατία.
World Without Mind: The Existential Threat of Big Tech
Ο δημοσιογράφος Φράνκλιν Φόερ μάς ξεναγεί στον γενναίο νέο κόσμο των αλγόριθμων
*Πηγή: Εφημερίδα των Συντακτών
