Σε αυτό το μάθημα NLP Cloud εξηγούμε γιατί είναι συχνά απαραίτητο συγκεκριμένο υλικό προκειμένου να επιταχυνθεί η επεξεργασία των φόρτων εργασίας μηχανικής μάθησης. Επίσης, εξετάζουμε ποιοι είναι οι καλύτεροι επιταχυντές που διατίθενται στην αγορά το 2023: GPUs, TPUs, IPUs, Inferentia, Habana Gaudi...
Ακολουθεί η δομή του μαθήματος:
Γεια σε όλους, είμαι ο Julien Salinas από το NLP Cloud.
Σε αυτό το μάθημα, θα δούμε τι είδους επιταχυντές υλικού μπορούμε να χρησιμοποιήσουμε σήμερα για να επιταχύνουμε τους φόρτους εργασίας εξαγωγής συμπερασμάτων.
Για να κατανοήσουμε την επιτάχυνση υλικού, είναι σημαντικό να θυμόμαστε ότι οι εφαρμογές τεχνητής νοημοσύνης βασίζονται σήμερα κυρίως σε νευρωνικά δίκτυα, γνωστά και ως βαθιά μάθηση.
Ο πολλαπλασιασμός πινάκων είναι μια βασική λειτουργία στα νευρωνικά δίκτυα, επειδή τους επιτρέπει να μαθαίνουν πολύπλοκα δεδομένα και πολύπλοκες αναπαραστάσεις των δεδομένων.
Σε ένα νευρωνικό δίκτυο, τα δεδομένα εισόδου αναπαρίστανται από έναν πίνακα και τα βάρη των συνδέσεων μεταξύ των νευρώνων αναπαρίστανται επίσης από έναν πίνακα.
Όταν αυτοί οι δύο πίνακες πολλαπλασιάζονται, το αποτέλεσμα είναι ένας νέος πίνακας που αντιπροσωπεύει την έξοδο των νευρώνων.
Αυτή η διαδικασία επαναλαμβάνεται μέσω πολλαπλών επιπέδων νευρώνων, επιτρέποντας στο δίκτυο να μαθαίνει όλο και πιο αφηρημένα και σύνθετα χαρακτηριστικά των δεδομένων εισόδου.
Οι πίνακες είναι βασικά συστατικά των μοντέλων τεχνητής νοημοσύνης, επομένως είναι σημαντικό να χρησιμοποιήσετε κάποιο υλικό που είναι πολύ καλό στην εκτέλεση πράξεων σε πίνακες.
Μια άλλη σημαντική πτυχή είναι οι αριθμοί κινητής υποδιαστολής.
Τα κινητά σημεία είναι σημαντικά στα νευρωνικά δίκτυα επειδή επιτρέπουν την αναπαράσταση κλασματικών τιμών.
Όπως μόλις είπαμε, τα νευρωνικά δίκτυα περιλαμβάνουν μεγάλους πίνακες με πολλές καταχωρήσεις.
Η χρήση μόνο ακέραιων τιμών θα οδηγούσε γρήγορα σε σφάλματα υπερχείλισης.
Χρησιμοποιώντας τιμές κινητής υποδιαστολής, τα νευρωνικά δίκτυα μπορούν να αναπαραστήσουν τιμές με πολλά δεκαδικά ψηφία, επιτρέποντας ακριβέστερους υπολογισμούς και μεγαλύτερη ακρίβεια στις εξόδους.
Συνοψίζοντας, λοιπόν, για να επεξεργαστούμε αποτελεσματικά τα φορτία εργασίας, τα φορτία εργασίας ΤΝ, χρειαζόμαστε υλικό που να μπορεί να χειριστεί πολλαπλασιασμούς πινάκων και υπολογισμούς κινητής υποδιαστολής.
Οι δύο κύριες επιλογές που μπορείτε να εξετάσετε σήμερα για τους φόρτους εργασίας μηχανικής μάθησης είναι οι CPU και οι GPU.
Η CPU, ή Κεντρική Μονάδα Επεξεργασίας, είναι ένας επεξεργαστής γενικού σκοπού που χειρίζεται ένα ευρύ φάσμα εργασιών σε ένα σύστημα υπολογιστή, όπως η εκτέλεση εφαρμογών, η διαχείριση του λειτουργικού συστήματος και η εκτέλεση μαθηματικών υπολογισμών.
Οι CPU έχουν σχεδιαστεί για να είναι ευέλικτες και να μπορούν να διεκπεραιώνουν πολλούς τύπους εργασιών, αλλά δεν είναι βελτιστοποιημένες για κάποιον συγκεκριμένο τύπο φόρτου εργασίας.
Μια GPU, ή Μονάδα Επεξεργασίας Γραφικών, είναι ένας εξειδικευμένος επεξεργαστής που έχει σχεδιαστεί για να χειρίζεται σύνθετους, παράλληλους φόρτους εργασίας, όπως η απόδοση γραφικών και η μηχανική μάθηση.
Οι GPU διαθέτουν χιλιάδες μικρότερους πυρήνες που συνεργάζονται για να χειριστούν μεγάλες ποσότητες δεδομένων ταυτόχρονα, γεγονός που τις καθιστά πολύ ταχύτερες από τις CPU για ορισμένους τύπους φόρτων εργασίας.
Οι πράξεις πινάκων μπορούν εύκολα να παραλληλιστούν σε πολλούς μικρούς πυρήνες, γι' αυτό και οι GPU υπερέχουν σε αυτόν τον τομέα.
Επίσης, οι GPU διαθέτουν συνήθως πολύ περισσότερες μονάδες κινητής υποδιαστολής από τις CPU, γεγονός που τους επιτρέπει να εκτελούν πράξεις κινητής υποδιαστολής πολύ ταχύτερα.
Τώρα γνωρίζετε γιατί μια CPU συχνά δεν είναι αρκετή για τους σημερινούς φόρτους εργασίας τεχνητής νοημοσύνης και γιατί το συγκεκριμένο υλικό είναι συχνά πολύ σημαντικό.
Τώρα ας δούμε τις επιλογές που έχετε όσον αφορά τους συγκεκριμένους επιταχυντές υλικού.
Οι GPU της NVIDIA είναι ένα ισχυρό εργαλείο για την επεξεργασία γραφικών και προσφέρουν μια σειρά χαρακτηριστικών που τις καθιστούν ιδανικές για παιχνίδια, μηχανική μάθηση, επεξεργασία βίντεο και εφαρμογές σχεδιασμού και μηχανικής.
Ως μηχανικός λογισμικού AI, δεν υπάρχει αμφιβολία ότι θα πρέπει να παίξετε με τις GPU της NVIDIA, καθώς κατέχουν κεντρική θέση στην αγορά GPU σήμερα.
Οι πιο ισχυρές κάρτες τους για την τεχνητή νοημοσύνη το 2023 είναι οι A100 και H100.
Η AMD προσφέρει επίσης μια ευρεία γκάμα GPU, μεταξύ άλλων και για μηχανική μάθηση.
Η σειρά προϊόντων RockM είναι ενδιαφέρουσα και σας ενθαρρύνω να ρίξετε μια ματιά σε αυτήν.
Η Google κατασκευάζει επίσης τα δικά της τσιπ τεχνητής νοημοσύνης, που ονομάζονται TPUs για τη μονάδα επεξεργασίας TensorFlow.
Χρησιμοποιούν αυτά τα τσιπ εσωτερικά, αλλά τα προτείνουν και στην προσφορά τους στο Google Cloud.
Ωστόσο, δεν μπορείτε να αγοράσετε ένα TPU για τον εαυτό σας.
Οι TPUs λειτουργούν ελαφρώς διαφορετικά από τις GPUs, αλλά αυτό θα είναι ένα θέμα για ένα άλλο ειδικό βίντεο.
Η Graphcore είναι μια εταιρεία με έδρα το Ηνωμένο Βασίλειο που κατασκευάζει ένα ειδικό υλικό τεχνητής νοημοσύνης που ονομάζεται IPU, ισοδύναμο με τις TPU της Google.
Μπορείτε να αγοράσετε τις IPU ή να τις χρησιμοποιήσετε στο cloud μέσω ενός από τους συνεργάτες τους.
Η AWS κατασκευάζει τα δικά της τσιπ τεχνητής νοημοσύνης.
Έχουν ένα τσιπ αφιερωμένο στην εξαγωγή συμπερασμάτων, που ονομάζεται Inferentia, και ένα άλλο αφιερωμένο στην εκπαίδευση, που ονομάζεται Tranium.
Αυτά τα τσιπ είναι σχετικά φθηνά.
Δεν μπορείτε να αγοράσετε τέτοια τσιπ για τον εαυτό σας, αλλά μπορείτε να τα χρησιμοποιήσετε στο AWS EC2 ή στο Sage Maker.
Η Intel κατασκευάζει επίσης το δικό της τσιπ Τεχνητής Νοημοσύνης, το οποίο ονομάζεται Habana Gaudi, το οποίο είναι μια πολύ ισχυρή αλλά πολύ ακριβή εναλλακτική λύση.
Οι επιταχυντές υλικού είναι ισχυροί, αλλά επίσης πολύ ακριβοί και δεν είναι εύκολο να αγοραστούν λόγω της παγκόσμιας έλλειψης ημιαγωγών.
Κατά συνέπεια, γι' αυτό είναι συνετό να προσπαθείτε να βελτιστοποιήσετε όσο το δυνατόν περισσότερο το φόρτο εργασίας AI, ώστε να μπορεί να εκτελεστεί σε μικρότερο υλικό.
Οι CPU μπορούν να αποτελέσουν μια αξιοπρεπή επιλογή για πολλούς φόρτους εργασίας μηχανικής μάθησης σε πολλές περιπτώσεις.
Όπως μπορείτε να δείτε αυτή τη στιγμή, το 2023, η NVIDIA είναι η de facto λύση όσον αφορά την επιτάχυνση υλικού στην τεχνητή νοημοσύνη και τη μηχανική μάθηση.
Αλλά είναι ενδιαφέρον ότι εμφανίζονται κάποιες εναλλακτικές λύσεις.
Έτσι, ίσως σε μερικά χρόνια, για τα επόμενα έργα τεχνητής νοημοσύνης σας, θα χρησιμοποιήσετε ενδεχομένως άλλους τύπους επιταχυντών.
Ελπίζω αυτό το μάθημα να ήταν χρήσιμο και σας εύχομαι μια ευχάριστη μέρα.