Έναρξη

Επιτυχία με τη λεπτή ρύθμιση

Επιτυχία με τη λεπτή ρύθμιση

Για βιαστικούς αναγνώστες

  • Τα μοντέλα τεχνητής νοημοσύνης, όπως το GPT από το OpenAI, μπορούν να βελτιστοποιηθούν με τα δεδομένα της εταιρείας μέσω λεπτομερούς ρύθμισης. Αυτό αυξάνει το ποσοστό αναγνώρισης για δύσκολες περιπτώσεις σε πάνω από 90%, μερικές φορές ακόμη και πάνω από 95% - μεγάλες τιμές.
  • Η λεπτομερής ρύθμιση περιλαμβάνει την εκπαίδευση ενός προ-εκπαιδευμένου μοντέλου ΤΝ με συγκεκριμένα δεδομένα, προκειμένου να γίνει πιο ευαίσθητο σε συγκεκριμένες εργασίες. Ως εκ τούτου, εκπαιδεύεται με δεδομένα από συγκεκριμένες και σχετικές επιχειρηματικές συναλλαγές.
  • Στην περίπτωση της GPT, η τελειοποίηση πραγματοποιείται με τη χρήση προετοιμασμένων υποδείξεων στις οποίες μεταφέρονται επίσης οι απαντήσεις που αναζητούνται στις ερωτήσεις που τίθενται. Το σύνολο δεδομένων που πρόκειται να αναλυθεί με τα δεδομένα της εταιρείας μεταφέρεται επίσης, ώστε να μπορεί να εφαρμοστεί η προτροπή σε αυτό.
  • Η λεπτομερής ρύθμιση δεν υποκαθιστά μια καθαρή βάση δεδομένων και την προηγούμενη βελτιστοποίηση των ερωτημάτων για την επίτευξη εξαιρετικής βασικής ποιότητας ως σημείο εκκίνησης. Η λεπτή ρύθμιση είναι ιδιαίτερα κατάλληλη για τη βελτιστοποίηση ενός μοντέλου LLM.

Η λεπτομερής ρύθμιση βασίζεται στους ίδιους μηχανισμούς που χρησιμοποιούνται για την προτροπή σε σχέση με τα Μεγάλα Γλωσσικά Μοντέλα (LLM). Αυτό σημαίνει ότι διατυπώνεται μια ερώτηση ή ένα αίτημα (προτροπή) και δίνεται η αναμενόμενη απάντηση (ολοκλήρωση). Επομένως, έχουμε να κάνουμε με ζεύγη προτροπής-ολοκλήρωσης, τα οποία φορτώνονται στο μοντέλο GPT μέσω μιας διεπαφής.

Ωστόσο, δεδομένου ότι το μοντέλο ΤΝ πρέπει να βελτιστοποιηθεί για συγκεκριμένα δεδομένα και όχι για την ευρεία βάση δεδομένων που χρησιμοποιείται για τη βασική εκπαίδευση, τα υποκείμενα (εταιρικά) δεδομένα πρέπει επίσης να μεταφερθούν για αυτά τα ζεύγη προτροπών-συμπλήρωσης. Κατά συνέπεια, η τελειοποίηση πραγματοποιείται χρησιμοποιώντας πολλά ζεύγη προτροπών συμπλήρωσης και το αντίστοιχο σύνολο δεδομένων για κάθε ζεύγος.

Μόλις ολοκληρωθεί η εκπαίδευση, το τελειοποιημένο μοντέλο τεχνητής νοημοσύνης είναι διαθέσιμο στον χρήστη. Στην περίπτωση του OpenAI, δημιουργείται ένα νέο API (σύνδεσμος) που μπορεί να χρησιμοποιηθεί τόσο προγραμματιστικά όσο και μέσω του οπτικού front end του ChatGPT. Από τεχνικής άποψης, δημιουργήσαμε έναν τρόπο για να χρησιμοποιήσουμε τη δική μας παραμετροποίηση του μοντέλου για τη δική μας περίπτωση χρήσης με τον αλγόριθμο του μοντέλου AI.

Συμβουλή για να δοκιμάσετε

Αν θέλετε να δημιουργήσετε πολύγλωσσα, επαγγελματικά επεξηγηματικά βίντεο ή βίντεο πωλήσεων, θα πρέπει να ρίξετε μια ματιά στις δύο πλατφόρμες synthesia.io και HeyGen θα πρέπει να ρίξετε μια πιο προσεκτική ματιά. Ενώ η synthesia.io προσφέρει πολυάριθμα διαφορετικά ανθρώπινα είδωλα που παρουσιάζουν τα επιθυμητά κείμενα με ή χωρίς φόντο PowerPoint, η HeyGen χρησιμοποιείται για εξατομικευμένα, εξατομικευμένα πολύγλωσσα βίντεο. Και οι δύο λύσεις είναι ιδανικές για επαγγελματικά βίντεο και είναι ιδιαίτερα καινοτόμες.

Λεπτομερής ρύθμιση - προηγμένη εκπαίδευση AI

Σήμερα συναντάμε δύο τύπους μοντέλων τεχνητής νοημοσύνης: Προ-εκπαιδευμένα και μη προ-εκπαιδευμένα. Ενώ τα προ-εκπαιδευμένα μοντέλα, το πιο χαρακτηριστικό παράδειγμα των οποίων είναι το OpenAI GPT, έχουν εκπαιδευτεί με τη βοήθεια ενός σχεδόν ανυπολόγιστου όγκου κειμένου και περιεχομένου πολυμέσων από το Διαδίκτυο, βλέπε Εφαρμοσμένη ΤΝ για διευθυντές - με σαφήνεια, τα μη προ-εκπαιδευμένα ή "κενά" μοντέλα εξαρτώνται από τον επαγγελματία χρήστη που τα βαθμονομεί ή τα εκπαιδεύει για τον τύπο δεδομένων για τον οποίο θέλει να χρησιμοποιήσει το μοντέλο.

Υπάρχει όμως μια ενδιάμεση λύση που συνδυάζει τα πλεονεκτήματα και των δύο προσεγγίσεων: η λεπτομερής ρύθμιση.

Η λεπτομερής ρύθμιση βασίζεται σε ένα προ-εκπαιδευμένο μοντέλο, όπως το OpenAI GPT, το οποίο στη συνέχεια βελτιστοποιείται με τα δεδομένα που σχετίζονται με την περίπτωση χρήσης. Τα δεδομένα αυτά μπορεί να είναι έγγραφα (PDF, Word, Excel από το Sharepoint ή από ένα αποθηκευτικό χώρο στο cloud, όπως το Box.com κ.λπ.), αλλά και δεδομένα από ένα σύστημα ERP, όπως το SAP, το Netsuite, το Xentral, το MS Dynamics ή οποιαδήποτε άλλη ιδιόκτητη βάση δεδομένων της εταιρείας.

Επεξήγηση της μεθόδου λεπτής ρύθμισης

Η λεπτομερής ρύθμιση βασίζεται στους ίδιους μηχανισμούς που χρησιμοποιούνται για την προτροπή σε σχέση με τα Μεγάλα Γλωσσικά Μοντέλα (LLM). Αυτό σημαίνει ότι διατυπώνεται μια ερώτηση ή ένα αίτημα (προτροπή) και δίνεται η αναμενόμενη απάντηση (ολοκλήρωση). Επομένως, έχουμε να κάνουμε με ζεύγη προτροπής-ολοκλήρωσης, τα οποία φορτώνονται στο μοντέλο GPT μέσω μιας διεπαφής.

Ωστόσο, δεδομένου ότι το μοντέλο ΤΝ πρέπει να βελτιστοποιηθεί για συγκεκριμένα δεδομένα και όχι για την ευρεία βάση δεδομένων που χρησιμοποιείται για τη βασική εκπαίδευση, τα υποκείμενα (εταιρικά) δεδομένα πρέπει επίσης να μεταφερθούν για αυτά τα ζεύγη προτροπών-συμπλήρωσης. Κατά συνέπεια, η τελειοποίηση πραγματοποιείται χρησιμοποιώντας πολλά ζεύγη προτροπών συμπλήρωσης και το αντίστοιχο σύνολο δεδομένων για κάθε ζεύγος.

Μόλις ολοκληρωθεί η εκπαίδευση, το τελειοποιημένο μοντέλο τεχνητής νοημοσύνης είναι διαθέσιμο στον χρήστη. Στην περίπτωση του OpenAI, δημιουργείται ένα νέο API (σύνδεσμος) που μπορεί να χρησιμοποιηθεί τόσο προγραμματιστικά όσο και μέσω του οπτικού front end του ChatGPT. Από τεχνικής άποψης, δημιουργήσαμε έναν τρόπο για να χρησιμοποιήσουμε τη δική μας παραμετροποίηση του μοντέλου για τη δική μας περίπτωση χρήσης με τον αλγόριθμο του μοντέλου AI.

Η επιτυχία της βελτιστοποίησης

Η λεπτομερής ρύθμιση είναι ιδιαίτερα αποτελεσματική όταν πρόκειται να επεκταθούν οι καλά αναπτυγμένες προτροπές και οι τέλεια ρυθμισμένες πλατφόρμες ΤΝ σε περιπτώσεις χρήσης που αφορούν συγκεκριμένες επιχειρήσεις. Σε μία από τις περιπτώσεις μας, χρησιμοποιήσαμε δεδομένα παραγγελιών ενός συγκεκριμένου τύπου περιεχομένου για τη λεπτομερή ρύθμιση, οι πληροφορίες του οποίου ήταν εντελώς αδόμητες και διάσπαρτες σε έγγραφα PDF.

Χρησιμοποιήσαμε τη λεπτομερή ρύθμιση για να πούμε στο μοντέλο τεχνητής νοημοσύνης ποιες απαντήσεις θα περιμέναμε με βάση τα δεδομένα και ενσωματώσαμε αυτά τα δεδομένα στη λεπτομερή ρύθμιση.

Αυξήσαμε τη βασική ποιότητα αυτών των πολύ ετερογενών πεδίων από ένα ποσοστό αναγνώρισης 63% σε 91% για τη σωστή κατανομή των περιγραφών των εμπορευμάτων - και αυτό με μόλις 4 εγγραφές δεδομένων τελειοποίησης!

Κατά την αναγνώριση διευθύνσεων με πολλές στάσεις ως μέρος μιας παράδοσης, το ποσοστό αναγνώρισης 78% σε επίπεδο πεδίου αυξήθηκε σε 96%. Και στις δύο περιπτώσεις, χρησιμοποιήθηκε το ελαφρώς παλαιότερο GPT-3.5 Turbo από την OpenAI, επειδή το GPT-4 δεν υποστηρίζει ακόμη τη λεπτομερή ρύθμιση. Αναμένουμε ότι τα ποσοστά αναγνώρισης του GPT-4 Turbo θα είναι ακόμη υψηλότερα, όπως μπορούμε να συμπεράνουμε από άλλες περιπτώσεις χρήσης. Η λεπτομερής ρύθμιση στο GPT-4 είναι θέμα χρόνου και έχει ανακοινωθεί για το τέλος του 2024.

Επομένως, αξίζει τον κόπο να γίνει λεπτομερής ρύθμιση για τη βαθμονόμηση της τεχνητής νοημοσύνης με τα δεδομένα της εταιρείας. Αυτό μπορεί να πραγματοποιηθεί σε μια φάση εκπαίδευσης πριν από την έναρξη λειτουργίας ενός έργου, π.χ. από το γραφείο βοήθειας, την υπηρεσία εξυπηρέτησης πελατών ή τους ειδικούς, αλλά και κατά τη διάρκεια της παραγωγικής φάσης, εάν η ακρίβεια πρέπει να βελτιωθεί.

Είναι η λεπτή ρύθμιση η θαυματουργή θεραπεία;

Όχι! Ακόμα και κατά τη διάρκεια της τελειοποίησης, οι προτροπές, τα σύνολα δεδομένων που επιλέγονται για την τελειοποίηση, η επιλογή μοντέλου και τα συμπληρωματικά μέτρα, όπως η διαδραστική προτροπή σε σχέση με το πλαίσιο ("few-shots", "one-shots"), πρέπει να εκτελούνται ή να χρησιμοποιούνται προσεκτικά και με ακρίβεια. Εάν η βασική ποιότητα της λειτουργίας του μοντέλου δεν είναι σωστή, οποιαδήποτε τελειοποίηση είναι ένα παιχνίδι τύχης.

Η επαυξημένη παραγωγή ανάκτησης (Retrieval Augmented Generation - RAG) χρησιμοποιείται γενικά εκτός από τη λεπτομερή ρύθμιση. Χρησιμοποιείται για τη δυναμική μεταφορά μεγάλου όγκου εταιρικών δεδομένων που παρουσιάζονται ως ενσωμάτωση (αριθμός) σε ένα μοντέλο GPT για αξιοποίηση με τη βοήθεια διανυσματικών βάσεων δεδομένων.

Η επικύρωση των αποτελεσμάτων με διακριτές μεθόδους (π.χ. RegEx) ή αναζητήσεις (π.χ. έλεγχοι αληθοφάνειας) ή με τη χρήση άλλων εξειδικευμένων μοντέλων ΤΝ χρησιμοποιείται επίσης ανάλογα με τις ανάγκες.

Τα καλά μελετημένα, δοκιμασμένα από ειδικούς και προσεκτικά υλοποιημένα μοντέλα τεχνητής νοημοσύνης είναι ιδανικά για την αυτοματοποίηση πολύπλοκων επιχειρηματικών διαδικασιών. Από την καταχώρηση παραγγελιών έως τον προγραμματισμό παραγγελιών και την τιμολόγηση. Δεν υπάρχουν όρια στη δημιουργικότητα.

Η "μηχανή" αναλαμβάνει τις επαναλαμβανόμενες εργασίες των ανθρώπων.

Σχετικά με την Business Automatica GmbH:

Το Business Automatica μειώνει το κόστος των διαδικασιών με την αυτοματοποίηση των χειροκίνητων δραστηριοτήτων, αυξάνει την ποιότητα της ανταλλαγής δεδομένων σε πολύπλοκες αρχιτεκτονικές συστημάτων και συνδέει τα συστήματα που βρίσκονται σε τοπικό επίπεδο με σύγχρονες αρχιτεκτονικές cloud και SaaS. Η εφαρμοσμένη τεχνητή νοημοσύνη στην εταιρεία αποτελεί αναπόσπαστο μέρος αυτού. Η Business Automatica προσφέρει επίσης λύσεις αυτοματοποίησης από το cloud που είναι προσανατολισμένες στην ασφάλεια στον κυβερνοχώρο.