Αυτό που βρίσκω περισσότερο στις δοκιμές προγραμματισμού που δούλευα, αυτό είναι ότι τα εργαλεία που βασίζονται στο ίδιο μεγάλο γλωσσικό μοντέλο τείνουν να λειτουργούν εντελώς διαφορετικά.
Επίσης: το καλύτερο AI για κωδικοποίηση το 2025 (και τι δεν πρέπει να χρησιμοποιήσετε)
Για παράδειγμα, το ChatGPT, το Nerplexity και το GitHub Copilot βασίζονται στα μοντέλα GPT-4 από το OpenAI. Όμως, όπως σας δείχνω παρακάτω, ενώ το Pro Pro Pro Pro -Pro -Plans Catgpt και η μετατόπιση που εκτελούνται, ο Github Copilot απέτυχε τόσο συχνά όσο ήταν επιτυχής.
Ελέγξαμε το GitHub Copilot, ενσωματωμένο στο αντίγραφο του κώδικα VS. Θα εξηγήσω πώς να διαμορφώσετε αυτό και να χρησιμοποιήσετε το GitHub Copilot στο επερχόμενο άρθρο βήμα -βήμα. Αλλά πρώτα, ας περάσουμε από τις δοκιμές.
Εάν θέλετε να μάθετε πώς δοκιμάζω και συμβουλές για κάθε μεμονωμένη δοκιμή, μην διστάσετε να διαβάσετε πώς δοκιμάζω την ικανότητα της κωδικοποίησης συνομιλίας -BOTA AI.
TL; DR: Ο Github Copilot πέρασε δύο και απέτυχε.
Δοκιμή 1: WordPress Pligin Writing
Έτσι, αυτό απέτυχε με ένα κτύπημα. Αυτή ήταν η πρώτη μου δοκιμασία, οπότε δεν μπορώ να πω αν ο Github Copilot είναι τρομερό ή το πλαίσιο στο οποίο αλληλεπιδρά με αυτόν περιορίζει το σημείο όπου δεν μπορεί να ικανοποιήσει αυτήν την απαίτηση.
Επιτρέψτε μου να μου εξηγήσω.
Αυτή η δοκιμή περιλαμβάνει το αίτημα της AI να δημιουργήσει ένα πλήρως λειτουργικό plugin WordPress, με τα στοιχεία της διεπαφής διαχειριστή και της λειτουργικής λογικής. Το plugin δέχεται ένα σύνολο ονομάτων, τα ταξινομεί και, αν υπάρχουν διπλότυπα, διαχωρίζει τα διπλότυπα έτσι ώστε να μην βρίσκονται κοντά.
Επίσης: Ελέγξαμε τις δεξιότητες της κωδικοποίησης R1 και V3 Deepseek – και δεν είμαστε όλοι καταδικασμένοι (για τώρα)
Αυτή ήταν μια πραγματική εφαρμογή που χρειάζεται η σύζυγός μου στο πλαίσιο της εμπλεκόμενης συσκευής, την οποία ξεκινά στην πολύ ενεργή ομάδα της στο Facebook ως μέρος της ηλεκτρονικής εμπλοκής της ψηφιακών αγαθών.
Τα περισσότερα από τα άλλα AIS πέρασαν αυτό το τεστ, τουλάχιστον εν μέρει. Πέντε από τα 10 δοκιμασμένα μοντέλα AI πέρασαν πλήρως. Τρεις από αυτούς πέρασαν μέρος της ζύμης. Δύο (συμπεριλαμβανομένου του Microsoft Copilot) απέτυχαν εντελώς.
Το γεγονός είναι ότι έδωσα στον Github Copilot τον ίδιο υπαινιγμό με αυτό, αλλά έγραψε μόνο έναν κωδικό PHP. Για να είμαστε σαφείς, αυτό το πρόβλημα μπορεί να επιλυθεί αποκλειστικά χρησιμοποιώντας τον κωδικό PHP. Αλλά κάποια αγαπούν να συμπεριλάβουν κάποια JavaScript για διαδραστικές λειτουργίες. Ο Github Copilot ενεργοποίησε τον κώδικα για χρήση από το JavaScript, αλλά ποτέ δεν δημιούργησε το JavaScript, το οποίο προσπάθησε να χρησιμοποιήσει.
Αυτό που είναι ακόμη χειρότερο όταν δημιούργησα το αρχείο JavaScript και από το αρχείο JavaScript προσπάθησε να κάνει το Github Copilot να ξεκινήσει την υπόδειξη, μου έδωσε ένα άλλο σενάριο PHP, το οποίο επίσης αναφέρθηκε στο αρχείο JavaScript.
Όπως μπορείτε να δείτε παρακάτω, στο αρχείο randomizer.js, προσπάθησε να ενεργοποιήσει (κυρίως για την εκκίνηση) το αρχείο randomizer.js και ο κώδικας που έγραψε ήταν PHP, όχι javascript.
Δοκιμή 2: Υπολογισμός της λειτουργίας συμβολοσειράς
Αυτή η δοκιμή είναι αρκετά απλή. Έγραψα μια λειτουργία που έπρεπε να ελέγξει τα δολάρια και τα λεπτά, αλλά άρχισε μόνο να δοκιμάζει για ολόκληρους αριθμούς (δολάρια). Η δοκιμή ζητά από το AI να διορθώσει τον κωδικό.
Ο Github Copilot έκανε το remake του κώδικα, αλλά με τον κώδικα που έκανε εκεί υπήρχαν πολλά προβλήματα.
- Πρότεινε ότι η τιμή συμβολοσειράς ήταν πάντα μια τιμή συμβολοσειράς. Εάν ήταν άδειο, ο κώδικας έσπασε.
- Ο αναθεωρημένος κώδικας κανονικής έκφρασης θα σπάσει εάν εισήχθη το δεκαδικό σημείο (δηλ. “3.”) εάν εισήχθη το κορυφαίο δεκαδικό σημείο (δηλ. “3”) ή εάν συμπεριληφθούν τα κορυφαία μηδενικά (δηλ. 00.30 “)
Για κάτι, αυτό που έπρεπε να ελέγξει αν το νόμισμα εισήχθη σωστά, η αποτυχία με τον κώδικα που ταιριάζει με την ευκαιρία των άκρων δεν είναι αποδεκτή.
Έτσι, έχουμε μια άλλη αποτυχία.
Δοκιμή 3: Εύρεση ερεθιστικού σφάλματος
Ο Github Copilot το πήρε σωστά. Αυτή είναι μια άλλη δοκιμή που ελήφθη από τις πραγματικές εξόδους κωδικοποίησης. Αυτό που έκανε αυτό το λάθος τόσο ενοχλητικό (και δύσκολο να κατανοηθεί) είναι ότι ένα μήνυμα σφάλματος δεν σχετίζεται άμεσα με το πραγματικό πρόβλημα.
Επίσης: Ελέγχω τις δεξιότητες της κωδικοποίησης Deepseek AI – εκεί που έπεσε
Ένα λάθος είναι ένα είδος κώδικα, μια ισοδύναμη ερώτηση σχετικά με το τέχνασμα. Η λύση της απαιτεί την κατανόηση του τρόπου με τον οποίο οι συγκεκριμένες κλήσεις API στο πλαίσιο του WordPress Work και στη συνέχεια η εφαρμογή αυτών των γνώσεων στο υπό εξέταση σφάλμα.
Η Microsoft Copilot, ο Gemini και ο Meta -lma απέτυχαν σε αυτό το τεστ. Αλλά ο Github Copilot αποφάσισε σωστά.
Δοκιμή 4: Γράφοντας σενάριο
Εδώ, ο Github Copilot πέτυχε στο γεγονός ότι η Microsoft Copilot απέτυχε. Η εργασία εδώ είναι ότι δοκιμάζω την ικανότητα του AI να δημιουργήσει ένα σενάριο που να γνωρίζει την κωδικοποίηση σε μήλα, μοντέλα αντικειμένων χρώματος και ένα μικρό τρίτο -που κωδικοποιεί μόνο για το Mac που ονομάζεται Maestro Keyboard.
Επίσης: HRCR X εκπληκτικά καλά κατάφερε να κωδικοποιήσει τις δοκιμές κωδικοποίησης AI
Για να περάσει αυτό το τεστ, το AI πρέπει να είναι σε θέση να παραδεχτεί ότι και τα τρία μέσα κωδικοποίησης απαιτούν προσοχή και στη συνέχεια να προσαρμόσουν μεμονωμένες γραμμές κώδικα για κάθε ένα από αυτά τα περιβάλλοντα.
Οι τελευταίες σκέψεις
Δεδομένου ότι το Github Copilot χρησιμοποιεί το GPT-4, θεωρώ ότι το γεγονός ότι απέτυχε στις μισές δοκιμές αποθαρρύνεται. Το Github είναι ένα σχεδόν δημοφιλές περιβάλλον για μια πηγή στον πλανήτη και μπορούμε να ελπίζουμε ότι η υποστήριξη για την κωδικοποίηση του AI ήταν αρκετά αξιόπιστη.
Όπως σε όλα τα πράγματα, είμαι βέβαιος ότι η απόδοση θα γίνει καλύτερη. Ας ακολουθήσουμε τις ενημερώσεις και να ελέγξουμε λίγους μήνες για να δούμε αν είναι πιο αποτελεσματικό εκείνη τη στιγμή.
Χρησιμοποιείτε το AI για να βοηθήσετε στην κωδικοποίηση; Τι προτιμάτε; Έχετε δοκιμάσει το Github Copilot; Ενημερώστε μας στα παρακάτω σχόλια.
Μπορείτε να ακολουθήσετε τις καθημερινές ενημερώσεις έργων μου στα κοινωνικά δίκτυα. Φροντίστε να εγγραφείτε στην εβδομαδιαία ενημέρωση του ενημερωτικού δελτίου μου και να με ακολουθήσετε στο Twitter/X IN @DavidgeWirtzΣτο Facebook στο Facebook.com/davidgewirtz, instagram.com/davidgewirtz, bluesky στο @davidgewirtz.com και YouTube στο youtube.com/davidhewrtztv.
