Μεγαλώνοντας σ’ ένα σπίτι πλημμυρισμένο από μελωδίες, στα έξι του χρόνια αρχίζει να καταγίνεται με το βιολί, με τον παππού του να κρατά το τέμπο με τη μασιά, ενώ σύντομα έμαθε όλους τους παραδοσιακούς σκοπούς και τα τραγούδια του τόπου του.
Δεκαπέντε χρόνων ήδη παίζει επαγγελματικά σε γάμους και πανηγύρια του νησιού, σε κομπανία. Δυο χρόνια αργότερα έρχεται στην Αθήνα, όπου φοιτά στο Ελληνικό Ωδείο. Παράλληλα, για το μεροκάματο, παίζει βιολί στο κοσμικό κέντρο «Χόλυγουντ» στα Κάτω Πατήσια.
Στα 20 δισκογραφεί το πρώτο του τραγούδι στην Columbia. Οι επιτυχίες δεν αργούν ν’ ακολουθήσουν: «Από παιδιά αγαπιόμαστε» και «Κάτω από τ’ αστέρια» με τη Γιώτα Λύδια, «Του καπετάνιου η κόρη» με τις αδελφές Χατζηδάκη, «Ένα μικρό ναυτόπουλο» και πολλά άλλα.
Στη διάρκεια του πολέμου, ο Γιώργος Μαργιολάς ζει στο νησί του, ως την Απελευθέρωση που επιστρέφει στην Αθήνα και εργάζεται σε διάφορα κοσμικά κέντρα της εποχής –στου «Κοντογιάννη» με τον Καζαντζίδη, στου «Κεφάλα» με τη Μαριάννα Χατζοπούλου, τον Στράτο Διονυσίου και τον Βαγγέλη Περπινιάδη, στου «Θείου» με τον Γεράσιμο Κλουβάτο και τον Μανώλη Αγγελόπουλο, στο «Σου Μου» με τον Ζαμπέτα, τον Μανώλη Καναρίδη και την Ανθούλα Αλιφραγκή και σε πολλά άλλα.
Την ίδια περίοδο συνθέτει επιτυχίες που ερμήνευσαν οι Μαριάννα Χατζοπούλου, Μανώλης Αγγελόπουλος, Μανώλης Καναρίδης, Γιώτα Λύδια, Σεβάς Χανούμ, Στράτος Κύπριος, Πάνος Ιωαννίδης, Μανώλης Μπαρμπεράκης, Πόλυ Πάνου, Έλενα Μάγγελ, Ανθούλα Αλιφραγκή και πολλοί άλλοι. Εκτός από την Columbia, συνεργάζεται και με άλλες εταιρίες, όπως η Odeon Philips, η RCA, και η Music Box.
Τα καλοκαίρια γυρίζει με τις κομπανίες του τα πανηγύρια στην Νάξο, την Πάρο και τη Μύκονο. Σταδιακά αναπτύσσει στενή φιλική σχέση με τον Νίκο Μαστρογιαννόπουλο (Ντιβανά) και την Κούλα Μελισσουργού με την οποία κάνει δύο δίσκους.
Διδάσκει επίσης σε σχολή παραδοσιακής μουσικής, με διευθυντή τον Αριστείδη Μόσχο, ενώ πολλοί από τους μαθητές του (Νίκος Χατζόπουλος, Παντελής Δεσποτίδης κ.ά.) έχουν κατακτήσει σημαντική θέση στο μουσικό στερέωμα. Τη διδασκαλία συνέχισε και στη Νάξο όπου και αποσύρθηκε μετά τη συνταξιοδότησή του.
Εκτός από την κόρη του, Πίτσα, απέκτησε ένα γιο, τον Δημήτρη, που ακολούθησε τα βήματα του στη μουσική. Ακόμα, ευτύχησε να δει πέντε εγγόνια και δύο δισέγγονα. Μετά το θάνατο της γυναίκας του ζει στο Γαλάτσι και συνεχίζει ν’ ασχολείται με τη μεγάλη του αγάπη, τη μουσική.
Τον Σεπτέμβριο του 2009 κυκλοφόρησε μια συλλογή παλαιότερων επιτυχιών του, με τίτλο Και σήμερα κοντά σου, από το Δίκτυο.
