Το συνέδριο της Βιέννης ξεκίνησε την 1η Οκτωβρίου 1814 με βασικό σκοπό να συζητηθεί το μέλλον της Ευρώπης. Στο συνέδριο της Βιέννης, ο Καποδίστριας εστάλη ως το τελευταίο μέλος της Ρωσικής αντιπροσωπείας. Πολύ σύντομα, όμως, διακρίθηκε, με αποτέλεσμα να οριστεί από τον Τσάρο ως αντιπρόσωπος της Ρωσίας στις επίσημες συνεδριάσεις της Επιτροπής των Πέντε. Η Επιτροπή των Πέντε ήταν η πιο επίσημη επιτροπή του συνεδρίου, όπως θα γράψει και ο Τύπος της εποχής. Ο μεγάλος φιλέλληνας Ελβετός, Ιωάννης-Γαβριήλ Ευνάρντ, έγραφε: «Με τη διπλωματική του μεγαλοφυία σύντομα κατέλαβε μιά από τις πιό εξέχουσες θέσεις των πρωταγωνιστών του συνεδρίου της Βιέννης».

Ο συγγραφέας M. Dimitriev, ο οποίος κατά το 1818 ήταν υπάλληλος στο γραφείο του Υπουργού των Εξωτερικών της Ρωσίας Nesselrode, έγραφε: «Και στο Συνέδριο της Βιέννης ... ο Nesselrode θεωρήθηκε από τον Τσάρο ανίκανος και δεν έκανε κανένα βήμα χωρίς τον “θείο”, τον Καποδίστρια». Από το αμέσως προηγούμενο παράθεμα διαπιστώνουμε ότι ο Nesselrode αποκαλούσε τον Καποδίστρια “θείο”.

Ο Γάλλος επιτετραμμένος στην Πετρούπολη De la Musset, μας πληροφορεί: «Τίποτα δεν αποφασίζεται για όλες τις επίσημες διπλωματικές επαφές χωρίς τον Καποδίστρια. Στο πολυτελές σπίτι του, στο υπουργείο, πραγματοποιούνται όλες οι ακροάσεις και οι συνεντεύξεις ...».

Το πιό κραυγαλέο όμως παράδειγμα που μας καταδεικνύει τη διπλωματική ικανότητα του Καποδίστρια ήταν η φράση του ίδιου του Nesselrode (Υπουργού των Εξωτερικών και επικεφαλής της Ρωσικής αντιπροσωπείας της Βιέννης) που έγραψε στη γυναίκα του: «Αν ο Καποδίστριας εγκατέλειπε τη θέση του στο υπουργείο, εγώ ο ίδιος δεν θα παρέμενα σ’ αυτό περισσότερο από μιά στιγμή στην υπηρεσία. Για τον απλό λόγο ότι δεν αισθάνομαι ικανός να διαχειρίζομαι μόνος μου τις εξωτερικές υποθέσεις, χωρίς τις δικές του γνώσεις και προτάσεις!». Ο Τσάρος Αλέξανδρος λοιπόν ανέθεσε στον Καποδίστρια να αντιμετωπίσει τον Υπουργό Εξωτερικών της Αυστρίας Κλέμενς φον Μέτερνιχ «Δεν έχω άλλον άνθρωπο τόσο ικανό, που θα είχε την δύναμη να αναμετρηθεί και να παλέψει στην μάχη με τον Μέτερνιχ, που θα δοθεί στη Βιέννη». Στο συνέδριο οι τέσσερις νικήτριες δυνάμεις (Αγγλία, Αυστρία, Πρωσία, Ρωσία) προσπάθησαν να χωρίσουν την Ευρώπη μοιράζοντας τις κατακτήσεις του Ναπολέοντα. Το διπλωματικό παιχνίδι ήταν πολύ σκληρό με τις συμμαχίες να αλλάζουν μέρα με την ημέρα. Πολιτικά σενάρια και εισηγήσεις αναλύθηκαν επί εννέα μήνες στο συνέδριο της Βιέννης.

Μία από τις σημαντικές αποφάσεις του συνεδρίου – στη διαμόρφωση της οποίας συνέβαλε σημαντικά ο Καποδίστριας – ήταν και αυτή που καθόρισε το πολιτικό σχήμα των Γερμανικών κρατιδίων. Η Γερμανία ήταν μια περιοχή όπου υπήρχαν πάρα πολλά βασίλεια, κράτη, δουκάτα, πόλεις. Στο συνέδριο της Βιέννης ιδρύθηκε μια Γερμανική Συμπολιτεία με απόφαση που υπεγράφη στις 8 Ιουνίου 1815 και συμπληρώθηκε από την τελική Πράξη στις 15 Μαΐου 1820. Ο αριθμός των Γερμανικών κρατών που αποτέλεσαν τη Συμπολιτεία ανερχόταν στα 39. Ο Καποδίστριας τάχθηκε υπέρ της Γερμανικής Συμπολιτείας καταθέτοντας εμπεριστατωμένο υπόμνημα με τον τίτλο «Considerations sur l’ Empire Germanique» και αντέδρασε στις επιδιώξεις της Αυστρίας και της Πρωσίας που ήθελαν την υποταγή του γερμανικού λαού.

Αποφασίσθηκε τέλος ότι: κάθε μέλος θα είναι ανεξάρτητο στις εσωτερικές του υποθέσεις, ο πόλεμος μεταξύ των επιμέρους κρατών θα είναι απαγορευμένος και για να κηρυχθεί πόλεμος από ένα κράτος της Συμπολιτείας σε ένα ξένο κράτος θα είναι απαραίτητη η συγκατάθεση της Συμπολιτείας.

Ο Καποδίστριας, στο συνέδριο της Βιέννης επεδίωξε να αποτρέψει οποιαδήποτε απόφαση που να αφορά τα Επτάνησα, περιμένοντας το συνέδριο του Παρισιού, όπου, όπως πίστευε, τα πράγματα θα ήταν ευνοϊκότερα. Η συνέχεια τον δικαίωσε διότι στο Παρίσι τελικά υπεγράφη η ανεξαρτησία των Ιονίων νήσων υπό την προστασία της Αγγλίας.

Στη Βιέννη ίδρυσε την εταιρεία των Φίλων των Μουσών, η οποία έγινε γνωστή στην Ελλάδα ως η Φιλόμουσος Εταιρεία. Ο ίδιος είπε στον Τσάρο: «Δυνάμεθα παρά ταύτα, Μεγαλειότατε, χωρίς να εξέλθωμεν της γραμμής ήν εχαράξατε, να πράξωμεν κάτι τι δι’ αυτούς (τους Έλληνες). Οι Άγγλοι ίδρυσαν ήδη εν Αθήναις εταιρείαν με τον φαινομενικόν σκοπόν της συλλογής και της διατηρήσεως των αρχαιοτήτων. Ας ακολουθήσωμεν το παράδειγμα τούτο, εφαρμόζοντες αυτό ουχί προκειμένου περί του παρελθόντος, αλλά περί του παρόντος και του μέλλοντος, και παρέχοντες βοήθειαν τινά εις τους πτωχούς Έλληνας νέους τους διψώντας παιδείας».

Η ίδρυση της εταιρείας των Φίλων των Μουσών ήταν ένας από τους πιο έξυπνους διπλωματικούς χειρισμούς του. Χωρίς να προκαλεί άμεσες αντιδράσεις η εταιρεία των Φίλων των Μουσών μπορούσε να διαφωτίζει την κοινή Ευρωπαϊκή γνώμη για τις συνθήκες διαβίωσης του Ελληνικού λαού κάτω από τον οθωμανικό ζυγό. Ανέλαβε την μόρφωση των νέων της Ελλάδος και τη διάδοση της παιδείας και του πνευματικού πολιτισμού στη σκλαβωμένη χώρα και διενήργησε εράνους για να σπουδάζουν οι Έλληνες στα Ευρωπαϊκά Πανεπιστήμια.

Η Φιλόμουσος Εταιρεία είχε πολύ μεγάλη απήχηση. Πρώτος συνδρομητής της ήταν ο Τσάρος Αλέξανδρος ο οποίος έδιδε διακόσια Ολλανδικά Δουκάτα το χρόνο και δεύτερη συνδρομήτρια ακολούθησε η Αυτοκράτειρα, με εκατό δουκάτα. Πολλοί ηγεμόνες, ευγενείς, υπουργοί και διπλωμάτες έσπευσαν να μιμηθούν το παράδειγμα του Τσάρου της Ρωσίας. Ο μοναδικός Αυστριακός που έγινε συνδρομητής ήταν ο ίδιος ο Μέτερνιχ. Όλα τα μέλη της έφεραν «μετ’ ιδιαιτέρας τιμής τον χρυσόν δακτύλιον, τον φέροντα εγχάρακτον το όρνεον της Αθηνάς και τον Κένταυρον».

Ο Καποδίστριας μετέβη στο Παρίσι για το ερχόμενο συνέδριο.