Γεννήθηκε περίπου 60 χρόνια μετά τη γέννηση του Χριστού. Στο 20ό έτος της ηλικίας του έγινε χριστιανός. Όπως γράφει ο μαθητής του, Ειρηναίος, ο Πολύκαρπος ήταν στολισμένος με μεγάλη σωφροσύνη, αυστηρότητα ηθών και ολόψυχη αφοσίωση στη διδασκαλία του θείου λόγου. Ήταν, κατά τον ιερό υμνογράφο, «καὶ τρόπων μέτοχος καὶ θρόνων διάδοχος» των αγίων Αποστόλων. Δηλαδή, υπήρξε διάδοχος των Αποστόλων στο επισκοπικό αξίωμα αλλά και μέτοχος του τρόπου της ζωής τους. Είχε τον ίδιο τρόπο ζωής με τους αγίους Αποστόλους.

Ήταν μαθητής του ευαγγελιστή Ιωάννη μαζί με τον θεοφόρο Ιγνάτιο. Οι αρετές του και η γενναιοψυχία του τον έκαναν πολύ αγαπητό στον ευαγγελιστή Ιωάννη. Διετέλεσε επίσκοπος Σμύρνης, αξίωμα που ανέλαβε με τρόπο θαυμαστό: ο προηγούμενος επίσκοπος, ο μακαριστός Βουκόλος, προαισθανόμενος το τέλος του, ζήτησε να αναλάβει το αξίωμά του ο Πολύκαρπος. Στο αξίωμα αυτό επιτέλεσε τα καθήκοντά του με ζήλο καθαρά αποστολικό. Αναδείχτηκε ο διδάσκαλος, ο πατέρας, ο ποιμένας, ο φρουρός. Με την προσευχή του, πριν γίνει επίσκοπος, έκανε θαύματα και όλοι τον αποκαλούσαν διδάσκαλο της Ασίας και πατέρα των χριστιανών. Σταμάτησε την ορμή φωτιάς που κατέκαιγε τα πάντα και έθρεψε κόσμο πεινασμένο με καρπούς που πολλαπλασίασε. Επίσης, με τη δύναμη της προσευχής του έστειλε βροχή που αναζωογόνησε την άγονη γη.

Όταν άρχισαν οι διωγμοί κατά των χριστιανών επί αυτοκράτορα Αντωνίου Πίου, ο ανθύπατος της Μικράς Ασίας, Στάτιος Κοδράτος, μετά από μανιώδη απαίτηση του ειδωλολατρικού όχλου συνέλαβε τον Πολύκαρπο. Ο ανθύπατος, σεβόμενος τη φήμη και το γήρας του Αγίου, θέλησε να τον ελευθερώσει, αφού προηγουμένως, έστω και τυπικά, βλασφημούσε δημόσια το όνομα του Χριστού. Τότε, ο άγιος Πολύκαρπος έδωσε την καταπληκτική εκείνη απάντηση που έμεινε στην ιστορία: «ὀγδοήκοντα καὶ ἕξ ἔτη δουλεύω Αὐτῷ καὶ οὐδέν με ἠδίκησε. Καὶ πῶς δύναμαι βλασφημῆσαι τὸν βασιλέα μου, τὸν σώσαντά με;» Δηλαδή: «Επί 86 χρόνια Τον υπηρετώ χωρίς καθόλου να με αδικήσει. Και πώς μπορώ τώρα να βλασφημήσω τον Βασιλέα και Σωτήρα μου;» Αμέσως τότε οι ειδωλολάτρες ετοίμασαν φωτιά, για να καεί ζωντανός. Ο Άγιος μπήκε μόνος του στη φωτιά. Αλλά η φωτιά τον άφησε ανέγγιχτο! Τότε, ένας δήμιος τον χτύπησε με το ξίφος του και τον θανάτωσε.

Έτσι, στις 23 Φεβρουαρίου του 156 μ.Χ. ο μέγας αθλητής της πίστεως τελειώνει τη ζωή του. Αυτό που πραγματικά εντυπωσιάζει τον μελετητή του βίου του, εκτός από αυτό καθαυτό το μαρτύριό του, είναι η αληθινή αγάπη του για το ποίμνιο που του εμπιστεύτηκε ο Θεός, η πνευματική του αρχοντιά, καθώς και το φιλότιμό του. Στο πρόσωπό του, βέβαια, εφαρμόστηκε πλήρως ο λόγος του Θεού που αναφέρεται στην Αποκάλυψη: «Μηδὲν φοβοῦ ἅ μέλλεις παθεῖν… Γίνου πιστὸς ἄχρι θανάτου καὶ δώσω σοι τὸν στέφανον τῆς ζωῆς». Δηλαδή, μη φοβάσαι γι’ αυτά που πρόκειται να πάθεις. Φρόντιζε να είσαι πιστός μέχρι θανάτου κι εγώ θα σου δώσω το στεφάνι της αιώνιας ζωής.