Οπτικές μονάδες 400G σε σύγχρονα δίκτυα

 

The Form Factor Wars Nobody Won

 

Το QSFP-Το DD και το OSFP προέκυψαν από τη διαδικασία προτύπων σαν δύο αδέρφια που δεν μπορούσαν να συμφωνήσουν σε τίποτα εκτός από το ότι και οι δύο ήθελαν 400G. Η βιομηχανία χρειαζόταν οκτώ ηλεκτρικές λωρίδες στα 50 Gbps η καθεμία και δύο διαφορετικές κοινοπραξίες αποφάσισαν να λύσουν αυτό το πρόβλημα με δύο διαφορετικούς τρόπους.

Το QSFP-DD κέρδισε το όρισμα συμβατότητας. Ταιριάζει σε υπάρχοντα κλουβιά QSFP28 εάν στραβίζετε αρκετά δυνατά και δεν σας πειράζει η δεύτερη σειρά καρφίτσες. Η συμβατότητα προς τα πίσω έχει σημασία όταν έχετε δεκάδες χιλιάδες αναπτυγμένες θύρες και έναν Οικονομικό Διευθυντή που θέτει εύστοχες ερωτήσεις σχετικά με τα λανθάνοντα περιουσιακά στοιχεία.

Ο ΟΣΦΠ κέρδισε το θερμικό επιχείρημα. Το ελαφρώς μεγαλύτερο περίβλημα και η ενσωματωμένη ψήκτρα σημαίνουν ότι μπορείτε πραγματικά να διαλύσετε τα 15-20 watt που αντλούν αυτές οι μονάδες χωρίς να μαγειρέψετε παρακείμενες θύρες. Έχω δει κάρτες γραμμής όπου οι γωνιακές θύρες QSFP-DD λειτουργούν σταθερά κατά 8 μοίρες πιο ζεστές από τις μεσαίες, επειδή ο σχεδιασμός της ροής αέρα υποθέτει φακέλους ισχύος 100G.

Κανένας από τους δύο δεν κέρδισε πραγματικά. Οι περισσότεροι υπερκλιμακωτές έκαναν QSFP-DD για την απλότητα του αποθέματος. Οι περισσότερες αναπτύξεις τηλεπικοινωνιών έγιναν OSFP επειδή οι συνεκτικές τους μονάδες χρειάζονταν το θερμικό χώρο. Όλοι οι άλλοι διάλεξαν ό,τι απέστειλε ο πωλητής διακόπτη τους και προχώρησαν.

Η παραλλαγή QSFP112 αξίζει να αναφερθεί γιατί μπερδεύει τους πάντες. Τέσσερις λωρίδες στα 100G η καθεμία-το ίδιο σύνολο 400G, λιγότερες λωρίδες, νεότερα SerDes. Σημασία έχει για τη συνδεσιμότητα NIC όπου θέλετε συνδέσεις διακομιστή-σε-TOR χωρίς την πολυπλοκότητα του κιβωτίου ταχυτήτων DSP. Είναι λιγότερο σημαντικό από ό,τι ισχυρίζονται οι πωλητές αλλού.

 

Το PAM4 άλλαξε τα πάντα (και έσπασε μερικά πράγματα)

 

Να τι δεν εξηγεί κανείς επαρκώς όταν σας πουλά σε 400G: η σηματοδότηση PAM4 ανταλλάσσει την ασυλία θορύβου για αποδοτικότητα εύρους ζώνης και αυτή η ανταλλαγή δεν είναι δωρεάν.

Η κωδικοποίηση NRZ χρησιμοποιούσε δύο επίπεδα σήματος. Υψηλά ή χαμηλά. Ένα ή μηδέν. Ο δέκτης σας χρειαζόταν απλώς να κάνει διάκριση μεταξύ αυτών των δύο καταστάσεων και το διάγραμμα ματιών σας έδωσε άνετα περιθώρια. Το PAM4 χρησιμοποιεί τέσσερα επίπεδα-00, 01, 10, 11-που σημαίνει ότι ο δέκτης σας πρέπει τώρα να διακρίνει μεταξύ τριών διασταυρώσεων κατωφλίου με το ένα τρίτο του διαχωρισμού τάσης. Η θεωρητική ποινή SNR των 9,54dB δεν είναι καθόλου θεωρητική. Εμφανίζεται στους μετρητές BER πριν από το FEC κάθε μέρα.

Το DSP μέσα σε μια μονάδα 400G κάνει ηρωική δουλειά αντισταθμίζοντας αυτό. Ροή-εξισορρόπηση προς τα εμπρός, εξισορρόπηση σχολίων απόφασης, ανάκτηση ρολογιού και δεδομένων-όλα λειτουργούν στα 53,125 GBaud ανά λωρίδα. Όταν λειτουργεί, είναι αόρατο. Όταν δεν λειτουργεί, λαμβάνετε εκρήξεις διορθώσιμων σφαλμάτων που επισημαίνονται από περιστασιακά μη διορθωμένα, και καλή τύχη να ανακαλύψετε εάν το πρόβλημα είναι η μονάδα σας, η ίνα σας, ο κεντρικός υπολογιστής σας ή η κοσμική ακτινοβολία υποβάθρου.

 

 

Παραλλαγές μήκους κύματος: Περισσότερα από απλή προσέγγιση

 

Οι προδιαγραφές προσέγγισης λένε μόνο ένα μέρος της ιστορίας.

Το 400G-SR8 χρησιμοποιεί VCSEL 850nm σε οκτώ παράλληλες ίνες, στοχεύοντας 100 μέτρα πάνω από το OM4. Είναι φτηνό. Είναι multimode. Απαιτεί υποδοχή MPO-16 με οκτώ ίνες TX και οκτώ RX. Μέσα σε ένα ράφι ή ανάμεσα σε γειτονικά ράφια, αυτό λειτουργεί καλά. Τη στιγμή που κάποιος ρωτά να το τρέξει "λίγο παραπέρα", υπενθύμισέ του ότι η διασπορά στα 850nm δεν διαπραγματεύεται.

Το 400G-DR4 λειτουργεί στα 1310 nm σε τέσσερις παράλληλες ίνες μονής-λειτουργίας, ονομαστικής απόστασης 500 μέτρων. Η υποδοχή MPO-12 χρησιμοποιεί τις εξωτερικές οκτώ ίνες και αφήνει τέσσερις αχρησιμοποίητες-ένα γεγονός που προκαλεί σύγχυση στους εγκαταστάτες καλωδίων περίπου μία φορά ανά ανάπτυξη. Το DR4 έχει γίνει το εργαλείο για τη συνδεσιμότητα με φύλλα{12}}στην σπονδυλική στήλη σε μονάδες μονής λειτουργίας, επειδή τα 500 μέτρα καλύπτουν τις περισσότερες γεωμετρίες κέντρων δεδομένων με ελεύθερο χώρο.

Το 400G-FR4 χρησιμοποιεί μήκη κύματος CWDM4 (1271, 1291, 1311, 1331 nm) πολυπλεγμένα σε ένα ζεύγος ινών μέσω διπλής όψης LC. Φτάνουν δύο χιλιόμετρα. Αυτό είναι όπου το 400G αρχίζει να αισθάνεται οικονομικό για τις διασυνδέσεις της πανεπιστημιούπολης, επειδή δεν τραβάτε οκτώ{11}}κορμούς MPO ινών μεταξύ των κτιρίων.

Το 400G-LR4 επεκτείνει την ίδια προσέγγιση CWDM4 σε 10 χιλιόμετρα με μεγαλύτερη ισχύ εκτόξευσης και καλύτερους δέκτες. Το άλμα τιμών από FR4 σε LR4 εξακολουθεί να εκπλήσσει τα τμήματα προμηθειών που δεν έχουν ενημερώσει το νοητικό μοντέλο τους από την τιμολόγηση 100G-LR4.

 

Ο συνεκτικός ελέφαντας

 

Το 400G-Το ZR αξίζει τη δική του ενότητα, επειδή αντιπροσωπεύει μια ριζικά διαφορετική τεχνολογία με την ίδια μορφή.

Όλα όσα έχω περιγράψει μέχρι στιγμής χρησιμοποιούν οπτικά-άμεσης ανίχνευσης. Το φως μπαίνει, η φωτοδίοδος το μετατρέπει, το DSP το καθαρίζει. Τα συνεκτικά οπτικά κωδικοποιούν πληροφορίες τόσο σε πλάτος όσο και σε φάση σε δύο πολώσεις ταυτόχρονα και στη συνέχεια χρησιμοποιούν έναν τοπικό ταλαντωτή και εξελιγμένη επεξεργασία ψηφιακού σήματος για να ανακτήσουν τα πάντα στον δέκτη. Το αποτέλεσμα: 400 Gbps πάνω από 120+ χιλιόμετρα μη ενισχυμένης ίνας σε μια συνδεόμενη μονάδα.

Το πρότυπο OIF 400ZR καθορίζει τη διαμόρφωση 16QAM στα 60 GBaud με διπλή πόλωση. Το ενωμένο FEC (μαλακό-εσωτερικό Hamming απόφασης, σκληρή-εξωτερική σκάλα απόφασης) παρέχει περίπου 10,8 dB καθαρού κέρδους κωδικοποίησης. Το όλο θέμα αντλεί 15-20 watt και παράγει θερμότητα που θα έκανε μια μονάδα QSFP-DD να κλαίει.

Έχω δει μονάδες ZR να είναι εγκατεστημένες σε διακόπτες που δεν έχουν σχεδιαστεί για αυτό το θερμικό φορτίο. Το πλαίσιο του διακόπτη ανέφερε κανονικές θερμοκρασίες επειδή οι αισθητήρες εισαγωγής του μέτρησαν τον ψυχρό αέρα. Η μονάδα ανέφερε 73 μοίρες επειδή βρισκόταν ανάμεσα σε δύο άλλες μονάδες ZR με ανεπαρκή ροή αέρα. Ο σύνδεσμος λειτούργησε-μετά βίας-με αυξημένες διορθώσεις FEC που κανείς δεν παρατήρησε έως ότου το προ-FEC BER υπερέβη το όριο και τα πακέτα άρχισαν να πέφτουν.

Οι παραλλαγές ZR+ και MZR ωθούν την πρόσβαση ακόμη περισσότερο με το κόστος της διαλειτουργικότητας. Οι ειδικές βελτιώσεις του προμηθευτή-για την εκκίνηση της ισχύος, της ευαισθησίας του δέκτη και των αλγορίθμων FEC μπορούν να επεκτείνουν τις συνδέσεις πέραν των 400 χιλιομέτρων, αλλά αγοράζετε μια λύση αντί για ένα εμπόρευμα.

 

 

Η ερώτηση του τρίτου-μέρους

 

Έχω κάνει αυτή τη συζήτηση περίπου εξακόσιες φορές.

"Μπορούμε να χρησιμοποιήσουμε οπτικά 400G τρίτων-;"

Τεχνικά ναι. Οι προδιαγραφές MSA υπάρχουν ακριβώς για να επιτρέπουν τη διαλειτουργικότητα πολλών-προμηθευτών. Ένα συμβατό QSFP-DD από τον κατασκευαστή X θα πρέπει να συμπεριφέρεται πανομοιότυπα με αυτό του κατασκευαστή Y. Τα πρότυπα IEEE ορίζουν τις οπτικές και ηλεκτρικές παραμέτρους. Το CMIS (Common Management Interface Specification) τυποποιεί τον τρόπο με τον οποίο ο κεντρικός υπολογιστής συνομιλεί με τη λειτουργική μονάδα.

Πρακτικά, εξαρτάται.

Οι μηχανισμοί ελέγχου ταυτότητας της Cisco έχουν εξελιχθεί από την ωμή προσέγγιση "σφάλμα-απενεργοποίησης της θύρας" παλαιότερων πλατφορμών σε πιο εξελιγμένη επαλήθευση προμηθευτή που καταγράφει τις προειδοποιήσεις αλλά δεν απενεργοποιεί απαραίτητα τη λειτουργικότητα. Η εντολή πομποδέκτη που δεν υποστηρίζεται{2}}παραμένει η καταπακτή διαφυγής. Το Arista τείνει να είναι πιο ανεκτικό, αλλά θα αρνηθεί να υποστηρίξει ζητήματα που μπορεί να προέρχονται από λειτουργικές μονάδες τρίτων-. Η στάση του Juniper ποικίλλει ανάλογα με την πλατφόρμα και την έκδοση λογισμικού με τρόπους που απαιτούν τη διαβούλευση με τους πίνακες συμβατότητάς τους.

Τρέχω-οπτικά τρίτων σε εργαστηριακά περιβάλλοντα χωρίς δισταγμό. Για διαδρομές παραγωγής που μεταφέρουν κίνηση εσόδων στις 2 π.μ. όταν κάτι αποτυγχάνει; Θέλω να μπορώ να καλέσω το TAC και να τους βάλω να βοηθήσουν στην πραγματικότητα αντί να εκτραπούν αμέσως για να "αντικατασταθούν με υποστηριζόμενους πομποδέκτες".

Τα μαθηματικά κόστους αλλάζουν αυτόν τον υπολογισμό για τους υπερκλιμακωτές που αγοράζουν μονάδες κατά δεκάδες χιλιάδες και απασχολούν μηχανικούς οπτικών που μπορούν να χαρακτηρίσουν και να πληρούν τις προϋποθέσεις για τους προμηθευτές ανεξάρτητα. Είναι διαφορετικά μαθηματικά για επιχειρήσεις που αγοράζουν εκατοντάδες ενότητες μέσω καναλιών διανομής με περιορισμένους τεχνικούς πόρους.

 

Θερμική πραγματικότητα

 

Μια μονάδα 400G QSFP-DD αντλεί κάπου μεταξύ 10 και 15 watt ανάλογα με την παραλλαγή και τον προμηθευτή. Μια συνεκτική μονάδα ZR 400G αντλεί 15-20 watt. Μια μονάδα 800G QSFP-DD800-που έχει ήδη αναπτυχθεί σε συμπλέγματα AI - αντλεί ισχύ 18-25 Watt.

Τοποθετήστε 64 από αυτά σε έναν διακόπτη 2RU και έχετε 640 watt μόνο από τα οπτικά πριν λάβετε υπόψη τον διακόπτη ASIC, τη μνήμη, τους ανεμιστήρες και τα τροφοδοτικά. Το πρόβλημα του θερμικού σχεδιασμού έχει μετακινηθεί από το "επαρκές" στο "κρίσιμο" σε μία μόνο γενιά.

Παρακολούθησα μια κάμερα θερμικής απεικόνισης να σκουπίζει έναν πλήρως-φορτωμένο διακόπτη σπονδυλικής στήλης 400G κατά τη διάρκεια μιας δοκιμασίας πιστοποίησης. Οι πιο καυτές μονάδες δεν ήταν αυτές που θα περίμενες. Οι γωνιακές θέσεις, κατά τον άνεμο της εξάτμισης ASIC, έτρεχαν πιο ζεστές από τις κεντρικές μονάδες πλάκας-που έβγαζαν καθαρό αέρα. Οι τυπικές μετρήσεις θερμοκρασίας DDM έδειξαν μια κατανομή 17 μοιρών στις θύρες που υποτίθεται ότι ήταν πανομοιότυπες.

Οι προδιαγραφές της μονάδας υπόσχονται λειτουργία από 0 μοίρες έως 70 μοίρες, αλλά οι καμπύλες απόδοσης δεν φαίνονται ίδιες στις 70 μοίρες όπως στις 25 μοίρες. Το ρεύμα κατωφλίου λέιζερ αυξάνεται. Η απόδοση της κλίσης μειώνεται. Μετατόπιση μήκους κύματος-και για συστήματα CWDM4 και DWDM, μετατόπιση μήκους κύματος σημαίνει διαφωνία με παρακείμενα κανάλια.

Τα αερόψυκτα συστήματα πλησιάζουν στα όριά τους. Η υγρή ψύξη για διακόπτες παραμένει εξωτική αλλά ολοένα και πιο απαραίτητη για συμπλέγματα AI/ML όπου οι GPU και τα οπτικά ανταγωνίζονται για τον ίδιο θερμικό προϋπολογισμό.

 

 

Δοκιμάζοντας Πραγματικότητες

 

Τα πρότυπα IEEE ορίζουν σημεία συμμόρφωσης. Δεν εγγυώνται ότι ο συγκεκριμένος σύνδεσμός σας θα λειτουργήσει.

Το TDECQ (Transmitter and Dispersion Eye Closure Quaternary) είναι το ισοδύναμο PAM4 του OMA (Optical Modulation Amplitude) αλλά πιο περίπλοκο. Προσπαθεί να χαρακτηρίσει την ποιότητα του πομπού με τρόπο που να προβλέπει την απόδοση του δέκτη. Η μέτρηση απαιτεί δέκτες αναφοράς και μαθηματικούς μετασχηματισμούς που διαφέρουν μεταξύ των προμηθευτών εξοπλισμού δοκιμής με τρόπους που προκαλούν ατελείωτες συζητήσεις στην επιτροπή προτύπων.

Οι δοκιμές Pre-FEC BER έχουν μεγαλύτερη σημασία από ποτέ. Το "δακτυλικό αποτύπωμα" των σφαλμάτων bit σας-τυχαία έναντι ριπής, ομοιόμορφα κατανεμημένα έναντι συγκεντρωμένων σε συγκεκριμένα σύμβολα PAM4-καθορίζει εάν το FEC σας μπορεί πραγματικά να τα διορθώσει. Τα αληθινά τυχαία σφάλματα παίζουν καλά με τους κωδικούς Reed-Solomon. Σφάλματα ριπής από ζητήματα ανάκτησης ρολογιού ή κακή συμπεριφορά του DSP μπορεί να κατακλύσουν το FEC ακόμη και όταν το ακατέργαστο BER φαίνεται αποδεκτό.

Έμαθα να απαιτώ προ-στατιστικά FEC από κάθε σύνδεσμο 400G, όχι μόνο από ανάρτηση-FEC. Ένας σύνδεσμος που δείχνει 0,00 ανάρτηση-FEC BER ενώ εκτελείται το pre-FEC BER σε 2×10⁻4 φαίνεται υπέροχος μέχρι να συνειδητοποιήσετε ότι δεν υπάρχει σχεδόν κανένα περιθώριο. Προσθέστε έναν ελαφρώς βρώμικο σύνδεσμο ή ένα παλιό λέιζερ και αυτός ο σύνδεσμος θα ανατραπεί στον γκρεμό FEC χωρίς προειδοποίηση.

 

Μόλυνση συνδετήρα

 

Στα 400G το πρόβλημα μόλυνσης γίνεται οξύ. Το διαμορφωμένο μάτι έχει μικρότερο περιθώριο. Τα σωματίδια που θα ήταν αόρατα σε χαμηλότερες ταχύτητες τώρα εξασθενούν αρκετά ώστε να είναι ύλη.

Οι πυρήνες ινών μονής-λειτουργίας έχουν πλάτος 9 μικρόμετρα. Μια υποδοχή MTP/MPO-12 φέρει οκτώ μονοπάτια ενεργών ινών (τέσσερις TX, τέσσερις RX) συν τέσσερις αχρησιμοποίητες. Κάθε κύκλος ζευγαρώματος κινδυνεύει να μολυνθεί. Κάθε μολυσμένη τελική όψη κινδυνεύει με απώλεια εισαγωγής που πλήττει τον προϋπολογισμό του συνδέσμου σας.

Η απαιτούμενη πειθαρχία καθαρισμού δεν είναι-διαπραγματεύσιμη αλλά σπάνια τηρείται με συνέπεια. Καθαριστικά με ένα κλικ, στεγνά μαντηλάκια με στατικές ανησυχίες, υγρός καθαρισμός με ισοπροπυλική αλκοόλη που πρέπει να στεγνώσει αμέσως αντί να αφεθεί να εξατμιστεί-κάθε μέθοδος έχει υποστηρικτές και επικριτές. Αυτό στο οποίο συμφωνούν όλοι: επιθεωρήστε με ένα οπτικό πεδίο πριν από τη σύνδεση και εάν είναι βρώμικο, καθαρίστε το και ελέγξτε ξανά.

Παρακολούθησα μια ομάδα ανάπτυξης να καίει ένα ολόκληρο απόγευμα αντιμετωπίζοντας ένα διακοπτόμενο σύνδεσμο 400G-DR4. Πολλαπλές εναλλαγές μονάδων. Κριτικές διαμόρφωσης. Τελικά έσπασε το πεδίο επιθεώρησης και βρήκε δομικά υπολείμματα στον προσαρμογέα διαφραγμάτων που κανείς δεν είχε σκεφτεί να ελέγξει. Είκοσι δευτερόλεπτα με ένα εργαλείο καθαρισμού διόρθωσε αυτό που δεν μπόρεσε να επιλύσει τέσσερις ώρες.

 

 

Τι σημαίνει αυτό για τον προγραμματισμό

 

Εάν αναπτύσσετε νέο ύφασμα datacenter σήμερα, το 400G είναι η βάση για το στρώμα της σπονδυλικής στήλης και ολοένα και περισσότερο για τις ανερχόμενες ζεύξεις των φύλλων-. Το κόστος ανά bit έχει πέσει στο σημείο όπου η έξοδος 4×100G από μια μονάδα 400G είναι συχνά φθηνότερη από τις μεμονωμένες μονάδες 100G. DR4 για οτιδήποτε πάνω από 30 μέτρα μέσα σε ένα κτίριο. FR4 για διασυνδέσεις πανεπιστημιούπολης. LR4 ή ZR εάν φτάνετε μεταξύ των τοποθεσιών.

Εάν είστε μια επιχείρηση που σκέφτεται την πρώτη σας ανάπτυξη 400G, οι πλατφόρμες μεταγωγής έχουν ωριμάσει, η αλυσίδα εφοδιασμού της μονάδας έχει σταθεροποιηθεί και η τιμολόγηση δεν απαιτεί πλέον -απενεργοποίηση εκτελεστικού σε κάθε παραγγελία αγοράς. Ξεκινήστε με μια-ανανέωση φύλλων, αποδείξτε ότι η καλωδιακή υποδομή σας μπορεί να αντιμετωπίσει την αυστηρότερη ανοχή μόλυνσης και κατανοήστε ότι τα εργαλεία διαχείρισής σας πρέπει να αρχίσουν να συλλέγουν στατιστικά στοιχεία FEC προτού τα χρειάζεστε πραγματικά.

Εάν είστε υπερκλίμακας και διαβάζετε αυτό, έχετε ήδη ξεπεράσει τα 400 G για συμπλέγματα GPU και αναρωτιέστε πώς θα αναπτυχθεί πραγματικά το 1.6T. Καλή τύχη με τα θερμικά προβλήματα. Θα διαβάσω τα χαρτιά σου σε δύο χρόνια.

Οι ίδιες οι μονάδες έχουν γίνει εξαιρετικά αξιόπιστες. Τα προβλήματα ζουν παντού αλλού: μολυσμένες υποδοχές, εσφαλμένες ρυθμίσεις λειτουργίας FEC, θερμικά σχέδια που υποθέτουν τα χθεσινά περιβλήματα ισχύος και υποστήριξη οργανισμών που εξακολουθούν να μαθαίνουν πώς να αντιμετωπίζουν προβλήματα ακεραιότητας σήματος PAM4. Οι απίθανες βασικές αρχές-καθαρίζουν τις συνδέσεις σας, μετρούν τις θερμοκρασίες σας, κατανοούν τον προϋπολογισμό FEC-που έχουν μεγαλύτερη σημασία από ό,τι θα έχουν ποτέ οι συζητήσεις για το φύλλο προδιαγραφών.