Πώς να τρέξετε τα ανοιχτού βάρους μοντέλα Nemotron 3 σε ένα GPU Droplet

Εισαγωγή

Η NVIDIA ανακοίνωσε τις πιο πρόσφατες προσθήκες στην οικογένεια μοντέλων Nemotron, το Nemotron 3. Υπάρχουν τρία ξεχωριστά μοντέλα στην οικογένεια Nemotron 3 που κυκλοφορούν, τα Nano, Super και Ultra, τα οποία έχουν 30, 49 και 253 δισεκατομμύρια παραμέτρους αντίστοιχα, με μέγιστο μήκος συμφραζομένων 1 εκατομμύριο tokens. Το Nano κυκλοφόρησε τον Δεκέμβριο του 2025, ενώ τα Super και Ultra προγραμματίζεται να κυκλοφορήσουν αργότερα το 2026. Κυκλοφορούν υπό την ανοικτή άδεια μοντέλου της NVIDIA, καθιστώντας τα διαθέσιμα για εμπορική χρήση και τροποποίηση και δίνοντάς σας την ιδιοκτησία και πλήρη έλεγχο πάνω στα παραγόμενα αποτελέσματα. Τόσο τα βάρη όσο και τα δεδομένα εκπαίδευσης είναι ανοιχτά και διαθέσιμα στο Hugging Face. Αυτό το σεμινάριο θα συζητήσει αυτά τα μοντέλα και πώς να αναπτύξετε το διαθέσιμο προς το παρόν Nano σε ένα GPU Droplet του Linux-Console.net.

Κύρια Συμπεράσματα

Η NVIDIA ανακοίνωσε το Nemotron 3, μια νέα προσθήκη στη σειρά μοντέλων Nemotron. Το Nemotron 3 αποτελείται από τρία νέα μοντέλα, Nano (30B), Super (49B) και Ultra (253B).
Από τον Ιανουάριο του 2026, το μικρότερο μοντέλο, Nano, είναι το μόνο που διατίθεται προς χρήση αυτήν τη στιγμή. Τα μοντέλα Super και Ultra αναμένεται να κυκλοφορήσουν αργότερα το 2026.
Όλα τα μοντέλα είναι ανοιχτού βάρους, επιτρέποντας την ελεύθερη πρόσβαση για εμπορική χρήση και τροποποίηση. Οι αρχιτεκτονικές των μοντέλων χρησιμοποιούν νέες βελτιώσεις αποδοτικότητας για να αυξήσουν την απόδοση του μοντέλου.

Επισκοπήσεις Μοντέλων

Τα μοντέλα Nemotron 3 χρησιμοποιούν μια υβριδική αρχιτεκτονική Mixture of Experts Mamba-Transformer που έχει σχεδιαστεί για να αυξήσει την ταχύτητα δημιουργίας tokens, γνωστή και ως throughput. Αυτό σημαίνει ότι τα μοντέλα έχουν λιγότερα επίπεδα αυτο-προσοχής και αντίθετα χρησιμοποιούν επίπεδα Mamba-2 (μοντέλο κατάστασης) και επίπεδα Mixture-of-Experts (MoE) που είναι υπολογιστικά πιο οικονομικά και γρηγορότερα, ειδικά για μεγαλύτερες ακολουθίες εισόδου. Αυτό επιτρέπει στα μοντέλα Nemotron 3 να επεξεργάζονται μεγαλύτερα κείμενα πιο γρήγορα ενώ χρησιμοποιούν λιγότερη μνήμη και πόρους. Μερικά επίπεδα προσοχής περιλαμβάνονται όπου χρειάζεται για να διατηρείται η ακρίβεια όσο το δυνατόν υψηλότερη.

Η NVIDIA περιγράφει κάθε ένα από τα τρία μοντέλα ως βελτιστοποιημένο για διαφορετικές πλατφόρμες. Το Nano προσφέρει οικονομία κόστους για στοχευμένες δραστηριότητες πράκτορα χωρίς να θυσιάζει την ακρίβεια. Το Super προσφέρει υψηλή ακρίβεια για συλλογισμούς πολλαπλών πρακτόρων. Το Ultra μεγιστοποιεί την ακρίβεια του συλλογισμού.

Το Nano είναι το μικρότερο από τα τρία και μπορεί να συγκριθεί σε απόδοση με τα Qwen3-30B και GPT-OSS-20B. Είναι το μόνο από τα τρία που είναι διαθέσιμο μέχρι τον Ιανουάριο του 2026.

Το Nano μπορεί να χρησιμοποιηθεί τόσο για εργασίες που απαιτούν σκέψη όσο και για εργασίες που δεν απαιτούν σκέψη, με την επιλογή να απενεργοποιηθούν οι δυνατότητες λογικής μέσω μιας σημαίας στο πρότυπο συνομιλίας. Οι απαντήσεις θα είναι λιγότερο ακριβείς αν η λογική είναι απενεργοποιημένη στις ρυθμίσεις.

Το Nano είναι μια υβριδική αρχιτεκτονική Mixture-of-Experts (MoE) που αποτελείται από 23 στρώσεις Mamba-2 και MoE και έξι στρώσεις προσοχής, με κάθε στρώση MoE να περιλαμβάνει 128 ειδικούς συν έναν κοινό ειδικό. Πέντε ειδικοί ενεργοποιούνται ανά τοκέν, κάνοντας ενεργές 3,5 δισεκατομμύρια από τις συνολικά 30 δισεκατομμύρια παραμέτρους.

Τanto το Super όσο και το Ultra χρησιμοποιούν LatentMoE και επίπεδα Πολυ-Πρόβλεψης Κεφαλαίων (MTP) που αυξάνουν περαιτέρω την ταχύτητα δημιουργίας κειμένου. Το MTP είναι η ικανότητα να προβλέπονται πολλαπλά κεφάλαια ταυτόχρονα σε μια μόνο προώθηση αντί να προβλέπεται μόνο ένα κεφάλαιο κάθε φορά. Το LatentMoE είναι μια καινοτόμος προσέγγιση στην αντιστοίχιση εμπειρογνωμόνων που συμπιέζει το μέγεθος των δεδομένων εισόδου που πρέπει να επεξεργαστεί κάθε εμπειρογνώμονας, προκειμένου να μειωθεί η ποσότητα υπολογισμού για κάθε κεφάλαιο. Χρησιμοποιούν αυτά τα κέρδη αποδοτικότητας για να αυξήσουν τον αριθμό των εμπειρογνωμόνων που μπορούν να χρησιμοποιηθούν για κάθε κεφάλαιο.

Στην λευκή βίβλο της NVIDIA για την κυκλοφορία, περιγράφουν το Super ως βελτιστοποιημένο για εργασίες όπως η αυτοματοποίηση εισιτηρίων IT, όπου συνεργατικοί πράκτορες διαχειρίζονται εργασίες μεγάλου όγκου. Το Ultra είναι η επιλογή όταν η ακρίβεια και οι επιδόσεις στη λογική είναι καθοριστικής σημασίας.

Βήμα 1 — Δημιουργία ενός GPU Droplet

Για να αναπτύξετε το Nemotron 3 Nano σε ένα GPU Droplet του Linux-Console.net, πρώτα συνδεθείτε στο λογαριασμό σας στο Linux-Console.net και δημιουργήστε ένα GPU Droplet.

Επιλέξτε AI/ML-Ready ως την εικόνα σας και επιλέξτε ένα NVIDIA H100. Προσθέστε ή επιλέξτε ένα SSH Key και δημιουργήστε το Droplet του Linux-Console.net.

Βήμα 2 — Σύνδεση με το GPU Droplet σας

Μόλις δημιουργηθεί το Droplet του Linux-Console.net, συνδέεστε με SSH (Secure Shell) στη διακομιστική σας μονάδα. Μεταβείτε στη γραμμή εντολών σας και εισαγάγετε την παρακάτω εντολή, αντικαθιστώντας την επισημασμένη τιμή your_server_ip με το δημόσιο IPv4 της μονάδας σας. Μπορείτε να βρείτε τη διεύθυνση IP στην ενότητα Λεπτομέρειες Σύνδεσης του Πίνακα Ελέγχου GPU Instance.

ssh root@your_server_ip

Μπορεί να λάβετε ένα μήνυμα που λέει:

The authenticity of host 'your_server_ip (your_server_ip)' can't be established.....Are you sure you want to continue connecting (yes/no/[fingerprint])?

Αν το κάνετε, μπορείτε να πληκτρολογήσετε yes και να πατήσετε ENTER.

Βήμα 3 — Εγκατάσταση του Python και του vLLM

Στη συνέχεια, επιβεβαιώστε ότι βρίσκεστε ακόμα στην περίπτωση Linux και εγκαταστήστε το Python.

sudo apt install python3 python3-pip

Μπορεί να σας ειδοποιήσει ότι θα χρησιμοποιηθεί επιπλέον χώρος και να σας ρωτήσει αν θέλετε να συνεχίσετε. Αν το κάνει, πληκτρολογήστε Y και πατήστε ENTER.

Αν λάβετε ένα μήνυμα «Daemons χρησιμοποιούν παρωχημένες βιβλιοθήκες» που ζητά ποια υπηρεσία να επανεκκινήσετε, μπορείτε να πατήσετε ENTER.

Αφού ολοκληρωθεί η εγκατάσταση του Python, εγκαταστήστε το vLLM.

pip install vllm

Αυτό το πακέτο μπορεί να χρειαστεί λίγο χρόνο για να εγκατασταθεί. Αφού ολοκληρωθεί η εγκατάσταση, κατεβάστε τον προσαρμοσμένο αναλυτή από το Hugging Face.

wget https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16/resolve/main/nano_v3_reasoning_parser.py

Ο προσαρμοσμένος αναλυτής ερμηνεύει τη λογική του Nemotron-3 Nano v3 και τη σήμανση για κλήση εργαλείων, ώστε το vLLM να μπορεί να παρέχει σωστά απαντήσεις και να κατευθύνει τις κλήσεις εργαλείων.

Βήμα 4 — Σερβίρισμα του Μοντέλου Nemotron

Καθορίστε ακριβώς ποιο μοντέλο θέλετε να χρησιμοποιήσετε χρησιμοποιώντας το ID του μοντέλου από το Hugging Face.

vllm serve --model nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 \
 --max-num-seqs 8 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --port 8000 \
  --trust-remote-code \
  --reasoning-parser-plugin nano_v3_reasoning_parser.py \
  --reasoning-parser nano_v3

Το max-num-seqs είναι ο μέγιστος αριθμός εξόδων που μπορούν να επεξεργαστούν ταυτόχρονα. Σε αυτό το παράδειγμα, μπορείτε να επεξεργάζεστε έως και οκτώ αιτήματα μεμονωμένης εξόδου ταυτόχρονα.

Το tensor-parallel-size είναι ο αριθμός των GPU στους οποίους διαμοιράζετε το μοντέλο μέσω παραλληλισμού τανυστών. Το ένα ισοδυναμεί με μία μεμονωμένη GPU. Το max-model-len είναι ο μέγιστος συνολικός αριθμός token ανά αίτημα. Το trust-remote-code είναι απαραίτητο για το προσαρμοσμένο πρότυπο συνομιλίας και τη λογική επεξεργασίας του Nemotron.

Τέλος, οι παράμετροι reasoning-parser-plugin και reasoning-parser φορτώνουν και επιλέγουν τον προσαρμοσμένο αναλυτή λογικής.

Μόλις το μοντέλο φορτωθεί και εξυπηρετείται στην περίπτωσή σας με το vLLM, μπορείτε να πραγματοποιείτε κλήσεις συμπερασμάτων στο endpoint χρησιμοποιώντας Python τοπικά ή από έναν άλλο διακομιστή. Δημιουργήστε ένα αρχείο Python με το όνομα example_vllm_request.py και εκτελέστε τον ακόλουθο κώδικα. Αντικαταστήστε το your_server_ip με τη διεύθυνση IP του GPU Droplet σας.

import requests

url = "http://your_server_ip:8000/v1/completions"
data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000
}

response = requests.post(url, json=data)
message = response.json()['choices'][0]['message']['content']
print(message)

Θα δείτε έξοδο παρόμοια με την ακόλουθη:

The capital of France is **Paris**.

Αν εκτυπώσετε ολόκληρο το αντικείμενο response.json(), μπορείτε να δείτε τα tokens λογικής. Αν θέλετε να το εκτελέσετε με απενεργοποιημένη τη λογική, μπορείτε να προσθέσετε μια παράμετρο chat_template_kwargs στο αντικείμενο δεδομένων παραπάνω.

data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000,
    "chat_template_kwargs": {"enable_thinking": False},
}

Συχνές Ερωτήσεις

Ποιες είναι οι απαιτήσεις υλικού και η μνήμη GPU που χρειάζονται για να τρέξει το Nemotron 3 Nano τοπικά;

Το Nemotron 3 Nano μπορεί να εκτελεστεί σε GPU με τουλάχιστον 60 GB VRAM σε ακρίβεια BF16, όπως μια A100 80 GB ή H100. Μια ποσοτικοποιημένη έκδοση μπορεί να επιτρέψει την εκτέλεσή του σε GPU με λιγότερη μνήμη.

Μπορώ να βελτιώσω περαιτέρω το Nemotron 3 Nano με τα δικά μου δεδομένα, και ποιες είναι οι επιπτώσεις της άδειας χρήσης;

Ναι, τα μοντέλα Nemotron 3 κυκλοφορούν υπό την άδεια ανοιχτού μοντέλου της NVIDIA, η οποία επιτρέπει την εμπορική χρήση, την τροποποίηση και την λεπτομερή προσαρμογή. Διατηρείτε πλήρη κυριότητα οποιωνδήποτε παραγόμενων αποτελεσμάτων και μπορείτε να προσαρμόσετε το μοντέλο σε προσαρμοσμένα σύνολα δεδομένων για τις συγκεκριμένες χρήσεις σας.

Ποια είναι η διαφορά ανάμεσα στην αρχιτεκτονική Mixture-of-Experts (MoE) και τα παραδοσιακά μοντέλα μετασχηματιστών όσον αφορά το κόστος συμπεράσματος;

Η αρχιτεκτονική MoE ενεργοποιεί μόνο πέντε από τους 128 ειδικούς ανά σύμβολο (3,5 δισεκατομμύρια από τα 30 δισεκατομμύρια παραμέτρους), καθιστώντας την εκτίμηση πολύ πιο αποδοτική σε σχέση με τα παραδοσιακά πυκνά μοντέλα.

Έχει κυκλοφορήσει η NVIDIA άλλα LLM στο παρελθόν;

Ναι, η NVIDIA έχει κυκλοφορήσει μεγάλο αριθμό ανοιχτών μοντέλων και συνόλων δεδομένων, συμπεριλαμβανομένων άλλων εκδόσεων του μοντέλου Nemotron, του Megatron, μοντέλων ASR και άλλων.

Συμπέρασμα

Η οικογένεια Nemotron 3 είναι ένα σχετικά αποτελεσματικό και αποδοτικό ανοιχτό μοντέλο με γρήγορη επεξεργασία και ακριβή αποτελέσματα. Η μικρότερη έκδοση, Nano, είναι διαθέσιμη από τον Ιανουάριο του 2026, και οι άλλες δύο μεγαλύτερες εκδόσεις θα γίνουν διαθέσιμες τους επόμενους μήνες.

Σε αυτό το σεμινάριο, εγκαταστήσατε το Nemotron 3 Nano σε ένα GPU Droplet του Linux-Console.net. Στη συνέχεια, μπορείτε να δημιουργήσετε μια ροή εργασίας που το χρησιμοποιεί για οποιεσδήποτε εφαρμογές ευαίσθητες σε δεδομένα που απαιτούν υψηλό επίπεδο ιδιωτικότητας και ελέγχου.

Ευχαριστούμε που μάθατε με την Κοινότητα Linux-Console.net.