LM Studio è un'app desktop cross-platform progettata per semplificare l'esplorazione e l'utilizzo di modelli linguistici di grandi dimensioni (LLM) direttamente sul proprio computer. Questa potente applicazione open source offre agli utenti un'interfaccia utente intuitiva per sperimentare e configurare modelli LLM, offrendo un'esperienza di utilizzo fluida e potente.
Funzionalità Chiave di LM Studio
LM Studio consente agli utenti di scaricare e gestire facilmente qualsiasi modello compatibile con ggml da Hugging Face direttamente dall’interno dell’app. Questo offre agli utenti un accesso immediato a una vasta gamma di modelli LLM per soddisfare le loro esigenze specifiche. Grazie all’interfaccia utente intuitiva rende l’approccio ai modelli linguistici avanzati accessibile anche a coloro che non hanno una vasta esperienza tecnica.
LM Studio offre la possibilità di applicare configurazioni al modello che consentono di personalizzare le impostazioni per ottenere risultati ottimali. Ad esempio è possibile impostare opzioni per regolare parametri come la temperatura della generazione (grado di variabilità delle risposte) e la lunghezza massima del testo prodotto.
Un’altro vantaggio non da poco è che LM Studio è un software open source, il che significa che gli utenti possono usarlo gratuitamente.
Come usare LM Studio?
LM Studio è compatibile con tutti i sistemi operativi ed è possibile scaricare la versione adatta alle proprie esigenze dal sito ufficiale al seguente link: https://lmstudio.ai/.
Una volta installato ed avviato ci troveremo di fronte alla home page dove vengono presentate alcune delle ultime novità nel campo degli LLM ed è possibile scaricare un modello per iniziare a sperimentare lo strumento. Se volete provare un modello specifico che non è presente in home page basta accedere alla funzionalità di ricerca cliccando sulla lente d’ingrandimento che si trova nel menù laterale e cercare per nome del modello.
Chattare con l’AI
Per il nostro esempio abbiamo deciso di usare il modello Google’s Gemma 2B Instruct che è abbastanza leggero (2,67 GB) e può girare tranquillamente su tutti i dispositivi. Se non riuscite a trovarlo direttamente nella home potete cercarlo filtrando per questa stringa: “gemma-2b-it-q8_0.gguf”.
Accedendo alla funzionalità “My models” dal menù laterale sarà possibile verificare il completamento del download:
A questo punto è possibile provare a chattare con l’AI andando sulla scheda “AI Chat” e selezionando il modello che abbiamo appena scaricato.
Per fare una prova ho impostato il seguente system message:
You are an assistant providing support on a computer science blog that covers topics related to artificial intelligence and LLMs. E provando a chiedere all’AI “Hi, what is this blog about?” ho ricevuto la seguente risposta:
Usare l’LM Studio Local Server per invocare REST API
Un’altra funzionalità molto interessante di LM Studio è la sua capacità di esporre il modello mediante REST API in maniera molto simile a quanto abbiamo già fatto usando Ollama in un precedente articolo.
Per usare questa funzionalità è sufficiente andare nella scheda “Local Server” e cliccare sul testo “Start Server”:
E’ possibile replicare l’esempio precedente invocando l’API REST:
curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "lmstudio-ai/gemma-2b-it-GGUF",
"messages": [
{ "role": "system", "content": "You are an assistant providing support on a computer science blog that covers topics related to artificial intelligence and LLMs." },
{ "role": "user", "content": "Hi, what is this blog about?" }
],
"temperature": 0.7,
"max_tokens": -1,
"stream": false
}'L’output conterrà il messaggio di risposta e avrà il seguente formato:
{
"id": "chatcmpl-dd63vxfsxw70ys9v5rsrr0i",
"object": "chat.completion",
"created": 1715527092,
"model": "lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q8_0.gguf",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "This blog is about everything related to Artificial Intelligence and LLMs. We cover the latest research, trends, and applications of these powerful technologies in diverse areas such as machine learning, natural language processing, computer vision, and robotics."
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 46,
"completion_tokens": 45,
"total_tokens": 91
}
}In conclusione, LM Studio rappresenta uno strumento potente e versatile per esplorare e utilizzare modelli linguistici di grandi dimensioni direttamente sul proprio computer. Se l’argomento vi interessa, vi invito a continuare a leggere gli articoli correlati.