Ollama over https cannot generate structured response

[obaume]

Hi,

I am trying to chat with Ollama using llama3.2-vision model. I have a model for my structured output. When using a docker container locally with ollama it works fine but once i try to connect to my Ollama instance over https i get the error:

NeuronAI\Exceptions\AgentException

The LLM wasn't able to generate a structured response for the class App\Models\Cheque.

When i tried to connect to my local docker through https i got the same issue.

Has this happened to anyone else?

here are my classes for context :

class Cheque {
    #[SchemaProperty(description:'NOM et prénom de l\'employeur', required:true)]
    public string $employer;

    #[SchemaProperty(description:'numéro de contrat', required:true)]
    public string $contract_nb;

    #[SchemaProperty(description:'NOM et prénom de l\'employé', required:true)]
    public string $employee;

    #[SchemaProperty(description:'nombre d\'heures', required:true)]
    public int $hours;

    #[SchemaProperty(description:'salaire horaire net', required:true)]
    public float $salary;

    #[SchemaProperty(description:'total net versé', required:true)]
    public float $total_salary;

    #[SchemaProperty(description:'mois pour lequel le cheque fait foi', required:true)]
    public string $cheque_month;
    
    #[SchemaProperty(description:'année pour laquel le cheque fait foi', required:true)]
    public int $cheque_year;

    #[SchemaProperty(description:'raison de l\'absence pendant le mois', required:false)]
    public string $absence_reason;

    #[SchemaProperty(description:'numéro du jour de soumision du cheque', required:true)]
    public int $submit_day;
    
    #[SchemaProperty(description:'mois de soumision du cheque', required:true)]
    public int $submit_month;
    
    #[SchemaProperty(description:'année de soumision du cheque', required:true)]
    public int $submit_year;
}

class ChequeAgent extends Agent {
    protected function provider(): AIProviderInterface
    {
        return new Ollama(
            url: 'https://ollama.ia.inetis.ch/api',
            model: 'llama3.2-vision',
            parameters: [
                'keep_alive' => '60m',
                'options' => [
                    'temperature' => 0.0,
                ]
            ]
        );
    }

    public function instructions(): string
    {
        return new SystemPrompt(
            background:[
                "Extraction des informations du formulaire pour du travail domestique. Il résume l'activité d'un employé pour un mois donné",
                "Les labels sont imprimés et les valeurs sont écrites manuellement",
                "Le document est composé de quatre partie.",
                "La première partie contient 3 informations, sur la première ligne: le nom et prénom de l'employeur,
                sur la deuxième ligne: le numéro de contrat et enfin le nom et prénom de l'employé. Les noms sont tout en majuscules.",
                "La deuxième partie contient le nombre d'heure travaillé, le salaire horaire net et le total net versé",
                "La troisième partie contient le mois et l'année pour ce cheque. Il contient aussi le motif d'absence si il y en a un.",
                "La dernière partie le jour, mois et année de soumision du cheque"
            ],
        );
    }

    protected function getOutputClass(): string
    {
        return Cheque::class;   
    }
}

class SendCheque extends Command
{
    /**
     * The name and signature of the console command.
     *
     * @var string
     */
    protected $signature = 'cheque:send {file?*}';

    /**
     * The console command description.
     *
     * @var string
     */
    protected $description = 'Envoi un cheque pour qu\'il soit analysé, retourne les valeures du cheque en json';

    protected $valid_ext = ['jpg' => 'JPEG'];

    /**
     * Execute the console command.
     *
     * @return int
     */
    public function handle()
    {
        $files = $this->argument('file');
        if (count($files) == 0) {
            $this->error('Argument manquant file');
            return Command::FAILURE;
        }

        if (count($files) == 1 && is_dir($files[0])) {
            return match ($this->ask('Le chemin que vous avez fournis est un dossier, voulez-vous lire tous les fichiers .jpg du dossier ? [O/N]', 'O')) {
                'o', 'O' => $this->handleDir(),
                'n', 'N' => Command::SUCCESS
            };
        }

        $cheques = $this->handleFiles(collect($files)->map(fn($file) => pathinfo($file))->toArray());

        dump($cheques);
    }

    public function handleDir()
    {
        $files = [];
        $dir = new DirectoryIterator($this->argument('file')[0]);

        foreach ($dir as $file) {
            if ($file->isDot() || $file->isDir()) continue;

            $info = pathinfo($file->getPathname());

            if (isset($info['extension']) && isset($this->valid_ext[$info['extension']])) {
                $files[] = $info;
            }
        }

        return $this->handleFiles($files);
    }

    public function handleFiles(array $files)
    {
        $bar = $this->output->createProgressBar(count($files));
        $bar->start();

        $agent = ChequeAgent::make();
        $cheques = [];

        foreach ($files as $file) {
            $content = base64_encode(file_get_contents($file['dirname'] . '\\' . $file['basename']));

            $message = new UserMessage("voilà un cheque a traiter.")
                ->addAttachment(new Image(
                    $content,
                    AttachmentContentType::BASE64,
                    'img/jpeg'
                ));
            
            $response =  $agent->structured($message);
            $cheques[] = $response;
            $bar->advance();
        }

        $bar->finish();
        return $cheques;
    }
}