API مدل‌های OpenAI

اگر نمی‌دانی از کجا شروع کنی، از اینجا شروع کن. دلیلش برتری نیست، کم‌شدن متغیرهاست: وقتی خروجی بد می‌گیری، می‌خواهی مطمئن باشی مشکل از پرامپت توست و نه از مدلی که برای آن کار ساخته نشده.

چطور میان این مدل‌ها انتخاب کنیم

سه لایه‌اند و مرزشان روشن است. مدل پرچم‌دار برای کاری که پاسخ غلطش هزینه دارد: بازبینی کد، تحلیل سند، تصمیمی که کسی بر اساسش عمل می‌کند. مدل‌های mini و nano برای تصمیم‌های بسته و پرتکرار: دسته‌بندی، برچسب‌زدن، تشخیص زبان. و سری o برای مسئله‌ای که چند گام استدلال می‌خواهد.

ترتیب درستِ کار این است: با مدل بزرگ شروع کن تا پرامپتت درست شود، بعد همان پرامپت را روی مدل کوچک امتحان کن. برعکسش وقت بیشتری می‌گیرد چون نمی‌دانی مشکل از پرامپت است یا از مدل.

هزینه، جایی که بیشتر تیم‌ها اشتباه می‌کنند

بیشترین صرفه‌جویی از عوض‌کردن پرامپت نمی‌آید، از جدا کردن کارهای ساده از کارهای سخت می‌آید. اگر همهٔ ترافیکت را به مدل پرچم‌دار می‌دهی، احتمالاً بخش بزرگی از صورتحسابت بابت کاری است که مدل کوچک هم درست انجام می‌داد.