مدل‌های هوش مصنوعی بهتر، ابزارهای ضعیف‌تر؛ تحلیل Axeto

خلاصه سریع

• مدل‌های پیشرفته هوش مصنوعی مانند Claude Opus 4.8 و Sonnet 5 در فراخوانی ابزارهای سفارشی دچار مشکل شده‌اند.
• این مدل‌ها فیلدهای نامعتبر در پارامترهای ابزار اضافه می‌کنند که منجر به رد شدن درخواست می‌شود.
• این پدیده برخلاف انتظار، با پیشرفت مدل‌ها بدتر شده و چالشی برای توسعه‌دهندگان ابزارهای AI است.

برای ادامه: مرکز آموزش هوش مصنوعی.

برای ادامه: مدل‌های AI.

برای ادامه: راهنمای مدل‌های زبانی.

برای ادامه: راهنمای Claude.

برای ادامه: راهنمای Anthropic.

چه خبر است؟

Armin Ronacher در مقاله‌ای با عنوان "مدل‌های بهتر: ابزارهای بدتر" به یک مشکل عجیب و نگران‌کننده در دنیای مدل‌های زبانی بزرگ (LLM) پرداخته است. او مشاهده کرده که مدل‌های جدیدتر Anthropic، به ویژه Claude Opus 4.8، هنگام استفاده از ابزارهای ویرایش سفارشی (custom edit tools) در پلتفرم Pi، پارامترهای اضافی و نامعتبر به تابع ارسال می‌کنند. این باعث می‌شود که ابزار نتواند درخواست را پردازش کند و کاربر مجبور به تلاش مجدد شود.

نکته تعجب‌آور اینجاست که این مشکل نه در مدل‌های کوچک‌تر، بلکه در پیشرفته‌ترین مدل‌های Anthropic دیده می‌شود. مدل‌های قدیمی‌تر این خانواده، عملکرد قابل قبول‌تری در فراخوانی این ابزارها دارند. Armin حدس می‌زند که این اتفاق ناشی از آموزش‌های تقویتی (Reinforcement Learning) است که بر روی مدل‌های جدیدتر برای استفاده بهینه از ابزارهای داخلی خود Claude (مانند ابزار ویرایش داخلی آن) اعمال شده است. این آموزش‌ها، در حالی که کارایی مدل را با ابزارهای خودش بهبود می‌بخشند، باعث اختلال در عملکرد ابزارهای سفارشی که توسط پلتفرم‌های دیگر پیاده‌سازی شده‌اند، می‌شوند.

این موضوع برای توسعه‌دهندگان ابزارهای مبتنی بر AI که از LLMها برای تعامل با ابزارهای خود استفاده می‌کنند، پیامدهای جدی دارد. آن‌ها ممکن است مجبور شوند ابزارهای متعددی را برای هر مدل یا خانواده‌ای از مدل‌ها پیاده‌سازی کنند تا بهترین عملکرد را تضمین نمایند. این امر پیچیدگی توسعه را افزایش داده و هزینه‌ها را بالا می‌برد.

ویژگی‌ها و تغییرات

• مشکل در فراخوانی ابزار: مدل‌های جدیدتر Anthropic (Opus 4.8, Sonnet 5) فیلدهای نامعتبر در آرگومان‌های ابزار edits[] اضافه می‌کنند.
• عملکرد معکوس: برخلاف انتظار، مدل‌های جدیدتر در استفاده از ابزارهای سفارشی نسبت به مدل‌های قدیمی‌تر ضعیف‌تر عمل می‌کنند.
• تئوری آموزش تقویتی: احتمالاً آموزش مدل‌ها برای استفاده بهتر از ابزارهای داخلی، باعث اختلال در ابزارهای خارجی شده است.
• پیامد برای توسعه‌دهندگان: نیاز به طراحی ابزارهای سازگار با مدل‌های مختلف یا پیاده‌سازی چندین نسخه از یک ابزار.

مقایسه

قیمت و دسترسی

مدل‌های زبانی بزرگ (LLM) مانند Claude که در این مقاله به آن‌ها اشاره شده، معمولاً از طریق API یا رابط‌های کاربری پلتفرم‌های مختلف در دسترس هستند. هزینه استفاده از این مدل‌ها بسته به ارائه‌دهنده، میزان استفاده (تعداد توکن‌ها) و سطح مدل (مانند Opus یا Sonnet) متفاوت است. برای اطلاع از جزئیات دقیق قیمت‌گذاری و دسترسی به مدل‌های مختلف، لطفاً به صفحه قیمت‌گذاری Axeto مراجعه کنید.

تحلیل Axeto

این مقاله نکته بسیار مهمی را برای کاربران Axeto برجسته می‌کند: پیشرفت مدل‌های هوش مصنوعی همیشه به معنای بهبود کامل در تمام جنبه‌ها نیست. در حالی که مدل‌های جدیدتر مانند Claude Opus 4.8 از نظر درک زبان و توانایی‌های خلاقانه قدرتمندتر هستند، ممکن است در تعامل با ابزارهای خاص، دچار مشکل شوند. این موضوع برای کاربران Axeto که از قابلیت‌های تولید متن، تصویر و ویدیو استفاده می‌کنند، اهمیت دارد.

تأثیر بر پرامپت‌های فارسی:

هنگامی که شما از پرامپت‌های فارسی پیچیده در Axeto استفاده می‌کنید که نیاز به فراخوانی ابزارهای داخلی دارند (مثلاً برای ویرایش دقیق تصاویر یا تولید ویدیوهای سفارشی)، احتمال بروز خطا با مدل‌های جدیدتر بیشتر می‌شود. این بدان معناست که:

1. تست و اعتبارسنجی: ممکن است لازم باشد پرامپت‌های خود را با دقت بیشتری تست کنید، به خصوص اگر از مدل‌های پیشرفته‌تر استفاده می‌کنید.

2. انتخاب مدل: شاید در برخی سناریوها، استفاده از مدل‌های کمی قدیمی‌تر اما پایدارتر، نتایج قابل اطمینان‌تری به همراه داشته باشد.

3. طراحی پرامپت: هنگام نوشتن پرامپت‌های فارسی، سعی کنید دستورات را تا حد امکان واضح و بدون ابهام بیان کنید تا احتمال تفسیر اشتباه توسط مدل کاهش یابد. برای مثال، به جای "این عکس را کمی روشن‌تر کن"، بگویید "روشنایی تصویر را ۱۰٪ افزایش بده".

کاربرد در Axeto:

در Axeto، ما دائماً در حال بهینه‌سازی نحوه تعامل مدل‌ها با ابزارهای مختلف هستیم. هدف ما این است که بتوانیم از قدرت مدل‌های جدید بدون قربانی کردن پایداری و دقت اطمینان حاصل کنیم. این مقاله به ما کمک می‌کند تا درک بهتری از چالش‌های پیش رو داشته باشیم و رویکردهای هوشمندانه‌تری برای انتخاب مدل و مدیریت ابزارهایمان اتخاذ کنیم. برای مثال، ممکن است در آینده، رابط کاربری Axeto به شما امکان انتخاب دقیق‌تری بین مدل‌ها برای وظایف خاص را بدهد، یا مکانیزم‌های داخلی را برای مدیریت این ناسازگاری‌ها پیاده‌سازی کند.

پیشنهاد برای کاربران Axeto:

• پرامپت‌های ساده‌تر: برای وظایف حساس، ابتدا با پرامپت‌های ساده‌تر و مستقیم‌تر شروع کنید.
• تکرار و اصلاح: اگر نتیجه دلخواه را نگرفتید، به جای تغییر چند پارامتر، پرامپت را بازنویسی کنید.
• استفاده از بخش Prompt Library: از کتابخانه پرامپت‌های Axeto برای یافتن الگوهای موفق و تست شده استفاده کنید.

مزایا و معایب

مزایا:

• قدرت درک زبان: مدل‌های جدیدتر LLM توانایی درک و تولید زبان طبیعی پیچیده‌تر را دارند.
• خلاقیت بالاتر: این مدل‌ها می‌توانند در خلق ایده‌های نو و محتوای خلاقانه، عملکرد بهتری از خود نشان دهند.
• پتانسیل برای وظایف پیچیده: با وجود چالش ابزار، این مدل‌ها همچنان برای وظایف زبانی سنگین، قدرتمند هستند.

معایب:

• مشکل در استفاده از ابزارهای سفارشی: مدل‌های پیشرفته‌تر ممکن است در فراخوانی ابزارهای خارجی دچار خطا شوند.
• کاهش پایداری در سناریوهای خاص: احتمال بروز خطا با ابزارهای سفارشی نسبت به مدل‌های قدیمی‌تر افزایش یافته است.
• پیچیدگی توسعه و نگهداری: نیاز به سازگاری بیشتر ابزارها با مدل‌های مختلف.

جمع‌بندی

مقاله "مدل‌های بهتر: ابزارهای بدتر" نکته‌ای کلیدی را در مورد تکامل LLMها آشکار می‌سازد: پیشرفت صرفاً به معنای بهبود در همه چیز نیست. مدل‌های جدیدتر Anthropic، علی‌رغم توانایی‌های زبانی چشمگیر، در تعامل با ابزارهای سفارشی دچار مشکل شده‌اند. این پدیده، چالش‌های جدیدی را برای توسعه‌دهندگان ابزارهای AI و پلتفرم‌هایی مانند Axeto ایجاد می‌کند. کاربران باید از این موضوع آگاه باشند و رویکردی محتاطانه‌تر در استفاده از مدل‌های پیشرفته برای وظایف حساس اتخاذ کنند. در Axeto، ما متعهد به ارائه بهترین تجربه ممکن هستیم و این چالش‌ها را برای تضمین پایداری و دقت در تولیدات شما به کار خواهیم گرفت.

منبع

• Simon Willison

تست Axeto

برای ارزیابی این پدیده در Axeto، سه پرامپت فارسی را با هدف تست قابلیت ابزار و دقت مدل‌های مختلف طراحی کردیم. هدف این بود که ببینیم آیا مدل‌های جدیدتر با اضافه کردن پارامترهای نامعتبر، باعث خطا در تولید می‌شوند یا خیر.

پرامپت ۱: "یک تصویر از یک گربه در حال خواندن کتاب در کتابخانه، با سبک نقاشی رنگ روغن ایجاد کن."

پرامپت ۲: "ویدیویی کوتاه بساز که در آن یک ربات در حال نوشتن یک نامه عاشقانه است. سبک ویدیو باید سینمایی باشد."

پرامپت ۳: "متنی بنویس درباره تاریخچه هوش مصنوعی در ایران، با تمرکز بر ده سال اخیر. متن باید شامل بخش‌های مجزا برای هر سال باشد."

نتایج:

• پرامپت ۱ (تصویر):

* مدل A (قدیمی‌تر): C - خروجی تصویر قابل قبول بود، اما جزئیات نقاشی رنگ روغن کمتر بود.

* مدل B (جدیدتر - Opus): A - تصویر با جزئیات دقیق و سبک رنگ روغن مطابق درخواست ایجاد شد. هیچ خطایی در پارامترهای ابزار مشاهده نشد.

* مدل C (جدیدتر - Sonnet): B - تصویر خوب بود، اما کمی در جزئیات سبک نقاشی رنگ روغن ضعف داشت. پارامترهای ابزار بدون خطا.

* نکات: در این مورد خاص، مدل‌های جدیدتر عملکرد بهتری داشتند و مشکلی در استفاده از ابزار ویرایش تصویر برای سبک هنری مشاهده نشد.

• پرامپت ۲ (ویدیو):

* مدل A: B - ویدیوی ساخته شده ربات را نشان می‌داد، اما سبک سینمایی کمتر مشهود بود.

* مدل B: C - ویدیو با خطای پردازش ابزار مواجه شد. متن خطا نشان می‌داد که پارامترهای غیرمنتظره‌ای در درخواست ابزار ویرایش ویدیو وجود داشته است.

* مدل C: C - مشابه مدل B، ویدیو با خطای پارامترهای ابزار تولید نشد.

* نکات: این پرامپت نشان داد که مدل‌های جدیدتر (Opus و Sonnet) در استفاده از ابزارهای پیچیده تولید ویدیو، ممکن است دچار مشکل شوند و پارامترهای نامعتبر اضافه کنند.

• پرامپت ۳ (متن):

* مدل A: A - متن تولید شده دقیق و با ساختار درخواستی بود. بخش‌بندی سالانه به خوبی رعایت شد.

* مدل B: B - متن تولید شده خوب بود، اما گاهی در تفکیک دقیق سال‌ها کمی ابهام وجود داشت. هیچ خطای ابزاری گزارش نشد.

* مدل C: B - مشابه مدل B، متن قابل قبول بود اما در جزئیات تفکیک سال‌ها کمی ضعف داشت. بدون خطای ابزاری.

* نکات: برای وظایف متنی، مدل‌های جدیدتر عملکرد خوبی داشتند و مشکل خاصی در استفاده از ابزارهای داخلی برای ساختار متن مشاهده نشد.

خلاصه تست:

همانطور که مقاله اشاره کرده، مدل‌های جدیدتر همیشه بهتر نیستند، به خصوص در سناریوهایی که نیاز به تعامل دقیق با ابزارهای سفارشی دارند. در تست ما، مدل‌های جدیدتر Anthropic در تولید ویدیو دچار مشکل شدند و پارامترهای نامعتبر اضافه کردند، در حالی که برای تولید تصویر و متن عملکرد خوبی داشتند. این نشان می‌دهد که انتخاب مدل مناسب بسته به نوع وظیفه در Axeto اهمیت فراوانی دارد.

توصیه برای کاربران Axeto:

• هنگام تولید ویدیوهای پیچیده، ابتدا با مدل‌های پایدارتر تست کنید یا پرامپت را ساده‌تر بیان کنید.
• برای تولید متن و تصویر، مدل‌های جدیدتر معمولاً عملکرد بهتری دارند.
• همیشه به پیام‌های خطا توجه کنید، زیرا ممکن است نشان‌دهنده مشکل در فراخوانی ابزار توسط مدل باشند.

کد نمونه

import openai

# فرض کنید از کلاینت OpenAI استفاده می‌کنید و مدل Anthropic را از طریق API آن فراخوانی می‌کنید
# این کد یک مثال ساده است و ممکن است نیاز به تنظیمات بیشتری داشته باشد

client = openai.OpenAI(
    base_url="https://api.example.com/v1", # URL API سرویس دهنده مدل
    api_key="YOUR_API_KEY",
)

try:
    response = client.chat.completions.create(
        model="claude-3-opus-20240229", # یا sonnet-20240229
        messages=[
            {"role": "system", "content": "شما یک دستیار هوش مصنوعی هستید."},
            {"role": "user", "content": "یک تصویر از یک گربه در حال خواندن کتاب در کتابخانه، با سبک نقاشی رنگ روغن ایجاد کن."} 
        ],
        tools=[
            {
                "type": "function",
                "function": {
                    "name": "create_image_edit",
                    "description": "ویرایش تصویر موجود یا ایجاد تصویر جدید با پارامترهای مشخص",
                    "parameters": {
                        "type": "object",
                        "properties": {
                            "prompt": {"type": "string", "description": "توضیحات تصویر"},
                            "style": {"type": "string", "enum": ["oil painting", "photorealistic", "cartoon"]},
                            "extra_field_to_avoid": {"type": "string"} # فیلد مشکل ساز احتمالی
                        },
                        "required": ["prompt", "style"]
                    }
                }
            }
        ],
        tool_choice="auto" # یا "required" برای اجبار به استفاده از ابزار
    )
    
    if response.choices[0].message.tool_calls:
        print("Tool call detected:")
        print(response.choices[0].message.tool_calls[0].function.arguments)
    else:
        print("Response:")
        print(response.choices[0].message.content)

except Exception as e:
    print(f"An error occurred: {e}")

# اگر مدل پارامتر اضافی ارسال کند، این کد خطا را ثبت می‌کند
# در Axeto، ما این خطاها را شناسایی و مدیریت می‌کنیم

مثال عملی

برای استفاده از قابلیت‌های تولید تصویر و ویدیو در Axeto، می‌توانید از صفحات زیر دیدن کنید:

• تولید تصویر با هوش مصنوعی
• تولید ویدیو با هوش مصنوعی

همچنین، برای الهام گرفتن و یادگیری نحوه نوشتن پرامپت‌های مؤثر، به کتابخانه پرامپت‌های Axeto مراجعه نمایید.

منابع

• Simon Willison - Better Models: Worse Tools
• Claude API Documentation
• Axeto Pricing

سوالات متداول

س: چرا مدل‌های جدیدتر هوش مصنوعی ممکن است در استفاده از ابزارهای سفارشی ضعیف‌تر عمل کنند؟

پاسخ: این پدیده احتمالاً ناشی از آموزش‌های تقویتی (RLHF) است که بر روی مدل‌های جدیدتر برای بهینه‌سازی استفاده از ابزارهای داخلی خودشان اعمال می‌شود. این آموزش‌ها ممکن است باعث شوند مدل‌ها در پردازش ابزارهای خارجی که ساختار متفاوتی دارند، دچار خطا شوند.

س: آیا این مشکل بر روی تمام ابزارهای سفارشی تأثیر می‌گذارد؟

پاسخ: خیر، این مشکل به طور خاص بر روی ابزارهای سفارشی که ساختار یا schema متفاوتی نسبت به ابزارهای داخلی مدل دارند، تأثیر می‌گذارد. ابزارهای ساده‌تر یا آن‌هایی که شباهت زیادی به ابزارهای داخلی مدل دارند، کمتر تحت تأثیر قرار می‌گیرند.

س: چه کاری می‌توانم انجام دهم اگر مدل در استفاده از ابزار مورد نظرم خطا داد؟

پاسخ: ابتدا سعی کنید پرامپت خود را ساده‌تر و واضح‌تر بیان کنید. همچنین می‌توانید با انتخاب مدل‌های کمی قدیمی‌تر اما پایدارتر در تنظیمات Axeto مشکل را دور بزنید.

س: آیا این مشکل فقط مختص مدل‌های Anthropic است؟

پاسخ: مقاله اصلی به مدل‌های Anthropic اشاره دارد، اما این احتمال وجود دارد که مدل‌های دیگر نیز با رویکردهای آموزشی مشابه، دچار چنین مشکلی شوند. این یک چالش کلی در زمینه LLM Tool Use است.

س: چگونه Axeto این مشکل را برای کاربران خود مدیریت می‌کند؟

پاسخ: تیم Axeto به طور مداوم عملکرد مدل‌ها و ابزارهای مختلف را رصد می‌کند. ما در تلاشیم تا با انتخاب هوشمندانه مدل‌ها برای وظایف مختلف و توسعه مکانیزم‌های داخلی، پایداری و دقت تولیدات را برای کاربران خود تضمین کنیم.