انجمن حسابرسی فناوری اطلاعات ایران حسابرسی سیستم‌ها و فناوری اطلاعات 3115-8773 1 2 2025 09 23 Evaluating the Performance of Large Language Models on Doctoral Accounting Exams: A Comparative Study of Six Generative AI Chatbots ارزیابی عملکرد مدل‌های زبانی بزرگ در آزمون دکتری حسابداری: مطالعه‌ای مقایسه‌ای از شش چت‌بات هوش مصنوعی مولد 57 91 240947 10.22034/jista.2026.568921.1077 FA ساسان خادمی دانش آموخته دکتری حسابداری، بخش حسابداری، دانشکده اقتصاد مدیریت و علوم اجتماعی، دانشگاه شیراز، شیراز، ایران 0000-0003-0599-6719 Journal Article 2025 11 26 The rapid advancement of large language models (LLMs) has drawn increasing attention from accounting education researchers to their performance on specialized questions and potential implications for learning and assessment. This study aims to evaluate and compare the performance of six LLMs (ChatGPT, Gemini, Perplexity, Grok, DeepSeek, and Qwen) on the Iranian PhD Accounting Examination and to assess their potential as educational support tools. The dataset comprises 300 official multiple-choice questions from three subjects (Auditing, Management Accounting, and Accounting Theory) administered between 2021 and 2025. Responses generated by each model were coded dichotomously (correct/incorrect) and evaluated against two reference levels, 0.25 (random performance) and 0.50 (minimum acceptable threshold), using one-sample proportion tests, with 95% confidence intervals reported for model accuracies. Cochran’s Q test was employed to compare relative performance across models. Results indicated that all models performed significantly above both reference levels. Although Gemini achieved the highest and Qwen the lowest correct-response rates, Cochran’s Q revealed no statistically significant differences in overall performance. Importantly, results are interpreted within an open-book scenario, and given the potential for data leakage and the multiple-choice nature of the questions, findings should not be construed as evidence of deep conceptual understanding or independent reasoning. Overall, the findings suggest that LLMs, even without advanced tuning or specialized training, possess substantial capacity for producing correct responses in standard accounting examinations and may serve as complementary tools in accounting education and assessment design. پیشرفت شتابان مدل‌های زبانی بزرگ، توجه پژوهشگران را به عملکرد این ابزارها در پاسخ‌گویی به پرسش‌های تخصصی و پیامدهای بالقوه آن‌ها برای یادگیری و ارزشیابی معطوف کرده است. هدف پژوهش حاضر، ارزیابی و مقایسه عملکرد شش مدل زبانی بزرگ شامل ChatGPT، Gemini، Perplexity، Grok، DeepSeek و Qwen در پاسخ‌گویی به سؤالات آزمون دکتری حسابداری ایران است. داده‌های پژوهش شامل <span lang="FA" style="mso-ansi-font-size: 10.0pt; font-family: 'B Zar'; mso-ascii-font-family: 'Times New Roman'; mso-fareast-font-family: Calibri; mso-hansi-font-family: 'Times New Roman'; mso-bidi-language: FA;">۳۰۰ سؤال چهارگزینه‌ای رسمی آزمون دکتری حسابداری طی سال‌های <span lang="FA" style="mso-ansi-font-size: 10.0pt; font-family: 'B Zar'; mso-ascii-font-family: 'Times New Roman'; mso-fareast-font-family: Calibri; mso-hansi-font-family: 'Times New Roman'; mso-bidi-language: FA;">۱۴۰۰ تا <span lang="FA" style="mso-ansi-font-size: 10.0pt; font-family: 'B Zar'; mso-ascii-font-family: 'Times New Roman'; mso-fareast-font-family: Calibri; mso-hansi-font-family: 'Times New Roman'; mso-bidi-language: FA;">۱۴۰۴ در سه درس حسابرسی، حسابداری مدیریت و تئوری حسابداری است. پاسخ‌های هر مدل به‌صورت دودویی (صحیح/غلط) کدگذاری شد و با استفاده از آزمون نسبت تک‌نمونه‌ای، عملکرد آن‌ها نسبت به دو سطح مرجع <span lang="FA" style="mso-ansi-font-size: 10.0pt; font-family: 'B Zar'; mso-ascii-font-family: 'Times New Roman'; mso-fareast-font-family: Calibri; mso-hansi-font-family: 'Times New Roman'; mso-bidi-language: FA;">۰٫<span lang="FA" style="mso-ansi-font-size: 10.0pt; font-family: 'B Zar'; mso-ascii-font-family: 'Times New Roman'; mso-fareast-font-family: Calibri; mso-hansi-font-family: 'Times New Roman'; mso-bidi-language: FA;">۲۵ (عملکرد تصادفی) و <span lang="FA" style="mso-ansi-font-size: 10.0pt; font-family: 'B Zar'; mso-ascii-font-family: 'Times New Roman'; mso-fareast-font-family: Calibri; mso-hansi-font-family: 'Times New Roman'; mso-bidi-language: FA;">۰٫<span lang="FA" style="mso-ansi-font-size: 10.0pt; font-family: 'B Zar'; mso-ascii-font-family: 'Times New Roman'; mso-fareast-font-family: Calibri; mso-hansi-font-family: 'Times New Roman'; mso-bidi-language: FA;">۵۰ (سطح پایه قابل قبول) ارزیابی گردید. همچنین، برای مقایسه عملکرد نسبی مدل‌ها از آزمون Cochran’s Q استفاده شد. نتایج نشان داد که عملکرد تمامی مدل‌ها به‌طور معناداری فراتر از هر دو سطح مرجع است. اگرچه مدل Gemini بالاترین و مدل Qwen پایین‌ترین درصد پاسخ صحیح را ثبت کردند، آزمون Cochran’s Q تفاوت معناداری میان عملکرد کلی مدل‌ها نشان نداد. با این حال، نتایج در چارچوب یک سناریوی عملیاتی open-book تفسیر می‌شوند و با توجه به احتمال نشت داده و ماهیت چندگزینه‌ای سؤالات، نباید به‌عنوان شواهدی از درک مفهومی عمیق یا استدلال مستقل مدل‌ها تلقی شوند. به‌طور کلی، یافته‌ها نشان می‌دهد که مدل‌های زبانی بزرگ، حتی بدون تنظیمات پیشرفته یا آموزش اختصاصی، از توان قابل توجهی در عملکرد صحیح در آزمون‌های استاندارد حسابداری برخوردارند و می‌توانند به‌عنوان ابزارهای مکمل در آموزش و طراحی فعالیت‌های ارزشیابی در آموزش عالی حسابداری مورد توجه قرار گیرند.

https://www.iitasa.org.ir/article_240947_fd7c140b56af05f71644a608bb4f05f8.pdf