شاخص های علم سنجی
استناد ) (Citation
استناد(Citation): در شاخص اثرگذاری استنادی(Citation Impact) تعداد استنادهای دریافتی مورد بررسی قرار می گیرد. هرگاه تعداد زیادی از آثار به یک مدرک استناد کنند، آن مدرک مهم و دارای اعتبار تلقی می شود. در بررسی ارزش هر مدرک براساس تأثیر آن بر مقاله ها و نوشته های بعدی (استنادهای دریافتی از آثار بعدی) مورد بررسی قرار می گیرد. از طریق ردگیری استنادهای یک حوزه پژوهشی به گروهی از پژوهشگران می رسیم که پیوسته مورد استناد قرار می گیرند و در آن حوزه دارای بیشترین استنادها بوده اند. به این افراد پیشگامان پژوهش (Research Fronts) می گویند.
خود استنادی(Self-Citation)
خود استنادی نویسنده(Author Self-Citation): استناد دادن نویسنده به آثار قبلی خود (زمانی که شخص استنادکننده و استنادشونده یکسان هستند)، استنادی که مقاله استنادکننده و استنادشونده حداقل دارای یک نویسنده مشترک باشند. زمانی که شخص در آن حوزه صاحب نظر است و مهم ترین آثار پیشین در آن حوزه نیز به وی تعلق دارد و آثار زیادی در آن حوزه منتشر کرده و بخواهد ارتباطی میان اثر حاضر و سایر آثار مرتبطی که در گذشته نوشته برقرار کند یا تفاوت کار حاضر با سایر کارهای قبلی که در این حوزه انجام داده را نشان دهد خود استنادی به جاست امّا زمانی که نویسنده تنها بخواهد استنادهای دریافتی خود را با هدف تمجید از خود و قابل نمایش ساختن آثاری که تاکنون استنادی دریافت نکرده اند همچنین دستکاری و افزایش کاذب استنادهای دریافتی نویسنده و مجله و همچنین ضریب تأثیر مجله از طریق خوداستنادی افزایش دهد این امر نابجاست.
تحلیل استنادی(Citation Analysis)
تحلیل استنادی یکی از روش های کمی در حوزه علم سنجی است که به بررسی متون علمی براساس شمارش استنادها (Citation Counting) و پیگیری استنادها (Citation Tracking) می پردازد. تحلیل استنادی شامل تحلیل زوج های کتابشناختی(Bibliographic Coupling)، تحلیل زوج های هم استنادی (Co-Citation Coupling)، تحلیل هم استنادی مؤلفان(Author’s Co-citation Analysis)، تحلیل هم استنادی مجلات (Journal’s Co-citation Analysis) است.
مطالعات تحلیل استنادی با اهداف زیر انجام می شود:
بررسی شبکه های استنادی،
کشف گرایش نویسندگان در استفاده از انواع منابع اطلاعاتی (کتاب، مقاله و …)،
بررسی رفتار استنادی (Citation Behaviour) پژوهشگران،
بررسی رابطه فکر و علمی پژوهشگران.
ضریب تأثیر مجلات (Journal Impact Factor(JIF))
شاخص ضریب تأثیر مجله در سال ۱۹۸۳ به جامعه بین المللی معرفی شد. در حال حاضر، مجموعه شاخص های ضریب تأثیر تحت عنوان Journal Citation Report یا JCR به طور سالانه توسط مؤسسه کلریویت آنالیتیکز منتشر می گردد. با وجود اتکا به این مجموعه شاخص به صورت گسترده در سطح بین المللی، انتقادهایی نسبت به آن مطرح بود که برای جبران نقائص شاخص ضریب تأثیر یا Impact Factor ، دو محقق از دانشگاه واشنگتن شاخص های دیگری، یکی با عنوان EigenFactor در سال ۲۰۰۷ و دیگری با عنوان Article Influence Score در سال ۲۰۰۹ به جامعه علمی دنیا معرفی کردند که در ارزیابی نفوذ مجلات و همچنین هر مقاله از مجله مورد استفاده قرار می گیرد. این شاخص ها نیز مشابه شاخص ضریب تأثیر از داده های استنادی برای ارزیابی نفوذ یک مجله در ارتباط با مجلات دیگر استفاده می کنند. این شاخص ها برای مجلاتی قابل دسترسی است که در فهرست اصلی یا Master list مجلات منتخب مؤسسه کلریویت آنالیتیکز وارد شده اند.
ضریب تأثیر(IF)
ضریب تأثیر(IF) کمیتی است که میزان متوسط استناد به مقالات یک مجله علمی را نشان می دهد. ضریب تأثیر می تواند معیاری باشد برای نشان دادن میزان نفوذ علمی یک مجله در یک حوزه علمی و تحققی خاص. در یک رشته علمی، مجلات دارای ضریب تأثیر بالاتر دارای اهمیت بیشتری نسبت به مجلات دیگر می باشند. از جمله مواردی که می تواند تأثیر مستقیم بر ضریب تأثیر داشته باشد، خوداستنادی است. مجلات دارای ضریب تأثیر بالاتر مقالاتی را منتشر می کنند که در مقایسه با مقالات مجلات دارای ضریب تأثیر پائین تر، بیشتر مورد استناد قرار می گیرند.
ضریب تأثیر رشته (Discipline Impact Factor(DIF))
ضریب تأثیر متوسط عبارت است از میانگین ضریب تأثیر مجلات علمی در یک رشته یا موضوع خاص. در این روش تعداد اندکی از مجلات که ضریب تأثیر بالایی در یک رشته دارند، شناسایی می شود. در واقع اندازه گیری تعداد دفعات است که یک مقاله در مجله از مقالات هسته مورد نظر مورد استناد قرار می گیرد. روش محاسبه آن شبیه به محاسبه ضریب تأثیر مجلات است. در این روش هم معمولاً یک دوره دو ساله در نظر گرفته می شود در سنجش این ضریب: ابتدا تعدادی از مجلاتی که اهمیت آنها در رشته شناخته شده است، انتخاب می شوند. سپس مجلات دیگر در همین حوزه را که اهمیت و اعتبار آنها روشن نیست به این تعداد می افزایند. در مرحله سوم، ضریب تأثیر رشته این دو گروه از مجلات به منظور تعیین مجلات هسته محاسبه می شوند.
ضریب نفوذ مجله (EigenFactor Score)
محاسبه این شاخص برای هر مجله بر اساس تعداد استنادهای دریافت شده یک مجله در یک دوره ۵ ساله در JCR با در نظر گرفتن این که این استنادها از کدام مجلات دریافت شده است. بر این اساس، مجلات با تعداد استنادهای بالاتر، تأثیر و نفوذ بیشتری نسبت به مجلاتی با تعداد استنادهای کمتر خواهند داشت. همچنین این شاخص خوداستنادی ها (self-citation) را مدنظر قرار نمی دهد و خوداستنادی در محاسبه آن تأثیری ندارد؛ یعنی ارجاعات یک مقاله به مقاله دیگر از همان مجله از محاسبه حذف می شود و در نتیجه ضریب نفوذ مجله تحت تأثیر خوداستنادی قرار نمی گیرد. به علاوه مجموع “EigenFactor Score” گزارش شده درJCR برابر با عدد ۱۰۰ است. اصلی ترین ایده در خلق این شاخص این بوده که دریافت یک استناد از مجلات با کیفیت بالا، با ارزش تر از دریافت استنادهای متعدد از مجلات باکیفیت پایین تر می باشد.
ضریب نفوذ مقالات مجله (Article Influence Score)
این شاخص میانگین نفوذ مقالات یک مجله را در طول ۵ سال اول پس از انتشار آن نشان می دهد. در واقع مثل ضریب تأثیر پنج ساله است که در آن نسبت تأثیر استنادی مجله به اندازه سهم مقاله مجله در طی یک دوره پنج ساله محاسبه می شود. میانگین ضریب نفوذ مقالات مجلات در JCR برابر ۱ است و نمرات بالاتر از ۱ نشان می دهد که نفوذ هر مقاله در مجله بالاتر از متوسط است و نمره کمتر از ۱ نشان می دهد که نفوذ هر مقاله در مجله کمتر از متوسط است.
محاسبه “Article Influence Score” به صورت تقسیم ضریب نفوذ مجله (EigenFactor Score) بر تعداد مقالات مجله در دوره پنج ساله و سپس تقسیم بر تعداد مقالات کل مجلات در همان دوره پنج ساله، و ضرب در ضریب یک صدم (۰٫۰۱) می باشد.
شاخص فوریت (Immediacy Index)
شاخص فوریت یا آنی نشان می دهد به چه سرعت مقاله های منتشر شده در یک نشریه استناد دریافت می کنند. برای محاسبه، تعداد استنادهایی را که مقاله های یک نشریه در یک سال مشخص دریافت کرده اند بر تعداد مقاله های نشریه در همان سال تقسیم می شود.
نیم عمر متون یا کهنگی متون (Literature Obsolescence)
شاخص نیم عمر، نقش زمان را در بهره وری از اطلاعات روشن می کند. با استفاده از این شاخص می توان نشان داد که آیا با گذشت زمان از میزان سودمندی مقالات و کتاب ها کم می شود یا خیر. منظور از نیم عمر متون مدت زمانی است که در خلال آن نیمی از متون استنادکننده به متون علمی مورد استناد در حوزه های علمی مورد نظر منتشر شده است. به عبارت دیگر، نیم عمر عبارت است از مدت زمانی که در طول آن نصف ارجاع های یک نشریه منتشر شده اند. مطالعات نشان می دهد که نیمی از ارجاعات (استنادها) مقالات تازه چاپ شده در دو سال اخیر، به نوشته های همان سال باز می گردد.
بعد از مدت ده یا پانزده سال (بسته به موضوع) مقالات رشته های مختلف، سودمندی خود را به عنوان منبع مورد استناد از دست می دهند. علومی که بیشتر جنبه نظری دارند (مانند ریاضیات) دارای نیم عمر طولانی و علومی که به مباحث نوین، روزآمدی و فناوری وابستگی دارند مانند پزشکی دارای نیم عمر کوتاهی هستند.
نیمه عمر استناد (Cited Half – Life)
نیمه عمر ارجاع ها یا نیمه عمر استناد، تعداد سال هایی است که از سال ارزیابی باید به عقب برگشت تا شاهد پنجاه درصد کل ارجاع ها به مجله در سال مورد ارزیابی باشیم. به عبارت دیگر، این شاخص مدت زمانی که نیمی از کل استنادها به آن مجله صورت پذیرفته باشد را نشان می دهد و در حقیقت سرعت کاهش میزان ارجاع ها به مجله را بیان می کند. بدیهی است که وقتی مقاله های یک مجله ارزش خود را برای ارجاعات، زود از دست بدهند (مقاله ها سطحی باشند و خیلی زود بی ارزش شوند)، تنها به مقاله های جدید مجله ارجاع داده می شود. این موضوع باعث می شود که نیمه عمر ارجاعات به مجله کاهش یابد. بنابراین هر چه نیمه عمر ارجاعات به مجله بیشتر باشد، نشان می دهد که ارزش مقاله های مجله در طول زمان بیشتر حفظ شده است و هنوز مورد ارجاع قرار می گیرند. در مجموع هرچه نیمه عمر ارجاعات به یک مجله بیشتر باشد، ارزش مجله بالاتر می رود.
ارزش متیو(Mathew Value)
این شاخص شکل اصلاح شده ضریب تأثیر است که در سال ۲۰۰۶ توسط موییج معرفی شد. ارزش متیو در یک دوره پنج ساله و در موضوعی خاص محاسبه می شود مقاله های همان مجله و در همان دوره تقسیم می کند و عدد به دست آمده را با همین نسبت ها درکل حوزه مورد پژوهش اندازه گیری می کند.
نحوه محاسبه آن تقسیم تعداد استنادها به مقاله های یک مجله در یک دوره پنج ساله بر تعداد مقاله های همان مجله در همان دوره زمانی است که عدد حاصل را با همین نسبت ها در کل حوزه مورد پژوهش اندازه گیری می نماید.
A = جمع استنادات در یک دوره ۵ ساله در یک مجله،
B = جمع مقالات منتشره در یک دوره ۵ ساله در یک مجله،
C = تعداد کل استنادات حوزه موضوعی مورد نظر در یک دوره ۵ ساله،
D= تعداد کل مقاله های منتشره در آن حوزه موضوعی در یک دوره ۵ ساله.
مجموعه شاخص استنادی (CiteScore)
در ۸ دسامبر سال ۲۰۱۶ ، مؤسسه الزویر در مجموعه ژورنال متریکس(Journal Metrics) خود از محصول جدیدی رونمایی کرد. این محصول سایت اسکور (CiteScore) نام دارد که به نوعی رقیب (Impact Factor) یا همان ضریب تأثیر معروف مؤسسه کلریویت آنالیتیکز(Clarivate Analytics) محسوب می گردد.
سایت اسکور یک شاخص ساده برای اندازه گیری تأثیر استنادی مجلات است. بر خلاف ضریب تأثیر که انواع خاصی از مقالات (مروری و پژوهشی و فنی) را در محاسبه تعداد مقالات در مخرج کسر در نظر می گیرد، این شاخص همه انواع مقالات را در محاسبه خود در نظر می گیرد.
یک مورد خاص که در سایت اسکور وارد محاسبه نمی گردد، مقالات زیرچاپ (In press) است. از آنجایی که اسکوپوس همه مقالات In press را از ناشران مختلف در بر نمی گیرد، لذا برای اجتناب از bias در محاسبات این شاخص استنادی، مقالاتی که هنوز در شمارهای از مجله وارد نشده اند، در محاسبه سایت اسکور وارد نمی شود. سایت اسکور از تقسیم استنادها به مقالات سه سال اخیر بر تعداد مقالات سه سال اخیر به دست می آید. برای یادگیری اینکه شاخص سایت اسکور چطور محاسبه می شود، این تصویر گویای موضوع است.
برای مثال سایت اسکور ۲۰۱۵ نشریه ی نیچر متدز (Nature Methods)15.62 است که از تقسیم تعداد استنادهایی که مقالات سال های ۲۰۱۳،۲۰۱۲و۲۰۱۴ این نشریه در سال ۲۰۱۵ دریافت کرده (تعداد ۱۷۱۱۹ استناد- صورت کسر) بر تعداد مقالات این نشریه در سه سال بیان شده (تعداد ۱۰۹۶ مقاله – مخرج کسر) به دست می آید.
CiteScore Tracker
سایت اسکور ترکر شاخص دیگری است که نحوه محاسبه آن همانند سایت اسکور است با این تفاوت که قرار است به صورت ماهیانه برای همان سال به روزرسانی شود. البته سایت اسکور فقط یک بار ارائه می شود و دیگر هم تغییر نمی کند ولی سایت اسکور ترکر به دلیل ماهیت خود نیازمند ۱۶ بار تغییر و به روزرسانی در سال است.
CiteScore Percentile
برای مقایسه دو نشریه در دو حیطه موضوعی مختلف، شاخص CiteScore Percentile معرفی شده است. مثلا برای نشریه ی نیچر عدد ۹۹ ارائه شده است و این بدان معنی است که این نشریه جزء ۱ درصد بالایی حوزه ی پزشکی محسوب می گردد. چکیده مقالات در این شاخص محاسبه نمی شوند زیرا اسکوپوس آن ها را تحت پوشش ندارد.
شاخص اسنیپ (Source Normalized Impact Per Paper(SNIP))
این شاخص که توسط دانشگاه لایدن پیشنهاد شد میزان تأثیر استناد را با وزن دادن به استناد براساس کل استنادهای دریافتی یک حوزه موضوعی می سنجد. بنابراین تأثیر یک استناد می تواند در یک حوزه موضوعی نسبت به یک حوزه موضوعی دیگر ارزش بیشتری داشته باشد. شاخص “ضریب تأثیر به هنجار شده براساس منبع” یا به اختصار اسنیپ بر مبنای داده های برگرفته از پایگاه اسکوپوس محاسبه می شود. این شاخص با وزن دهی به استنادها براساس تعداد کل استنادهای حوزه موضوعی مربوطه (پتانسیل استنادی پایگاه در رشته ی مربوطه) محاسبه می شود تا تفاوت رشته ها به لحاظ رفتار استنادی و نیز به لحاظ میزان پوشش در پایگاه تصحیح شود.
شاخص (Scientific Journal Rankings(SJR))
معیاری است که بیان می کند تمام استنادها برابر آن چیزی که خلق شده نیست و زمینه موضوعی، کیفیت و شهرت مجله اثر مستقیم بر ارزش استناد دارد. این معیار هم شمار استنادهای دریافتی یک مجله و هم اهمیت یا اعتبار مجله ای که استنادها از آن می آیند را محاسبه می کند. این شاخص بیشتر برای استناد شبکه ای به مجلات بسیار بزرگ و ناهمگن مناسب می باشد. SCImagoاز شاخص رتبه بندی مجلات SJR برای مقایسه مجلات استفاده می کند که در طی دو مرحله محاسبه می شود. ابتدا هر مجله یک مقدار و اعتبار مشابه را به خود اختصاص می دهد. اعتبار مجله با I و تعداد کل مجلات پایگاه با N نشان داده می شود یعنی I/N.
شاخص (IPP) میزان استنادها به هر مقاله منتشر شده در مجله
شاخص IPP(Impact per publication) شاخص “تأثیر به ازای هر مدرک یا ضریب تأثیر خام مجله که مشابه “Impact factor”در پایگاه JCR است. برای یک سال معین براساس تقسیم استنادهای مقالات سه سال قبل بر تعداد مقالات این سه سال محاسبه می گردد.
شاخص اچ(H Index)
شاخص اچ به لحاظ سادگی، سهولت، کاربرد و داشتن مزایای متعدد نسبت به سایر روش ها در دستیابی به یک عدد معین مورد توجه پژوهشگران قرار گرفته است. شاخص اچ به این پرسش پاسخ می دهد که هر یک از پژوهشگران به تنهایی چه نقشی در پیشبرد و گسترش مرزهای علوم در حوزه های مختلف دانش بشری دارند؟ در اصل شاخص اچ با استفاده از شمارش استنادها به حاصل کار یک پژوهشگر در طول حیات وی امتیاز می دهد. این شاخص همزمان هم به کمیت (تعداد مقاله) و هم به کیفیت (تعداد استنادها ) اهمیت می دهد. اندازه گیری دقیق شاخص اچ به میزان جامعیت پایگاه ها بستگی دارد.
شاخص H تنها مقالاتی را شامل می شود که تعداد استناد به هر یک از آنها برابر با H یا بیشتر از آن است، بنابراین شاخص متعادل تری است. شاخص Hیک پژوهشگر، شامل Hتعداد از مقالات اوست که به هر کدام از آنها حداقل H بار استناد شده باشد. برای مثال اگر یک نویسنده، ۶ مقاله داشته باشد که به هر یک حداقل ۶ بار استناد شده باشد، شاخص H آن نویسنده، ۶ خواهد بود. برای به دست آوردن عدد H ، پس از انجام جستجو، باید مقالات را بر حسب استناد به ترتیب نزولی مرتب کرد و شماره مقاله را با تعداد استنادها مقایسه نمود تا تعداد استناد مساوی یا بیشتر از شماره مقاله باشد.
Multiple h index
در این شاخص نه تنها به استنادات وزن داده می شود، هسته هیرش، و سن مقالات استناد شده در نظر گرفته می شود، بلکه در محاسبه آن تمامی مقالات یک پژوهشگر که حداقل یکبار مورد استناد قرار گرفته اند نیز مورد لحاظ قرار می گیرد. برای محاسبه این شاخص، همانند شاخص hمقالات و استنادها بصورت نزولی درجدول قرار می گیرد اما در سطری دیگر سن هر مقاله نیز گنجانده می شود. اما بر خلاف محاسبه شاخص های قبلی، بجای محاسبه یک h و یک هسته، چندین h و چندین هسته محاسبه می شود و سپس با ترکیب h ها و هسته های بدست آمده، اچ جدیدی تحت عنوان Multiple h index بدست می آید.
شاخص جی (G Index)
این شاخص توسط “لئو اگه” برای اندازه گیری کمّی برونداد علمی پژوهشگران علم فیزیک و سایر پژوهشگران پیشنهاد شده است. شاخص جی با استفاده از مجذور تعداد مقاله ها و مقایسه آن با مجموع استنادها در محاسبات، در واقع مقاله های پراستناد یک پژوهشگر را برجسته تر می کند.
شاخص جی بالاترین تعداد ( g ) مقالات است که ۲ بار یا بیشتر به آن استناد شده باشد. این شاخص با استفاده از ضرایب خود، سعی دارد تا از تأثیر مقاله های پراستناد و کم استناد بر نتیجه گیری بکاهد و یکی از نواقص شاخص H را برطرف نماید. شاخص g برابر است با بالاترین رتبه در لیست نزولی مقالات به ترتیبی که g مقاله اول حداقل تعداد g2 استناد دریافت کرده باشند و مجموع استنادهای مقاله ها تا g ، بزرگتر یا مساوی g2 باشد. بنابراین شاخص g نویسنده در مثال زیر برابر خواهد بود با ۸ ، باید مجموعاً ۸ به توان ۲ یعنی ۶۴ ارجاع داشته باشیم که با جمع هشت عدد ۷۳ داریم که بزرگتر از ۶۴ است.
شاخص وای (Y Index)
این شاخص سعی دارد با در نظر گرفتن کیفیت و کمیّت، نقاط ضعف دیگر شاخص ها را برطرف نماید. بدین منظور، از عامل تأثیر به عنوان شاخص کمّی و معادل مقبولیت و از رتبه بر اساس وزن یا رتبه پیچ (PageRank) به عنوان شاخص کیفی و عامل ارزش استفاده می کند. شاخص وای، حاصل ضرب عامل تأثیر در رتبه پیچ و در واقع حاصل ضرب کمیّت در کیفیت است و سعی دارد سنجش اعتبار علمی را تا حد امکان کیفی کند.
شاخص ام (M-Index)
شاخص h هر پژوهشگر به طول مدت فعالیت پژوهشی وی بستگی دارد. زیرا با گذشت زمان، تعداد مقالات و استنادها به آن افزایش مییابد. به همین جهت، برای مقایسه پژوهشگران در مراحل مختلف دوره فعالیت آن ها، شاخص M معرفی شد. این پارامتر در نتیجه تقسیم هرش هر پژوهشگر بر سن علمی وی به دست میآید. منظور از سن علمی، شمار سالهایی است که از زمان انتشار اولین مقاله او میگذرد.
شاخص Subject Sameness Index(SSI)
شاخص هم موضوعی را تیرگر و همکاران در سال ۲۰۱۳ معرفی کردند و در نشریه European Science Editing منتشر شد. فرمول شاخص هم موضوعی به شرح زیر می باشد:
SSI= SSP/TP, (0≤SSI≤۱)
SSI = تعداد مقالات هم موضوع یا مترادف پژوهشگر تقسیم بر تعداد کل مقالات وی در دوره زمانی معین،
SSP = تعداد مقالات هم موضوع یا مترادف پژوهشگر طی دوره زمانی معین که در آنها دست کم یک کلیدواژه موضوعی تکراری یا مترادف وجود دارد،
TP = تعداد کل مقالات منتشره از سوی یک پژوهشگر در بازه زمانی معین.
این شاخص می تواند در کنار سایر شاخص ها همچون h در ارزیابی بروندادهای علمی پژوهشگران مورد استفاده قرار گیرد. منطق این شاخص در این است که پراکنده کاری محققان در پژوهش هایی که انجام می دهند می تواند به عنوان یک امتیاز منفی در نظر گرفته شود. و محققانی که دارای پژوهش های همسو و مرتبط با پژوهش های قبلی هستند در آن حوزه عمیق تر وارد شده و میزان تأثیرگذاری علمی آنها بیشتر خواهد بود.
سنجه های جایگزین (Altmetrics)
آلتمتریکس اندازه گیری تعاملات پژوهشی وب محور است، شامل موضوعاتی از قبیل اینکه چگونه یک پژوهش توییت می شود یا درباره آن بلاگ نوشته می شود یا بوک مارک می شود. مطالعه و استفاده از سنجه های تأثیر علمی براساس میزان فعالیت در محیط ها و ابزارهای آنلاین به عنوان سنجه های جایگزین یا Altmetrics شناخته می شود. در این بحث به جای استفاده از میزان استنادات مجلات به ضریب تأثیر شبکه های اجتماعی نظیر میزان مشاهده (View) ، بارگذاری (Download) ، علاقه مندی (Likes) ، انعکاس در وبلاگ(blog) میزان توئیت شدن و…..توجه می شود.
منابع
عبدخدا، محمدهیوا. علم سنجی و شاخص های ارزیابی پژوهش، دانشگاه علوم پزشکی تبریز.
فیروز، یمین(۱۳۹۶). آشنایی با شاخص های علم سنجی مرداد ۱۳۹۶، دانشگاه علوم پزشکی بابل.
عباسی، فهیمه(۱۳۹۵). محتواهای آموزشی برخط، دانشگاه علوم پزشکی و درمانی تبریز.
نوروزی چاکلی، عبدالرضا(۱۳۹۲). آشنایی با علم سنجی: مبانی، مفاهیم، روابط و ریشه ها. تهران: سازمان مطالعه و تدوین کتب علوم انسانی دانشگاه ها(سمت).