Недостатки индексов цитируемости и Хирша. Индексы максимальной цитируемости

Обсуждаются индекс цитируемости и индекс Хирша, которые являются главными наукометрическими показателями, используемыми в настоящее время для оценки эффективности деятельности научных работников и преподавателей вузов. Указаны их основные недостатки. Рассмотрен ряд наглядных примеров. Показано, что нормированный индекс цитируемости (учитывающий наличие соавторов) имеет ряд ощутимых преимуществ по сравнению с другими наукометрическими показателями. Предложены новые индексы — индексы максимальной цитируемости, которые легко вычисляется, допускают простую и ясную интерпретацию и обладают рядом ощутимых преимуществ по сравнению с индексом Хирша.

В последнее время Минобрнауки РФ стало оценивать эффективность деятельности научных работников и преподавателей вузов с помощью наукометрических показателей, основанных на международных системах цитирования Web of Science, Scopusи др. В данной статье обсуждается объективность этих показателей и указаны их недостатки на примере наиболее популярной системы Web of Science, принадлежащей корпорации Thomson Reuters (США). Даны конкретные рекомендации и приведены новые простые формулы, позволяющие лучше оценивать эффективность деятельности ученых.

Замечание 1.Все сказанное ниже в полном объеме относится также к Российскому индексу научного цитирования (РИНЦ).

1. Предварительные замечания

Не существует наукометрических показателей, которые способны абсолютно точно оценивать эффективность деятельности научных работников. Однако нельзя не признать и важность наукометрии: она позволяет путем количественного анализа публикаций и их цитируемости сравнивать условную эффективность деятельности ученых, а также определять, какие направления науки сейчас особенно популярны, какие, наоборот, утрачивают популярность. Но абсолютизировать эти данные и принимать решения, основываясь только на них, совершенно недопустимо.

Международный союз математиков в июне 2008 г. распространил доклад, в котором говорится, что статистика цитирований может дать только ограниченную и неполную оценку качества проведенного исследования и что необходимо очень осторожно и корректно использовать эту статистику. В настоящее время существует множество наукометрических показателей, достаточно полное описание которых можно найти в [1–6]. На практике наиболее широкое распространение получили два наукометрических показателя: индекс цитируемости и индекс Хирша [1], которые используются системой Web of Science. Указанные индексы обладают рядом существенных недостатков, которые обсуждаются ниже в разд. 2и 3. В разд. 4–6описаны наукометрические показатели, позволяющие делать значительно более точные сравнительные оценки условной эффективности деятельности ученых.

При сравнении наукометрических показателей безусловное предпочтение должно отдаваться (при прочих равных) наиболее простым и легко вычисляемым показателям, которые допускают очевидную или несложную интерпретацию.

2. Индекс цитрируемости (ИЦ)

Индекс цитируемости Iопределяется суммарным числом ссылок на статьи данного ученого в статьях других авторов:

где N – общее число цитируемых работ, C_i – число ссылок на i-ю работу. Учитываются только статьи, входящие в достаточно широкий (но ограниченный) список англоязычных журналов, индексируемых системой Web of Science. Самоцитирование не учитывается.

Сейчас ИЦ отводится важное место в оценке деятельности ученого, поскольку большое число ссылок на работы автора, как правило, говорит о востребованности его исследований и популярности в научном сообществе.

Основные недостатки использования индекса цитирования:

1. Индекс цитируемости не учитывает личный вклад автора (при подсчете ИЦ все равно писались ли статья десятью авторами или автор был один).
2. В стандартной схеме ИЦ, используемой Web of Science, не учитываются ссылки на книги и другие публикации, отличные от журнальных статей см. Примеры 1–3). Не учитываются также ссылки в неанглоязычных источниках.
3. В индексе цитируемости учитываются даже те ссылки, где статьи автора подвергаются серьезной критике (см. Пример 4) и результаты считаются ошибочными или просто недостоверными (например, с подтасованными экспериментальными данными).
4. Некоторые пионерские работы незаслуженно забываются, а цитируются вторичные работы, опубликованные позже (см. Пример 5). В ряде случаев это связано с появлением различных приложений. См. также п. 11.
5. Цитирование сильно зависит от журнала, где публикуется статья. Нередко наибольшее цитирование приносят не научные, а научно-популярные статьи (см. Пример 6).
6. Если работа важная, но достаточно сложная для понимания, то её цитирование может откладываться на многие годы.
7. Совершенно не учитываются ссылки на статьи, приведенные даже в известных и хорошо цитируемых книгах (подобные ссылки в книгах учеными обычно ценятся значительно выше, чем ссылки в обычных статьях).
8. Мало цитируются статьи, опубликованные в переводных журналах (поэтому необходимо делать поправку при сравнении ИЦ российских и зарубежных ученых).
9. Цитирование часто зависит от личных отношений и других случайных факторов.
10. Существуют различные способы искусственного наращивания ИЦ (например, друзья и коллеги договариваются о взаимных цитированиях результатов друг друга и др.).
11. Встречаются случаи, когда специально игнорируются и мало цитируются (вообще не цитируются) работы ученых, не принадлежащих доминирующей научной школе.

Указанные и некоторые другие недостатки сильно снижают объективность и значимость индекса цитируемости для оценки эффективности деятельности научных работников и преподавателей вузов. Рассмотрим несколько ярких примеров, подчеркивающих недостатки ИЦ.

Пример 1.Григорий Перельман был выдвинут на две самые престижные международные премии в области математики (но отказался их получать) за результаты, опубликованные в трех препринтах в arXiv.org. На эти работы имеется множество ссылок в журналах, индексируемых Web of Science, однако поскольку препринты не индексируются этой системой, то все ссылки на них не учитываются при подсчете ИЦ (сказанное в полной мере относится также к индексу Хирша, о котором пойдет речь ниже).

Пример 2.Статью Б.П. Белоусова в 1951 г. дважды отклоняли в редакциях советских журналов, поэтому опубликовать результаты исследований колебательной реакции (реакция Белоусова–Жаботинского) он смог только в сокращенном виде спустя 8 лет в ведомственном сборнике, выходившем небольшим тиражом. Впоследствии эта статья стала одной из самых цитируемых в данной области. Web of Science игнорирует подобные публикации и ссылки на них.

Пример 4.Один американский ученый китайского происхождения с высоким индексом цитируемости (назовем его W) недавно написал много статей, которые примерно назывались так: "Новые точные решения уравнения (далее шло название уравнения)". Мой коллега профессор (назовем его K) обнаружил, что во всех этих статьях нет новых решений. В результате он опубликовал ряд статей, в которых было доказано, что в статьях Wнет новых результатов. Через некоторое время Kполучил от Wписьмо примерно следующего содержания: "Ну что ты ко мне привязался? Знай, что все твои публикации, направленные против меня, повышают мой индекс цитируемости!"

Пример 6.Наиболее престижные журналы Natureи Scienceчасто помещают научно-популярные статьи, которые широко цитируются и индексируются Web of Science, но не содержат обоснованных научных результатов. По мнению Рэнди Шекмана (лауреат Нобелевской премии по медицине 2013 года) редакторов этих журналов, которые являются не учёными, а издателями, интересует прежде всего шумиха, сенсация и фурор.

Для широкого круга ученых, которые преимущественно публикуются в соавторстве (зачастую в многочисленном), ИЦ практически бесполезен для оценки их деятельности.

Отметим единственное очевидное достоинство подсчета ИЦ (с учетом всех видов публикаций ученого, включая статьи, книги и препринты). Если работы автора не цитируются или очень мало цитируются, то они:

(i) либо малоинтересны и никому не нужны,

(ii) либо еще не востребованы (что бывает значительно реже).

Замечание 4.Данные Web of Science и любых других поисково-аналитических систем, включая Google Scholar, обязательно требуется проверять, поскольку при цитировании работ авторы публикаций нередко вносят различные неточности (не только в выходных данных и названии работы, но даже при написании фамилий авторов, особенно если цитируется неанглоязычная статья). Наибольшие неточности возникают при цитировании книг (в книге и на сайте издательства может быть указан разный год издания, что приводит к путанице при ее цитировании). См. также замечание 9.

Отметим также, что в последнее время в мире появилось много научных журналов, которые выкладывают статьи в свободном доступе в Интернете (Open Access Journals). За публикации в этих журналах авторы платят деньги, иногда немалые (рецензирование в этих журналах обычно носит формальный характер). Часть этих журналов индексируется Web of Science. Таким образом, имеется реальная возможность наращивать количество публикаций и индексы цитирования за деньги.

3. Индекс Хирша (ИХ)

Индекс Хирша (h-индекс) определяется так [1, 9]:

Учёный, опубликовавший Nстатей, имеет индекс h, если hего статей цитируются не менее, чем hраз каждая, а любая из оставшихся (N–h) статей цитируются не более, чем h раз.

Для определения ИХ статьи автора нумеруют в убывающем порядке по суммарному числу ссылок на каждую из них (статьи с одинаковым цитированием произвольно располагаются одна за другой и последовательно нумеруются). Имеем C₁≥ C₂≥ C₃≥ ... (C_k – число ссылок на k-ю работу). Если есть статья, номер которой kсовпадает с числом её цитирований C_k, то это и есть индекс Хирша: h = k = C_k. Если такой статьи нет, то индекс Хирша hравен номеру статьи k, для которой одновременно выполняются два неравенства: C_k> k, C_k+1< k+1. Эти неравенства можно заменить одним условием: (C_k– k)(C_k+1– k– 1) < 0.

Индекс Хирша имеет достаточно сложную и весьма неубедительную интерпретацию, которая непонятна подавляющему большинству специалистов далеких от физики (включая, в первую очередь, людей, работающих в гуманитарных науках).

Индекс Хирша существенно зависит от области исследований. Например, в математике он существенно ниже, чем в физике, а в физике существенно ниже, чем в биохимии и медицине.

ИХ многократно критиковался в различных работах (см. например [10–12]).

Основные недостатки использования индекса Хирша:

1. Индекс Хирша не учитывает информацию о наиболее важных высокоцитируемых работах.
2. Индекс Хирша не учитывает личный вклад автора (при подсчете ИХ все равно писались ли статья десятью авторами или автор был один).
3. В стандартной схеме ИХ, используемой Web of Science, не учитываются ссылки на книги авторов. Не учитываются также ссылки в неанглоязычных источниках.
4. В индексе Хирша учитываются даже те ссылки, где статьи автора подвергаются серьезной критике и результаты считаются ошибочными или просто недостоверными.
5. Cтандартная система подсчета ИХ не различает цитирования данного ученого другими учеными от его самоцитирования. Это открывает возможности для искусственного увеличения ИХ.
6. Два человека с одинаковыми ИХ могут иметь полную цитируемость (ИЦ), отличающуюся в десятки раз (см. Пример 7ниже).
7. Сопоставление ученых по ИХ может приводить к совершенно абсурдным результатам (см. Пример 8ниже).
8. Цитирование статей из переводных российских журналов происходит двумя различными способами: либо указывается англоязычное название журнала, либо латинскими буквами дается его русскоязычное название. Web of Science воспринимает цитирование такой статьи как цитирование двух различных статей (при этом ИХ может уменьшиться).
9. Другие недостатки ИХ аналогичны недостаткам ИЦ, описанным в пп. 4–11в разд. 2.

Рассмотрим пару конкретных примеров, подчеркивающих существенные недостатки сопоставления деятельности ученых по ИХ.

Пример 7.Первый ученый написал в соавторстве 10 статей, каждая из которых цитируется 10 раз. Второй ученый один написал 10 статей, каждая из которых цитируется 100 раз, и 100 статей, каждая из которых цитируется 10 раз. Индексы Хирша первого и второго ученого одинаковы и равны 10. При этом суммарная цитируемость этих ученых отличается в 20 раз в пользу второго ученого (даже без учета соавторства первого).

Отметим, что шесть примеров, приведенных в разд. 2в полной мере справедливы и для ИХ.

Простейшие попытки улучшить ИХ основаны на учете соавторов. В частности, вводился индивидуальный h-индекс [3], равный результату деления обычного ИХ на среднее число авторов в статьях, которые входят в Хирш-ядро публикаций (используемых для его вычисления). Предлагалась также модификация индивидуального ИХ, когда вместо полного числа цитирований каждой статьи используется отношение числа цитирований к числу авторов публикации. Другие возможности учета числа соавторов обсуждаются в работе [9].

Следует отметить однако, что индекс Хирша и его модификации, указанные выше, практически полностью игнорируют наиболее важную информацию о высокоцитируемых работах, которыми обычно гордятся ученые. Нелепая логика использования этого индекса аналогична тому, когда врач при анализе состояния здоровья больного учитывает только его рост, вес или цвет волос. Если бы аналог индекса Хирша использовался в спорте, то чемпионами были бы спортсмены, имеющие стабильные средние (а не максимальные) результаты.

Вывод:индекс Хирша абсолютно бесполезен для анализа эффективности деятельности научных работников поскольку может привести не только к грубым ошибкам, но и к совершенно абсурдным результатам.

Для иллюстрации дополнительных проблем, которые мы пока не затрагивали и которые возникают при вычислении ИЦ и ИХ, попробуем разобраться в данных по цитированию Г.Я. Перельмана (см. Пример 1). Web of Science приводит информацию по цитированию 20 публикаций, 5 из которых надо сразу отбросить, поскольку они относятся к Галине Перельман или отличаются вторым инициалом. В остальных инициал или инициалы правильные, но есть года, когда Гриша уже перестал публиковаться или не совпадает тематика. Для того, чтобы отсечь лишнее, надо смотреть исходные статьи в журналах (здесь нужен специалист, не чиновник). Это наиболее простой пример, поскольку статей и однофамильцев мало.

В табл. 1в первом и третьем столбцах приведены значения ИЦ и ИХ, которые выдает Web of Science на всех Перельманов сразу (при этих расчетах не учитывались ссылки на публикации Перельманов, которые не входят в базу Web of Science, хотя сами ссылки могли даваться в журналах из этой базы). Во втором и четвертом столбцах даны значения ИЦ и ИХ Гриши Перельмана, которые учитывают скрытые ссылки из журналов, индексируемых Web of Science (см. замечание 6). Из табл. 1видно, что ИЦ и ИХ могут в три – пять раз различаться в зависимости от способа проведения подсчета. Исходя из результатов применения стандартной методики Web of Science, можно сделать очевидный, но ошибочный вывод, что Г. Перельман самый заурядный специалист (а не выдающийся ученый). Неоднозначность интерпретации значений ИЦ и ИХ (и методов их подсчета) дает широкий простор для различных манипуляций чиновников от науки.

4. Нормированные индексы цитируемости

Чтобы учесть индивидуальный вклад ученого при наличии соавторов надо общее число цитирований на данную статью поделить на число ее авторов (простой бытовой аналог: деление ящика яблок на несколько человек). Поэтому вместо индекса цитируемости следует использовать нормированный индекс цитируемости I_n, который учитывает наличие соавторов (нередко и весьма многочисленных), и определяется так [6]:

где N – общее число цитируемых работ, C_i – число ссылок на i-ю работу, M_i – число соавторов i-ой работы. В этой формуле помимо ссылок на статьи надо учитывать также ссылки на книги и препринты в статьях, которые имеются в базе цитирования Web of Science (тогда будут исключены нелепости, подобные тем, которые имеют место с цитированием работ Г. Перельмана, см. Пример 1выше).

Приведенная формула для I_nустраняет два наиболее существенных недостатка стандартного индекса цитирования, указанных в пп. 1и 2разд. 2.

Основными недостатками нормированного индекса цитируемости является трудоемкость:

(i) вычисления I_nпри больших значениях N,

(ii) проверки вручную приведенных в разных источниках данных I_n.

Для оценки деятельности ученых целесообразно использовать также величину I_nT – нормированный индекс цитируемости за определённый период времени (например, за последние пять лет, T=5). Этот индекс является текущим показателем эффективности работы ученого за последнее время.

Замечание 6.Нормированный индекс цитируемости можно определить, используя данные о "скрытых ссылках"с помощью Web of Science (опция "Cited Reference Search").

Замечание 7.Нормированные индексы цитирования I_nи I₇некоторых российских ученых и другие любопытные данные приводятся в Интернете [6]. Нормированный индекс цитируемости Г. Перельмана с учетом скрытых ссылок дан в табл. 1.

5. Использование индексов цитируемости для оценки работы коллективов

Нормированный индекс цитируемости удобно использовать при оценке эффективности деятельности работы научных коллективов (лабораторий, институтов и др.). При этом нормированный индекс цитируемости коллектива определяется простой суммой индивидуальных нормированных индексов цитируемости отдельных ученых, составляющих коллектив (индивидуальные ИЦ и ИХ при наличии соавторов в коллективе суммировать нельзя).

Полезно использовать также относительный (удельный) индекс цитируемости, который равен нормированному индексу цитируемости коллектива, деленному на число входящих в него людей.

6. Индекс максимальной цитируемости (f-индекс)

Как было указано раньше, индекс Хирша уничтожает наиболее важную информацию о высокоцитируемых работах. Мы же считаем, информация о высокоцитируемых работах должна быть основой для оценок эффективности деятельности научных работников.

В настоящее время существует ряд индексов, которые учитывают публикации с наибольшим цитированием (g-индекс и др. [2–4]). Однако они достаточно сложны для интерпретации и практического использования.

Чтобы наиболее полно использовать информацию о самых цитируемых работах надо взять несколько (например, пять) наиболее цитируемых работ автора, и просуммировать на них ссылки с учетом соавторства. В результате получим простую формулу

где C_i,max – число цитирований первых пяти публикаций с максимальным числом ссылок, M_i – число соавторов этих публикаций. Величину (4) будем называть индексом максимальной цитируемостиили f-индексом (буква f – сокращение от слова five). Величина (4) легко вычисляется и учитывает наиболее важные данные о высокоцитируемых работах, которыми больше всего гордятся авторы (и которая полностью теряется при использовании индекса Хирша). Используя условную, но весьма наглядную, аналогию со спортом мы предлагаем учитывать лишь наивысшие (рекордные) результаты по цитированию.

Формулу (4) можно нормировать (поделить на число публикаций), что дает f_n = f/5.

Первые пять публикаций с максимальным числом ссылок будем называть базисными (или главными) публикациями.

Пример 9.Проиллюстрируем простоту и эффективность использования формулы (4) на примере публикаций проф. Н.А. Кудряшова (МИФИ). Используя данные Web of Science, за несколько минут находим 5 публикаций с наивысшим цитированием (эти публикации написаны без соавторов, количество ссылок на них: 66, 73, 84, 100, 201). По формуле (4) находим индекс максимальной цитируемости: f = 524. Эта величина составляет более 30 % от нормированного индекса цитируемости (2) (см. табл. 2) и вполне достаточна, для того чтобы сделать заключение: Н.А. Кудряшов является крупным ученым. Для нормированного индекса максимальной цитируемости имеем f_n = 105. Важно отметить, что приведенные данные легко вычисляются и легко проверяются (что значительно сложнее сделать для любых других наукометрических показателей).

Полезно ввести также модифицированный индекс максимальной цитируемости (или f_m–индекс), который определяется так:

где используются первые пять публикаций с максимальным нормированным (на количество соавторов) числом ссылок. При отсутствии соавторов, т.е. при M_i = 1, формулы (4) и (5) совпадают. В общем случае для данного автора выполняется неравенство f_m≥ f.

Пример 10.Применим формулу (5) для анализа публикаций Г. Перельмана (результаты округляем до целых величин). Исходя из данных Web of Science (опция "Cited Reference Search") находим 5 публикаций, написанных без соавторов, с цитируемостью C_i = 56, 58, 58, 61, 125 (были отброшены три публикации с цитируемостью C_i = 66, 83, 118, написанные в соавторстве и дающие меньшие отношения C_i/M_i). В итоге по формуле (5) получим f_m = 358 (использование формулы (4) дает меньшую величину f = 302). Поделив f_mна число публикаций (равное пяти), находим нормированный модифицированный индекс максимальной цитируемости f_mn = 72.

Пример 11.Анализ работ акад. Л.В. Овсянникова (по данным Web of Science, опция "Cited Reference Search") дает 5 публикаций, написанных без соавторов, с цитируемостью C_i = 41, 67, 91, 133, 199 (отброшена одна публикация с цитируемостью C_i = 46, написанная в соавторстве). По формуле (5) находим индекс максимальной цитируемости f_m = 531и, соответственно, f_mn = 106.

Замечание 9.На самом деле данные Л.В. Овсянникова по индексам f_mи f_mnсильно занижены. Здесь мы использовали англоязычный перевод фамилии Ovsyannikov, однако при цитировании часто встречается также альтернативный вариант Ovsiannikov. Если учесть оба варианта англоязычного написания фамилии, то надо брать данные C_i = 81, 91, 133, 199, 918. В результате получим f_m = 1422и f_mn = 284.

Возможные различные написания русскоязычных фамилий, переводимых на английский язык, необходимо учитывать при вычислении любых наукометрических показателей.

В табл. 2для сравнения приведены различные наукометрические показатели цитируемости упомянутых ранее ученых. В столбцах 2–4 используются результаты [6], полученные по данным Web of Science с использованием опции "Cited Reference Search".

Из табл. 2видно, что у ученых, включенных в таблицу, для различных наукометрических показателей сохраняются свойства, выраженные неравенствами (т.е. если h-индекс у ученого A был больше, чем у ученого B, то и f_m–индекс у ученого A будет больше). Сказанное говорит о предпочтительности использования индекса максимальной цитируемости, который легко интерпретируется и вычисляется существенно проще, чем другие наукометрические параметры.

Замечание 10.Помимо f_m – и f_mn – индексов можно ввести аналогичные индексы за определенный промежуток времени (например, за пять лет).

7. Заключение

Нормированные индексы цитируемости (см. разд. 4) являются существенно более точными наукометрическими показателями эффективности деятельности научных работников, чем стандартный индекс цитируемости (см. разд. 2), поскольку позволяют учесть наличие соавторов и охватить более широкий круг цитируемых работ. Однако они достаточно сложны для вычисления и проверки.

Индекс Хирша (см. разд. 3) – нелепое наукообразие, которое вообще следует исключить из анализа эффективности деятельности ученых [11, 12].

Целесообразно использовать легко интерпретируемые индексы максимальной цитируемости (4) и (5) (f–индекс и f_m–индекс), которые просто и быстро вычисляются, поскольку учитывают всего несколько базовых публикаций с наибольшим цитированием.

Замечание 11.Очевидно, что нормированный индекс цитируемости и индекс максимальной цитируемости, при всей их условности, являются более объективными показателями эффективности деятельности ученых, чем их должности, звания и ученые степени.

При разработке любых индексов цитируемости должен исповедоваться основной принцип: все равно в каком виде и где была опубликована научная работа, лишь бы ссылки на нее были в статьях, индексируемых базой Web of Science (или другой используемой базой данных). Такой подход опирается на очевидный факт: результаты работы никоим образом не зависят от места и формы ее опубликования.

Любые сравнения эффективности работы ученых на основе наукометрических параметров должны проводиться весьма осторожно, не выходя за узкие пределы научных специальностей.

Полезно привести слова директора немецкого Математического института Макса Планка (это один из самых авторитетных математических институтов) Вернера Бальмана [13]: "Библиометрические данные – это опасное оружие (тем более в руках неэкспертов)..."Поэтому анализ наукометрических показателей и их грамотное использование при оценке эффективности деятельности научных работников и преподавателей вузов обязательно должны контролировать квалифицированные специалисты в соответствующей области знаний (при необходимости с учетом дополнительных экспертных оценок). Попытка создания карты российской науки убедительно показала недопустимость привлечения к подобной деятельности людей без надлежащего образования и квалификации [14].

Замечание 12.Не учет русскоязычных публикаций при вычислении и использовании любых наукометрических показателей наносит большой вред и тормозит развитие российских журналов. Это связано с тем, что в последнее время российские авторы для увеличения своих ИЦ, ИХ и др. индексов наиболее важные статьи все чаще предпочитают публиковать в зарубежных журналах, уменьшая тем самым “корзины” российских журналов и усложняя доступ к информации российских читателей. В результате импакт-факторы российских журналов уменьшаются, а западных – увеличиваются (в том числе и за счет притока хороших статей российских авторов).

Список литературы

1. J.E. Hirsch. An index to quantify an individual’s scientific research output. Proc. Nat. Acad. Sci. // 2005. Vol. 102(46). P. 16569–16572 (см. также http://arxiv.org/abs/physics/0508025).
2. L. Egghe. Theory and practise of the g-index // Scientometrics. 2006. Vol. 69. No. 1. P. 131–152.
3. А.В. Цыганов. Краткое описание наукометрических показателей, основанных на цитируемости // Управление большими системами. 2013. Вып. 44. С. 248–261 (http://eqworld.ipmnet.ru/ru/info/UBS4413.pdf).
4. С.Д. Штовба, Е.В. Штовба. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами. 2013. Вып. 44. С. 262–278 (http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf).
5. Сборник "Игра в цыфирь, или как теперь оценивают труд ученого". М.: МЦНМО, 2011. 72 c. (http://eqworld.ipmnet.ru/ru/info/bibliometric.pdf)
6. Индексы цитирования работ российских учёных (проекты "Кто есть кто в российской науке"и "Корпус экспертов"): http://expertcorps.ru/science/whoiswho
7. Par Renard de la Taille. Relativite Poincare a precede Einstein // Science et Vie. 1995. No. 931. P. 114–119 (перевод статьи В.Ф. Журавлева с французского на русский язык см. http://eqworld.ipmnet.ru/ru/education/scientists/poincare_einstein.htm).
8. H.D. Cao, X.P. Zhu. A complete proof of the Poincare and geometrization conjectures – Applications of the Hamilton–Perelman theory of the Ricci flow // Asian J. Mathematics. 2006. Vol. 10. No. 2. P. 165–492.
9. J.E. Hirch. An index to quantify an individual's scientific research output that takes into account the effect of multiple coauthorship // Scientometrics. 2010. Vol. 85. P. 741.
10. R. Rousseau, C. Garcia-Zorita, E. Sanz-Casado. The h-bubble // Journal of Informetrics. 2013. Vol. 7. P. 294–300.
11. Г. Георгиев. Индекс Хирша надо исключить из оценки учёных // Наука и технологии России, 17.11.2011 (http://www.ras.ru/digest/showdnews.aspx?id=a0bf7e70-afd7-4d23-b4d1-259f3ae54d11&print=1).
12. А.Д. Полянин. Об индексе Хирша и других наукометрических показателях. Научное сообщество // 2013. No. 8–9. С. 20–22 (см. также http://eqworld.ipmnet.ru/ru/info/sci-edu/Polyanin_IndexH_2013.html).
13. Ю. Неретин. Великий библиометрический джихад // Независимая газета. 10.12.2013 (http://www.ng.ru/science/2013-12-11/11_ran.html).
14. П. Котляр. Физики-гинекологи и математики-литераторы. Учёные раскритиковали проект "Карта российской науки" // Газета.Ру. 27.11.2013 (http://www.gazeta.ru/science/2013/11/27_a_5771569.shtml).