Подходы, основанные на количественных подсчетах статей, патентов не имеют выхода на качественные аспекты результатов исследований. Поэтому большинство исследователей придерживаются мнения, что наиболее приемлемым способом оценки исследований остается метод содержательной компонентной оценки, осуществляемый с привлечением экспертов, с использованием балльных оценок результативности НИР. Все они основаны на нескольких простых положениях:
1. Каждому научному результату присваивается определенный численный балл;
2. При наличии нескольких критериев каждому критерию присваивается определенный «вес», характеризующий значимость ожидаемого частного результата в общей результативности научного исследования;
3. При проведении оценки научной результативности значения баллов по каждому частному виду научного результата умножается на соответствующее значение весового коэффициента и суммируются.
В качестве примера подобного подхода к оценке значимости научных
исследований можно привести методику оценки научного эффекта, разработанного В.С. Либенсоном. Им была предложена шкала с пятью характеристиками класса научной информации. Каждый класс оценивался баллом – от 1 за описание отдельных элементарных факторов до 5 за работу в области законов теорий – и пятью показателями степени новизны (разработка новой теории оценивается в 10000 баллов). Таким образом, осуществлена попытка выявить научный эффект путем перемножения баллов класса научной информации на баллы степени новизны. При работе в области элементарных наблюдений научный эффект оказывается равным 1(1*1), при высоком классе научной информации – осуществлении деятельности в области познания новых теорий – результат научного эффекта может достигнуть 50 000 (5*10 000).
Например, А.С. Запаснюк важнейшими признаками научно-технического эффекта считает уровень новизны, теоретический уровень и возможность реализации. Он принципиально новый уровень новизны разработки оценивает в 8-10 баллов, а традиционный - в 1 балл. Для оценки результатов ФИ и ПИ это правильно, но при оценке результата ОКР подобное утверждение может дезориентировать разработчика. Стремясь повысить коэффициент научно-технического эффекта, он будет пытаться увеличивать новизну деталей любой ценой.
Несколько более точные признаки научно-технического эффекта приведены В.А. Покровским: научно-технический уровень предлагаемых результатов, перспективность (первостепенная важность, полезность), возможный масштаб внедрения (народнохозяйственный, отраслевой) и степень вероятности успеха (большая, умеренная, малая). Оценка, приведенная В.А. Покровским, основана только на применении балльной системы.
Практический интерес представляют разработанные К.Г. Федоровым шкалы градаций показателей новизны и уровня внедряемости, которые, по мнению автора, являются критериями эффективности и качества научно-технической работы. В основе оценки шкал лежит все та же балльная система. Построение шкалы уровня новизны предусматривает дифференцированный подход к работам разного характера, направленным или на получение новых знаний (ФИ), или на разработку новых видов продукции (НИОКР). Диапазон между высшим и низшим уровнями новизны принят от 50 до 1 балла диапазон между высшим и низшим уровнем внедряемости – от 7 до 1 балла. По мере приближения к практическому использованию в промышленности баллы возрастают. Чтобы определить научно-технический эффект К.Г. Федоров предлагает перемножить оценки уровня новизны и уровня внедряемости. Это позволяет сравнивать работы разного направления: ФИ с высоким уровнем новизны и малой степенью внедряемости и прикладные работы, внедрение которых осуществляется в короткие сроки, но уровень новизны не всегда высок. Низкий уровень оценки по одному показателю компенсируется высокой оценкой по-другому.