Can ChatGPT evaluate research quality?

Purpose:Assess whether ChatGPT 4.0 is accurate enough to perform research evaluations on journal articles to automate this time-consuming task.Design/methodology/approach:Test the extent to which ChatGPT-4 can assess the quality of journal articles using a case study of the published scoring guidelines of the UK Research Excellence Framework(REF)2021 to create a research evaluation ChatGPT.This was applied to 51 of my own articles and compared against my own quality judgements.Findings:ChatGPT-4 can produce plausible document summaries and quality evaluation rationales that match the REF criteria.Its overall scores have weak correlations with my self-evaluation scores of the same documents(averaging r=0.281 over 15 iterations,with 8 being statistically significantly different from 0).In contrast,the average scores from the 15 iterations produced a statistically significant positive correlation of 0.509.Thus,averaging scores from multiple ChatGPT-4 rounds seems more effective than individual scores.The positive correlation may be due to ChatGPT being able to extract the author’s significance,rigour,and originality claims from inside each paper.If my weakest articles are removed,then the correlation with average scores(r=0.200)falls below statistical significance,suggesting that ChatGPT struggles to make fine-grained evaluations.Research limitations:The data is self-evaluations of a convenience sample of articles from one academic in one field.Practical implications:Overall,ChatGPT does not yet seem to be accurate enough to be trusted for any formal or informal research quality evaluation tasks.Research evaluators,including journal editors,should therefore take steps to control its use.Originality/value:This is the first published attempt at post-publication expert review accuracy testing for ChatGPT.

Research Progress on Evaluation Frameworks of Regional Ecological Sustainability

As natural ecosystems provide the material basis and fundamental support for regional sustainable devel-opment,the sustainability of natural ecosystems is an important prerequisite and a viable approach for the achievement of regional sustainable development.It is also the final criteria to assess whether sustainable development paradigm is successful.Along with the increasing impacts of human activities on natural ecosystems,the evaluation of regional ecological sustainability has become one of the key issues for research on macro ecology and sustainable development.Based on different unit of indicators,this study firstly groups the evaluation frameworks of regional ecological sus-tainability into three major types:comprehensive index evaluation with dimensionless unit,monetary valuation,and biophysical quantity measurement.We then discuss and compare these types in terms of basic principles,scope of ap-plications,advantages and shortcomings.Finally,drawn on the discussion about characteristics of ecological sustain-ability,we outline the current trend and future directions of regional ecological sustainability evaluation,for instance,transition from sustainable development evaluation to sustainability science,integration of goal-oriented and problem-solving approaches,combination of spatial pattern analysis and ecological sustainability evaluation,and en-hancement of ecological sustainability evaluation at landscape scale.

Research Framework of B3G Mobile Communications Systems

Compared with the services in 3G, services in Beyond 3G (B3G) have some distinctive characteristics such as the packet data services being the majority, more service types, larger scale of services, higher peak transmission rate, enlarged range of transmission rates, more spatial and temporal distribution differences, and more service transmission requests occurring in fast moving vehicles. In order to meet the requirements of B3G services, the B3G systems must have great improvement in network architecture, air interface scheme, radio resource allocation strategy, frequency bands, and Radio Frequency (RF) technology etc. Therefore, the research of the B3G systems should focus on the theory of generalized cellular communications networks, theory of the Multiple Input Multiple Output (MIMO) wireless transmission system, matching of radio resources to new-type air interfaces, new iterative detection and adaptive link methods, and new-type antenna and RF technologies.

Integrating Research Analytic Framework and Personality Matching for Supervisor Recommendation

Supervisor selection is important for research students in their future studies and careers.Currently,students rely on information search or friends recommendation to find potential research supervisors.However,due to the challenges of incomplete and asymmetric information,students can hardly find suitable supervisors that match their research interests as well as personalities.Existing methods mainly consider topic-relevance and candidate-quality,and overlook the significance of connectivity consideration and two-sided matching degree of individuals personality styles.It proposes a novel supervisor recommendation approach that integrates relevance,connectivity,quality and personality-matching dimensions.The results of user-based evaluations demonstrate that the proposed approach generates more satisfactory recommendations as compared to that of all baseline methods.The present solution has been implemented as a social network recommendation service on ScholarMate.

数字赋能文旅深度融合的理论逻辑与研究框架

数字赋能文旅深度融合既是数字经济时代文旅发展的重要方式,又是文旅研究的重要课题。文章在阐述文旅深度融合内涵的基础上,探究了数字赋能文旅深度融合的基本逻辑,认为数字技术嵌入支撑文旅数字化,促进文旅信息融合化,带来文旅产业新变革,形成文旅共生体和数字文旅新形态。从理论研究、数字赋能和融合实践3个维度,初步构建了数字赋能文旅深度融合的研究框架,强调要创新性地运用文旅IP理论、融合共生理论、文旅场景理论、产业演化理论、系统动力学等理论,阐释文旅融合学理及其内在逻辑、演化过程和动力机制,深化文旅深度融合主要科学问题研究。文章提出要把握数字赋能文旅融合的关键技术、文旅资源普查与评价、文旅融合场景建构、文旅产业融合创新生态体系、国家文化公园与文旅融合示范区建设、科技创新与数字文旅人才培养等关键问题,推动文旅融合应用实践和学术研究持续创新,更好地服务于新时代中国式现代化建设和文旅高质量发展。

Google Scholar University Ranking Algorithm to Evaluate the Quality of Institutional Research

Education quality has undoubtedly become an important local and international benchmark for education,and an institute’s ranking is assessed based on the quality of education,research projects,theses,and dissertations,which has always been controversial.Hence,this research paper is influenced by the institutes ranking all over the world.The data of institutes are obtained through Google Scholar(GS),as input to investigate the United Kingdom’s Research Excellence Framework(UK-REF)process.For this purpose,the current research used a Bespoke Program to evaluate the institutes’ranking based on their source.The bespoke program requires changes to improve the results by addressing these methodological issues:Firstly,Redundant profiles,which increased their citation and rank to produce false results.Secondly,the exclusion of theses and dissertation documents to retrieve the actual publications to count for citations.Thirdly,the elimination of falsely owned articles from scholars’profiles.To accomplish this task,the experimental design referred to collecting data from 120 UK-REF institutes and GS for the present year to enhance its correlation analysis in this new evaluation.The data extracted from GS is processed into structured data,and afterward,it is utilized to generate statistical computations of citations’analysis that contribute to the ranking based on their citations.The research promoted the predictive approach of correlational research.Furthermore,experimental evaluation reported encouraging results in comparison to the previous modi-fication made by the proposed taxonomy.This paper discussed the limitations of the current evaluation and suggested the potential paths to improve the research impact algorithm.

面向老龄用户的农机产品感官代偿设计框架研究

【目的】目前面向老龄用户的农机产品感官代偿规律的研究及面向用户劳动状态的产品感官代偿设计应用较少,因此探索农业劳动力老龄化过程中的农机产品感官代偿设计问题意义重大。【方法】综合利用文献分析、案例分析、调研分析等方法,以“问题与方法探索—核心理论构建—设计实践与测评—成果推广应用”为研究逻辑,围绕农机产品作业过程中的“人—机—环境”关系,构建“感官代偿需求—特征分析—测评原则”研究体系,形成“理论构建—设计实践—测评优化”的迭代式研究框架,探索农机产品作业环境中老龄用户的感官代偿规律,并以感官代偿设计和测评为手段,系统整合“老龄用户—农机产品感官代偿”设计流程。【结果】通过研究农机产品设计与老龄用户感官特征,为老龄用户提供较为舒适的作业条件,提高农业机械的感官代偿特性,对促进农业机械适老化发展、提高农业生产的经济效益、保障农机产品老龄用户的使用安全具有促进作用。【结论】本研究可对老龄用户适应农机产品作业环境、顺利使用农机产品提供策略支持,为农机产品企业提供农机产品感官代偿设计案例,并为后续研究提供科学的理论依据。

水灾害和谐防控与智慧模拟研究框架与展望

随着环境加剧变化与科技快速进步,我国水灾害防控事业面临着新的机遇与挑战。为深刻认识水灾害治理与防控,结合国家水灾害防御重大需求,对我国水灾害治理历程进行梳理与阶段划分,提出水灾害(包括干旱、洪涝、水环境污染)和谐防控与智慧模拟研究的必要性,从指导思想、理论基础、关键问题、研究内容、应用实践和发展战略研究六个方面提出水灾害和谐防控与智慧模拟研究框架,并从水灾害防控理论完善、水灾害和谐防控研究、智慧应用前景探索三个方面提出未来研究展望,以期为水灾害防控工作和高质量发展提供业务支撑。

农田水利新质生产力关键内容及研究展望

水利新质生产力是符合新发展理念的先进水利生产力质态,是实现水利高质量发展的关键环节。要以水利新质生产力助力农田发展,推动农田水利新质生产力发展。农田水利新质生产力是水利新质生产力在农田领域的具体实践,是推进实现农业现代化建设和高质量发展的有力路径。为加速落实水利新质生产力在农田领域的部署要求,本文在深入探析农田水利新质生产力和水利新质生产力之间关系的基础上,构建了农田水利新质生产力的研究框架,包括关键问题、战略目标、体系布局和关键内容,并针对农田水利新质生产力的关键内容展开重点研究,最后从理论研究、技术创新和农田改造3个方面提出未来研究展望,为农田水利新质生产力的形成和发展提供参考。

数字产业集群:源起、内涵特征与研究框架

数字产业集群是把握新一轮信息技术革命进而构筑国家竞争优势的关键战略选择。首先,本研究从数字技术兴起、政府政策支持和企业数字化转型三个方面分析了数字产业集群得以兴起的原因。其次,从空间分布、产业范围、协作方式、治理模式等方面对数字产业集群的特征进行了分析。再次,基于“运行载体-发展目标-治理机制-演化过程”的分析思路,提出可以基于平台视角、网络视角、制度视角以及种群生态视角等理论视角对数字产业集群展开研究。最后,提出采用案例研究、定量研究、社会网络分析、定性比较分析等方法对涉及数字产业集群的重要议题展开科学化和规范化分析。

引导企业加强基础研究的有关思考

引导企业加强基础研究、提高企业市场竞争力是增强我国科技创新实力、发展新质生产力和实现高水平科技自立自强的关键。分析了我国企业基础研究的现状与问题,结合世界主要发达国家引导企业加强基础研究的经验,基于基础研究类型、科技企业类型、政策工具类型,研究提出了引导企业加强基础研究的政策体系框架和建议。研究发现,我国企业基础研究存在投入少、动力不足、能力较弱等问题,以及引导企业加强基础研究的政策体系有待完善。研究认为,引导我国企业加强基础研究,需要建立各类创新主体参与、创新要素集聚、创新环境优化以及协同互动、资源共享、合作共赢的开放创新生态系统。在这个生态系统中,需要基于创新主体、创新政策、创新网络、创新环境等综合要素来构建政策体系,并根据基础研究类型、科技企业类型、政策工具类型等多个维度进行差异化的政策设计。最后,从6个方面提出引导企业加强基础研究的政策建议,包括引导企业加强对基础研究的长远布局,建立引导和支持企业开展基础研究的多元化投入机制,鼓励以科技领军企业为龙头构建产学研战略联盟,推动企业基础研究成果转化落地,筑牢企业基础研究的人才发展根基,建立面向企业基础研究的知识挖掘服务平台。

透析期间饮食管理最佳证据临床应用的障碍因素分析——基于CFIR理论

目的 探究透析期间饮食管理最佳证据临床应用的障碍因素。方法 以实施性研究整合框架(CFIR)为理论指导,制定访谈提纲并进行半结构式访谈,抽取护士作为研究对象,应用Colaizzi七步法分析资料。结果 共形成5个主题,分别是创新、外部因素、内部因素、个体和实施过程。创新方面包括2个亚主题:部分证据未充分考虑临床情景,适用性不高;缺乏相关知识的培训,护士知识更新不及时。外部因素方面包括1个亚主题:社会支持是促进变革重要的外部力量。内部因素方面包括3个亚主题:虽然变革会增加护士工作量,但利大于弊;流程规范化,健康教育材料是必需;注意保持良好护患关系,促进变革顺利开展。个体方面包括2个亚主题:护理人员变革决心强,中层领导在变革中起关键作用。实施过程方面包括2个亚主题:患者的宣教工作是主要的困难,部分证据未充分考虑患者意愿。结论 应制定规范的透析期间饮食管理流程、完善系统培训机制、丰富健康教育材料、充分考虑证据的临床情景和患者意愿,以推动在临床上应用透析期间饮食管理最佳证据。

科技智库研究的理论、方法与范式——基于系统性文献分析

随着中国科技智库研究的不断深入,需要对相关文献进行系统回顾与反思,以为后续更加科学和全面地开展相关研究提供参考。基于系统性文献综述方法,构建科技智库研究的2W1H分析框架,分别从科技智库研究基础理论、科技智库研究方法以及科技智库研究范式3个维度对2010—2022年中国科技智库研究文献进行系统梳理和分析。研究发现:①中国科技智库研究发展较为迅速,学术界从不同视角对其展开探究,相关研究已逐步由浅入深,由萌芽阶段向纵深阶段发展;②科技智库研究仍存在基础理论研究较为薄弱,研究方法相对贫乏且呈割裂状态,研究范式重构与创新不足等问题;③推动理论上的批判与建构,方法上的拓展与改进,范式上的丰富与创新是科技智库研究的未来路向。本研究从理论、方法与范式层面实现了对科技智库研究的系统分析与再发现,为相关研究提供了有益借鉴。

制造企业数字服务化:内涵解析、研究演进与整合框架构建

数字服务化是制造企业高质量发展的关键战略。然而,数字服务化文献呈零散状态,亟须明晰内涵、梳理脉络、识别未来方向和探索整合研究框架。本文按照内涵解析—研究演进—框架构建的逻辑,分析来源于Web of Science的数字服务化领域(2009—2022年)的227篇英文文献。研究发现:从内涵发展看,数字服务化尚未有统一界定,但可识别其内涵核心要素;从研究热点与理论演进看,数字服务化研究从关注ICT技术对企业服务创新的重要作用到剖析数字化在服务化中的作用,再到强调服务生态系统对数字服务化的重要性,理论视角从商业模式理论、价值共创理论向服务主导逻辑、服务生态系统视角演进;从研究主题看,现有研究主要围绕数字服务化情境、能力、模式、连结及结果五大主题。本文据此构建起“大数据分析能力—模块化解决方案创新—客户/供应商/政府参与—企业升级”的一个整合研究框架,为数字服务化未来研究提供借鉴与启示。

土木工程建造系统脆弱性研究综述

现有工程建造风险主要考虑风险事件发生概率与风险后果严重程度,少有结合系统脆弱性开展研究。脆弱性作为系统固有属性,在外界干扰下表现出的不利影响严重制约风险管控过程,但尚未有学者对土木工程建造系统脆弱性的研究现状进行科学评述。通过主题检索和学科分类,共筛选出103篇英文文献和96篇中文文献,运用Citespace文献分析软件统计了发表时间和期刊分布,归纳了研究热点和作者-机构合作情况;从脆弱性概念内涵、分析框架与评价过程等方面评述了土木工程建造系统的脆弱性。研究发现:土木工程建造系统脆弱性的研究当前仍处于探索阶段;常用脆弱性分析框架主要包括脆弱性递次演化分析框架、脆弱性-风险分析框架和灾害-脆弱性分析框架;脆弱性评价对象主要聚焦于施工安全系统、应急管理系统和项目管理系统;脆弱性影响因素识别和指标体系构建主要涵盖人-机-环-管框架、脆弱性特征维度框架和外部环境-项目参与方-项目特征框架。未来,可借鉴其他学科领域成熟的脆弱性理论成果,结合土木工程建造系统的特点,构建清晰准确的脆弱性概念与分析框架、探索科学适用的指标体系、深化实际应用与拓展研究。研究系统性梳理了土木工程建造系统脆弱性的研究现状,可为后续相关研究提供启发和参考。

循证政策:研究内容、主题框架与未来展望

关于循证政策的研究正处于公共管理方法与理论的前沿位置。为完整展示该研究领域的前沿问题,本文采用系统文献综述法(Systematic Literature Review)对循证政策研究成果进行总结。循证政策的理论研究、技术在循证政策中的运用机制、基于循证理论的政府决策问题、循证实践在其他社会科学中的运用,这四个部分组成了循证政策研究的主要内容。其中,循证政策形成的大致思路,即“数据–信息–证据–实践”的过程,并非只存在单向运行的情况,还蕴含着反馈、转化和助推的方式。对此,本文提出了循证政策的主题框架,并围绕两大问题,分为四个研究内容展开探究。本文进一步从政府循证治理、融入当地文化、技术赋能循证、证据分级量化这四个角度提出了未来展望。总之,本文的理论贡献在于帮助学界掌握循证政策的研究现状。

与AI“共舞”:系统化视角下的AI-员工协作

AI-员工协作是一个以高效完成任务为目标,由“AI-人-组织”构成的交互系统。促进AI-员工协作对于推动AI与实体经济的深度融合,以及员工在数字化时代的心理健康与职业发展至关重要。AI与员工的交互关系错综复杂,现有研究呈现碎片化特点,缺乏对AI-员工协作的整体认识。因此,有必要在厘清相关概念的基础上,对AI-员工协作的相关研究进行系统地梳理。通过对相关研究的系统性回顾,本文厘清了AI和AI-员工协作的内涵,梳理了AI-员工协作系统的构成要素,分析了构成要素的作用和影响,并进一步基于系统化的视角构建了一个研究框架。最后,基于AI-员工协作的研究框架提出未来研究展望。