Can ChatGPT evaluate research quality?

Purpose:Assess whether ChatGPT 4.0 is accurate enough to perform research evaluations on journal articles to automate this time-consuming task.Design/methodology/approach:Test the extent to which ChatGPT-4 can assess the quality of journal articles using a case study of the published scoring guidelines of the UK Research Excellence Framework(REF)2021 to create a research evaluation ChatGPT.This was applied to 51 of my own articles and compared against my own quality judgements.Findings:ChatGPT-4 can produce plausible document summaries and quality evaluation rationales that match the REF criteria.Its overall scores have weak correlations with my self-evaluation scores of the same documents(averaging r=0.281 over 15 iterations,with 8 being statistically significantly different from 0).In contrast,the average scores from the 15 iterations produced a statistically significant positive correlation of 0.509.Thus,averaging scores from multiple ChatGPT-4 rounds seems more effective than individual scores.The positive correlation may be due to ChatGPT being able to extract the author’s significance,rigour,and originality claims from inside each paper.If my weakest articles are removed,then the correlation with average scores(r=0.200)falls below statistical significance,suggesting that ChatGPT struggles to make fine-grained evaluations.Research limitations:The data is self-evaluations of a convenience sample of articles from one academic in one field.Practical implications:Overall,ChatGPT does not yet seem to be accurate enough to be trusted for any formal or informal research quality evaluation tasks.Research evaluators,including journal editors,should therefore take steps to control its use.Originality/value:This is the first published attempt at post-publication expert review accuracy testing for ChatGPT.

The future of CALL research framework in China

In this paper, the author presents an overview of the development of CALL and understanding of CALL research in recent years; and then, indicates the trend of CALL research-AR and the research on AR-could be interpreted as the research framework of CALL in China by introducing the four elements of AR-involvement, improvement, systematization and publicity.

Research Framework of B3G Mobile Communications Systems

Compared with the services in 3G, services in Beyond 3G (B3G) have some distinctive characteristics such as the packet data services being the majority, more service types, larger scale of services, higher peak transmission rate, enlarged range of transmission rates, more spatial and temporal distribution differences, and more service transmission requests occurring in fast moving vehicles. In order to meet the requirements of B3G services, the B3G systems must have great improvement in network architecture, air interface scheme, radio resource allocation strategy, frequency bands, and Radio Frequency (RF) technology etc. Therefore, the research of the B3G systems should focus on the theory of generalized cellular communications networks, theory of the Multiple Input Multiple Output (MIMO) wireless transmission system, matching of radio resources to new-type air interfaces, new iterative detection and adaptive link methods, and new-type antenna and RF technologies.

Accounting Systems in Cultural Context： A Research Framework for China Studies in Global Economy

The People＇s Republic of China （PRC） is a country that has great potential to international businesses. Her enormous market, resources, and labor power are important to other countries in this age of global economy. Research studies on the PRC are valuable not only to policymakers in the PRC but also to a larger audience in the global business community. Accounting standards and practices are central to the economic order of any society. As accounting systems are not isolated from social and cultural systems, towards an understanding of social/cultural environments interacting with accounting systems in the PRC in turn facilitates the international investors to interpret financial information and to set strategies in doing businesses in the country. It is expected that the research results of this kind of projects will have implications to different aspects of financial disclosure of companies in the PRC. Being grounded in the current accounting literature, the proposed conceptual framework in this paper is to discern the interconnections between accounting systems and cul^ral factors in the PRC. It aims at contributing to the accounting body of knowledge and to provide practical insights for global managers.

数字赋能文旅深度融合的理论逻辑与研究框架

数字赋能文旅深度融合既是数字经济时代文旅发展的重要方式,又是文旅研究的重要课题。文章在阐述文旅深度融合内涵的基础上,探究了数字赋能文旅深度融合的基本逻辑,认为数字技术嵌入支撑文旅数字化,促进文旅信息融合化,带来文旅产业新变革,形成文旅共生体和数字文旅新形态。从理论研究、数字赋能和融合实践3个维度,初步构建了数字赋能文旅深度融合的研究框架,强调要创新性地运用文旅IP理论、融合共生理论、文旅场景理论、产业演化理论、系统动力学等理论,阐释文旅融合学理及其内在逻辑、演化过程和动力机制,深化文旅深度融合主要科学问题研究。文章提出要把握数字赋能文旅融合的关键技术、文旅资源普查与评价、文旅融合场景建构、文旅产业融合创新生态体系、国家文化公园与文旅融合示范区建设、科技创新与数字文旅人才培养等关键问题,推动文旅融合应用实践和学术研究持续创新,更好地服务于新时代中国式现代化建设和文旅高质量发展。

Integrating Research Analytic Framework and Personality Matching for Supervisor Recommendation

Supervisor selection is important for research students in their future studies and careers.Currently,students rely on information search or friends recommendation to find potential research supervisors.However,due to the challenges of incomplete and asymmetric information,students can hardly find suitable supervisors that match their research interests as well as personalities.Existing methods mainly consider topic-relevance and candidate-quality,and overlook the significance of connectivity consideration and two-sided matching degree of individuals personality styles.It proposes a novel supervisor recommendation approach that integrates relevance,connectivity,quality and personality-matching dimensions.The results of user-based evaluations demonstrate that the proposed approach generates more satisfactory recommendations as compared to that of all baseline methods.The present solution has been implemented as a social network recommendation service on ScholarMate.

Google Scholar University Ranking Algorithm to Evaluate the Quality of Institutional Research

Education quality has undoubtedly become an important local and international benchmark for education,and an institute’s ranking is assessed based on the quality of education,research projects,theses,and dissertations,which has always been controversial.Hence,this research paper is influenced by the institutes ranking all over the world.The data of institutes are obtained through Google Scholar(GS),as input to investigate the United Kingdom’s Research Excellence Framework(UK-REF)process.For this purpose,the current research used a Bespoke Program to evaluate the institutes’ranking based on their source.The bespoke program requires changes to improve the results by addressing these methodological issues:Firstly,Redundant profiles,which increased their citation and rank to produce false results.Secondly,the exclusion of theses and dissertation documents to retrieve the actual publications to count for citations.Thirdly,the elimination of falsely owned articles from scholars’profiles.To accomplish this task,the experimental design referred to collecting data from 120 UK-REF institutes and GS for the present year to enhance its correlation analysis in this new evaluation.The data extracted from GS is processed into structured data,and afterward,it is utilized to generate statistical computations of citations’analysis that contribute to the ranking based on their citations.The research promoted the predictive approach of correlational research.Furthermore,experimental evaluation reported encouraging results in comparison to the previous modi-fication made by the proposed taxonomy.This paper discussed the limitations of the current evaluation and suggested the potential paths to improve the research impact algorithm.

数字产业集群:源起、内涵特征与研究框架

数字产业集群是把握新一轮信息技术革命进而构筑国家竞争优势的关键战略选择。首先,本研究从数字技术兴起、政府政策支持和企业数字化转型三个方面分析了数字产业集群得以兴起的原因。其次,从空间分布、产业范围、协作方式、治理模式等方面对数字产业集群的特征进行了分析。再次,基于“运行载体-发展目标-治理机制-演化过程”的分析思路,提出可以基于平台视角、网络视角、制度视角以及种群生态视角等理论视角对数字产业集群展开研究。最后,提出采用案例研究、定量研究、社会网络分析、定性比较分析等方法对涉及数字产业集群的重要议题展开科学化和规范化分析。

面向老龄用户的农机产品感官代偿设计框架研究

【目的】目前面向老龄用户的农机产品感官代偿规律的研究及面向用户劳动状态的产品感官代偿设计应用较少,因此探索农业劳动力老龄化过程中的农机产品感官代偿设计问题意义重大。【方法】综合利用文献分析、案例分析、调研分析等方法,以“问题与方法探索—核心理论构建—设计实践与测评—成果推广应用”为研究逻辑,围绕农机产品作业过程中的“人—机—环境”关系,构建“感官代偿需求—特征分析—测评原则”研究体系,形成“理论构建—设计实践—测评优化”的迭代式研究框架,探索农机产品作业环境中老龄用户的感官代偿规律,并以感官代偿设计和测评为手段,系统整合“老龄用户—农机产品感官代偿”设计流程。【结果】通过研究农机产品设计与老龄用户感官特征,为老龄用户提供较为舒适的作业条件,提高农业机械的感官代偿特性,对促进农业机械适老化发展、提高农业生产的经济效益、保障农机产品老龄用户的使用安全具有促进作用。【结论】本研究可对老龄用户适应农机产品作业环境、顺利使用农机产品提供策略支持,为农机产品企业提供农机产品感官代偿设计案例,并为后续研究提供科学的理论依据。

水灾害和谐防控与智慧模拟研究框架与展望

随着环境加剧变化与科技快速进步,我国水灾害防控事业面临着新的机遇与挑战。为深刻认识水灾害治理与防控,结合国家水灾害防御重大需求,对我国水灾害治理历程进行梳理与阶段划分,提出水灾害(包括干旱、洪涝、水环境污染)和谐防控与智慧模拟研究的必要性,从指导思想、理论基础、关键问题、研究内容、应用实践和发展战略研究六个方面提出水灾害和谐防控与智慧模拟研究框架,并从水灾害防控理论完善、水灾害和谐防控研究、智慧应用前景探索三个方面提出未来研究展望,以期为水灾害防控工作和高质量发展提供业务支撑。

旅游地文化韧性:理论探索与研究展望

文化韧性为旅游地及其文化高质量发展提供了全新思路,学术界也关注到旅游地文化韧性的重要性并展开相关分析,但研究脉络尚不清晰。本研究利用系统文献回顾和元分析方法,全面剖析旅游地文化韧性相关文献,从概念内涵、理论基础、方法运用、研究重点等方面明晰现有研究进展,提出未来研究探索方向。研究结果表明:(1)旅游地文化韧性概念界定尚不清晰,仍需强化其基础理论分析;(2)已有研究较多使用定性方法,对混合研究方法等运用不足;(3)评价指标体系的适用性有限,需要开发独立且普适的测度工具;(4)对影响因素挖掘的针对性较弱,仍需深入剖析其前因及演化过程;(5)提升对策的系统性较弱,需要进一步探索其多重路径。本研究有助于弥补旅游地文化韧性文献审查方面的不足,促进其理论理解并为未来拓展理论体系奠定基础,也为提升旅游地文化韧性指明研究方向。

农田水利新质生产力关键内容及研究展望

水利新质生产力是符合新发展理念的先进水利生产力质态,是实现水利高质量发展的关键环节。要以水利新质生产力助力农田发展,推动农田水利新质生产力发展。农田水利新质生产力是水利新质生产力在农田领域的具体实践,是推进实现农业现代化建设和高质量发展的有力路径。为加速落实水利新质生产力在农田领域的部署要求,本文在深入探析农田水利新质生产力和水利新质生产力之间关系的基础上,构建了农田水利新质生产力的研究框架,包括关键问题、战略目标、体系布局和关键内容,并针对农田水利新质生产力的关键内容展开重点研究,最后从理论研究、技术创新和农田改造3个方面提出未来研究展望,为农田水利新质生产力的形成和发展提供参考。

引导企业加强基础研究的有关思考

引导企业加强基础研究、提高企业市场竞争力是增强我国科技创新实力、发展新质生产力和实现高水平科技自立自强的关键。分析了我国企业基础研究的现状与问题,结合世界主要发达国家引导企业加强基础研究的经验,基于基础研究类型、科技企业类型、政策工具类型,研究提出了引导企业加强基础研究的政策体系框架和建议。研究发现,我国企业基础研究存在投入少、动力不足、能力较弱等问题,以及引导企业加强基础研究的政策体系有待完善。研究认为,引导我国企业加强基础研究,需要建立各类创新主体参与、创新要素集聚、创新环境优化以及协同互动、资源共享、合作共赢的开放创新生态系统。在这个生态系统中,需要基于创新主体、创新政策、创新网络、创新环境等综合要素来构建政策体系,并根据基础研究类型、科技企业类型、政策工具类型等多个维度进行差异化的政策设计。最后,从6个方面提出引导企业加强基础研究的政策建议,包括引导企业加强对基础研究的长远布局,建立引导和支持企业开展基础研究的多元化投入机制,鼓励以科技领军企业为龙头构建产学研战略联盟,推动企业基础研究成果转化落地,筑牢企业基础研究的人才发展根基,建立面向企业基础研究的知识挖掘服务平台。

透析期间饮食管理最佳证据临床应用的障碍因素分析——基于CFIR理论

目的 探究透析期间饮食管理最佳证据临床应用的障碍因素。方法 以实施性研究整合框架(CFIR)为理论指导,制定访谈提纲并进行半结构式访谈,抽取护士作为研究对象,应用Colaizzi七步法分析资料。结果 共形成5个主题,分别是创新、外部因素、内部因素、个体和实施过程。创新方面包括2个亚主题:部分证据未充分考虑临床情景,适用性不高;缺乏相关知识的培训,护士知识更新不及时。外部因素方面包括1个亚主题:社会支持是促进变革重要的外部力量。内部因素方面包括3个亚主题:虽然变革会增加护士工作量,但利大于弊;流程规范化,健康教育材料是必需;注意保持良好护患关系,促进变革顺利开展。个体方面包括2个亚主题:护理人员变革决心强,中层领导在变革中起关键作用。实施过程方面包括2个亚主题:患者的宣教工作是主要的困难,部分证据未充分考虑患者意愿。结论 应制定规范的透析期间饮食管理流程、完善系统培训机制、丰富健康教育材料、充分考虑证据的临床情景和患者意愿,以推动在临床上应用透析期间饮食管理最佳证据。

图情领域二模网络研究:概念、脉络及应用

二模网络能够全面深入细致地挖掘众多复杂网络场景中的丰富信息。图情领域中的众多研究对象组成的网络具有天然的二分属性,二模网络在该领域的应用取得了较好的研究成果。本文系统梳理了图情领域二模网络的研究现状。首先,对二模网络相关概念进行了界定,包括隶属网络、二分网络等。其次,厘清了二模网络的研究脉络,包括二模网络的研究方法、基本流程和应用场景。再其次,总结了二模网络在知识管理与知识发现、科研合作与学术评价、信息传播与网络舆情、用户需求与信息服务等图情领域的应用逻辑。最后,探讨了二模网络在图情领域的研究前景,为信息资源管理学科体系构建贡献了基础方法。

科技智库研究的理论、方法与范式——基于系统性文献分析

随着中国科技智库研究的不断深入,需要对相关文献进行系统回顾与反思,以为后续更加科学和全面地开展相关研究提供参考。基于系统性文献综述方法,构建科技智库研究的2W1H分析框架,分别从科技智库研究基础理论、科技智库研究方法以及科技智库研究范式3个维度对2010—2022年中国科技智库研究文献进行系统梳理和分析。研究发现:①中国科技智库研究发展较为迅速,学术界从不同视角对其展开探究,相关研究已逐步由浅入深,由萌芽阶段向纵深阶段发展;②科技智库研究仍存在基础理论研究较为薄弱,研究方法相对贫乏且呈割裂状态,研究范式重构与创新不足等问题;③推动理论上的批判与建构,方法上的拓展与改进,范式上的丰富与创新是科技智库研究的未来路向。本研究从理论、方法与范式层面实现了对科技智库研究的系统分析与再发现,为相关研究提供了有益借鉴。

低碳综合能源系统研究框架与关键问题研究综述

低碳综合能源系统是融合多种低碳技术和措施、集成灵活性资源、促进清洁能源消纳、降低碳排放的多能源系统,是实现“双碳”目标的物理载体。首先,从能源转型的宏观战略、物理载体和低碳技术角度论证了低碳综合能源系统是能源转型的有效路径,归纳了低碳综合能源系统的定义与特征内涵;然后,构建了低碳综合能源系统的研究框架,从源-网-荷-储及碳捕集等环节挖掘了低碳综合能源系统的减排潜力;为了充分发挥低碳综合能源系统的低碳优势,从协同规划与优化调度、市场机制等角度提炼了低碳综合能源系统的几个关键问题;最后,聚焦提炼的协同优化关键问题,从研究现状、面临问题和研究展望等方面进行了阐述,以期为能源系统的低碳发展提供参考。

中国特色教育技术学基础理论研究框架与运用示例--基于教育哲学和程序化扎根理论

基础理论研究是任何学科发展的命脉是学科之基。然而,在教育数字化转型和当前主流教育实证研究范式下,我国教育技术学对本土化的基础理论研究的关注度还远不够。基础理论是我国教育技术学的根本,建构中国特色教育技术学基础理论体系尤为重要。当前,中国特色教育技术学基础理论体系尚未形成很大原因是缺少方法论指导。基于此,文章从方法论的层面探讨如何开展中国特色教育技术学基础理论研究框架,首先,从教育哲学视角对基础理论体系分类;其次,基于教育哲学的运思方式和程序化扎根理论方法,建构基础理论的研究范畴;最后,举例说明如何利用该框架开展中国特色教育技术学基础理论的研究,以期为我国教育技术学基础理论研究工作尽绵薄之力。

制造企业数字服务化:内涵解析、研究演进与整合框架构建

数字服务化是制造企业高质量发展的关键战略。然而,数字服务化文献呈零散状态,亟须明晰内涵、梳理脉络、识别未来方向和探索整合研究框架。本文按照内涵解析—研究演进—框架构建的逻辑,分析来源于Web of Science的数字服务化领域(2009—2022年)的227篇英文文献。研究发现:从内涵发展看,数字服务化尚未有统一界定,但可识别其内涵核心要素;从研究热点与理论演进看,数字服务化研究从关注ICT技术对企业服务创新的重要作用到剖析数字化在服务化中的作用,再到强调服务生态系统对数字服务化的重要性,理论视角从商业模式理论、价值共创理论向服务主导逻辑、服务生态系统视角演进;从研究主题看,现有研究主要围绕数字服务化情境、能力、模式、连结及结果五大主题。本文据此构建起“大数据分析能力—模块化解决方案创新—客户/供应商/政府参与—企业升级”的一个整合研究框架,为数字服务化未来研究提供借鉴与启示。

土木工程建造系统脆弱性研究综述

现有工程建造风险主要考虑风险事件发生概率与风险后果严重程度,少有结合系统脆弱性开展研究。脆弱性作为系统固有属性,在外界干扰下表现出的不利影响严重制约风险管控过程,但尚未有学者对土木工程建造系统脆弱性的研究现状进行科学评述。通过主题检索和学科分类,共筛选出103篇英文文献和96篇中文文献,运用Citespace文献分析软件统计了发表时间和期刊分布,归纳了研究热点和作者-机构合作情况;从脆弱性概念内涵、分析框架与评价过程等方面评述了土木工程建造系统的脆弱性。研究发现:土木工程建造系统脆弱性的研究当前仍处于探索阶段;常用脆弱性分析框架主要包括脆弱性递次演化分析框架、脆弱性-风险分析框架和灾害-脆弱性分析框架;脆弱性评价对象主要聚焦于施工安全系统、应急管理系统和项目管理系统;脆弱性影响因素识别和指标体系构建主要涵盖人-机-环-管框架、脆弱性特征维度框架和外部环境-项目参与方-项目特征框架。未来,可借鉴其他学科领域成熟的脆弱性理论成果,结合土木工程建造系统的特点,构建清晰准确的脆弱性概念与分析框架、探索科学适用的指标体系、深化实际应用与拓展研究。研究系统性梳理了土木工程建造系统脆弱性的研究现状,可为后续相关研究提供启发和参考。