知识图谱应用趋势研究论文

分享嘉宾：张鸿志博士 美团 算法专家

编辑整理：廖媛媛 美的集团

出品平台：DataFunTalk

导读： 美团作为中国最大的在线本地生活服务平台，连接着数亿用户和数千万商户，其背后蕴含着丰富的与日常生活相关的知识。美团知识图谱团队从2018年开始着力于图谱构建和利用知识图谱赋能业务，改善用户体验。具体来说，“美团大脑”是通过对美团业务中千万数量级的商家、十亿级别的商品和菜品、数十亿的用户评论和百万级别的场景进行深入的理解来构建用户、商户、商品和场景之间的知识关联，进而形成的生活服务领域的知识大脑。目前，“美团大脑”已经覆盖了数十亿实体、数百亿的三元组，在餐饮、外卖、酒店、到综等领域验证了知识图谱的有效性。今天我们介绍美团大脑中生活服务知识图谱的构建及应用，主要围绕以下3个方面展开：

--

“美团大脑”是什么？

以下是“美团大脑”构建的整体RoadMap，最先是2018年开始餐饮知识图谱构建，对美团丰富的结构化数据和用户行为数据进行初步挖掘，并在一些重要的数据维度上进行深入挖掘，比如说对到餐的用户评论进行情感分析。2019年，以标签图谱为代表，重点对非结构化的用户评论进行深入挖掘。2020年以后，开始结合各领域特点，逐个领域展开深度数据挖掘和建设，包括商品、美食、酒旅和到综和cross图谱等。

--

在搜索中，通常用户需要将其意图抽象为搜索引擎能够支持的一系列精搜关键词。标签知识图谱则是通过“标签”来承载用户需求，从而提升用户搜索体验。例如，通过标签知识图谱，用户可直接搜索“带孩子”或者“情侣约会”，就可返回合适的商户/内容供给。从信息增益角度来说，用户评论这种非结构化文本蕴含了大量的知识（比如某个商户适合的场景、人群、环境等），通过对非结构化数据的挖掘实现信息增益。该团队以生活服务领域的海量评论数据作为主要知识来源，通过标签挖掘、标签间关系挖掘以及标签-商户关联等关键技术，自下而上梳理用户需求，场景及主要关注点完成图谱构建。

标签知识图谱构建分为以下四个部分：知识抽取、关系挖掘、图谱打标和图谱应用。

① 知识抽取

标签挖掘采用简单的序列标注架构，包括Single span标签挖掘和跳字标签挖掘，此外还会结合语义判别或者上下文判别，采用远监督学习+结果投票方式获取更精准的标签。

② 关系挖掘

同义词挖掘：同义词挖掘被定义为给定包含N个词的池子，M个业务标签词，查找M中每个词在N中的同义词。现有的同义词挖掘方法包括搜索日志挖掘、百科数据抽取、基于规则的相似度计算等，缺乏一定的通用性。当前我们的目标是寻找通用性强，可广泛应用到大规模数据集的标签同义词挖掘方法。

以下是作者给出的同义词挖掘的具体方案，首先将离线标签池或者线上查询标签进行向量表示获取向量索引，再进行向量哈希召回，进一步生成该标签的TopN的同义词对候选，最后使用同义词判别模型。该方案的优势在于降低了计算复杂度，提升了运算效率；对比倒排索引候选生成，可召回字面无overlap的同义词，准确率高，参数控制简单。

对于有标注数据，主流的标签词嵌入表示方法有word2vec、BERT等。word2vec方法实现较为简单，词向量取均值，忽略了词的顺序；BERT通过预训练过程中能捕捉到更为丰富的语义表示，但是直接取[CLS]标志位向量，其效果与word2vec相当。Sentence-Bert对于Bert模型做了相应的改进，通过双塔的预训练模型分别获取标签tagA和tagB表征向量，然后通过余弦相似性度量这两个向量的相似性，由此获取两个标签的语义相似性。

对于无标注数据来说，可以通过对比学习的方法获取句子的表示。如图所示，Bert原始模型对于不同相似度的句子的向量相似度都很高，经过对比学习的调整之后，向量的相似度能够较好地体现出文本相似度。

对比学习模型设计：首先给定一个sentence，对这个样本做扰动产生样本pair，常规来说，在embedding层加上Adversarial Attack、在词汇级别做Shuffling或者丢掉一些词等构成pair；在训练的过程中，最大化batch内同一样本的相似度，最小化batch内其他样本的相似度。最终结果显示，无监督学习在一定程度上能达到监督学习的效果，同时无监督学习+监督学习相对于监督学习效果有显著提升。

同义词判别模型设计：将两个标签词拼接到Bert模型中，通过多层语义交互获取标签。

标签上下位挖掘：词汇包含关系是最重要的上下位关系挖掘来源，此外也可通过结合语义或统计的挖掘方法。但当前的难点是上下位的标准较难统一，通常需要结合领域需求，对算法挖掘结果进行修正。

③ 图谱打标：如何构建标签和商户供给的关联关系？

给定一个标签集合，通过标签及其同义词在商户UGC/团单里出现的频率，卡一个阈值从而获取候选tag-POI。这样会出现一个问题是，即使是频率很高但不一定有关联，因此需要通过一个商户打标判别模块去过滤bad case。

商户打标考虑标签与商户、用户评论、商户Taxonomy等三个层次的信息。具体来讲，标签-商户粒度，将标签与商户信息（商户名、商户三级类目、商户top标签）做拼接输入到Bert模型中做判别。

微观的用户评论粒度，判断每一个标签与提到该标签的评论（称为evidence）之间是正面、负面、不相关还是不确定的关系，因此可当作四分类的判别模型。我们有两种方案可选择，第一种是基于多任务学习的方法， 该方法的缺点在于新增标签成本较高，比如新增一个标签，必须为该标签新增一些训练数据。笔者最终采用的是基于语义交互的判别模型，将标签作为参数输入，使该模型能够基于语义判别，从而支持动态新增标签。

基于语义交互的判别模型，首先做向量表示，然后是交互，最终聚合比较结果，该方法的计算速度较快，而基于BERT的方法，计算量大但准确率较高。我们在准确率和速度上取balance，例如当POI有30多条的evidence，倾向于使用轻量级的方式；如果POI只有几条evidence，可以采用准确率较高的方式进行判别。

从宏观角度，主要看标签和类目是否匹配，主要有三种关系：一定不会，可能会，一定会。一般通过商户层关联结果进行投票结果，同时会增加一些规则，对于准确率要求较高时，可进行人工review。

④ 图谱应用：所挖掘数据的直接应用或者知识向量表示应用

在商户知识问答相关的场景，我们基于商户打标结果以及标签对应的evidence回答用户问题。

首先识别用户query中的标签并映射为id，然后通过搜索召回或者排序层透传给索引层，从而召回出有打标结果的商户，并展示给C端用户。A/B实验表明，用户的长尾需求搜索体验得到显著提升。此外，也在酒店搜索领域做了一些上线实验，通过同义词映射等补充召回手段，搜索结果有明显改善。

主要采用GNN模型实现，在构图中构建了两种边，Query-POI点击行为和Tag-POI关联信息；采用Graph Sage进行图学习，学习的目标是判断Tag和POI是否有关联关系或者Query和POI是否点击关系，进一步依据关联强度进行采样。上线后结果显示，在仅利用Query-POI信息构图时，线上无收益，在引入Tag-POI关联信息后线上效果得到显著提升。这可能是因为排序模型依赖于Query-POI点击行为信息去学习，引入Graph Sage学习相当于换了一种学习的方式，信息增益相对较少；引入Tag-POI信息相当于引入了新的知识信息，所以会带来显著提升。

此外，仅接入Query-POI向量相似度线上效果提升不佳，将Query和POI向量接入后效果得到显著提升。这可能是因为搜索的特征维度较高，容易忽略掉向量相似度特征，因此将Query和POI向量拼接进去后提升了特征维度。

该任务通过当前已知的Item去预测用户点击的Masked Item。比如说获取Item的上下文表征的时候，将相关的Attribute信息也进行向量表征，从而去判断Item是否有Attribute信息。

此外，还可以做Masked Item Attribute 预测，从而将标签的知识图谱信息融入到序列推荐任务中去。实验结果表明，引入知识信息后的准确率在不同的数据集上均有数量级的提升。同时，我们也做了线上转化的工作，将Item表征做向量召回；具体来说，基于用户历史上点击过的Item去召回topN相似的Item，从而补充线上推荐结果，在美食列表推荐页有显著提升。

--

菜品知识图谱的构建目标，一方面是构建对菜品的系统理解能力，另一方面是构建较为完备的菜品知识图谱，这里从不同的层次来说明菜品知识图谱的构建策略。

** * 菜名理解**

菜名中蕴含着最精准、获取成本最低的菜品信息，同时对菜名的理解也是后续显式知识推理泛化能力的前提。首先是抽取菜名的本质词/主体菜，然后序列标注去识别菜名中的每个成分。针对两种场景设计了不同的模型，对于有分词情况，将分词符号作为特殊符号添加到模型中，第一个模型是识别每个token对应的类型；对于无分词情况，需要先做Span-Trans的任务，然后再复用有分词情况的模块。

菜名理解是一个较为重要的信息来源，但是所蕴含的知识相对有限，从而提出了基于深度学习模型进行初步字符推断，可实现对不同字面表述的泛化处理。但是对需要专业知识的case表现欠佳，偶尔在字面极其匹配时出现case。

从知识内容丰富的文本中挖掘某些菜谱的基础知识，来构建源知识库；然后通过泛化推理去映射到具体SKU中。在食材推理中，比如菜品种有多道红烧肉，统计10道五花肉中有4道是指五花肉，6道是指带皮五花肉，因此肉就转化为带皮五花肉。对应地，佛跳墙有多道菜谱，先通过统计每种食材出现的概率，可以卡一个阈值，然后表明该菜谱的食谱是什么。

多源数据挖掘，基于菜名理解结果构建solid knowledge triple，同时也依赖菜名理解结果泛化规则。该策略主要适用于处理食材、功效、人群等标签。该方法准确率OK，有一定泛化能力，但覆盖率偏低。

业务内有一些比较好用的训练数据，例如1000万商户编辑自洽的店内分类树。基于该数据可产生5亿的 positive pairs 和 30G corpus。在模型训练中，会随机替换掉菜谱分类的 tab/shop，模型判断 tab/shop 是否被替换；50%的概率drop shop name，使得模型仅输入菜名时表现鲁棒。同时，对模型做了实体化改进，将分类标签作为bert的词进行训练，将该方法应用到下游模型中，在10w标注数据下，菜谱上下位/同义词模型准确率提升了。

首先使用ReseNet对菜谱图片进行编，使用Bert模型对菜谱文本信息做编码，通过对比学习loss去学习文本和店菜的匹配信息。这里采用双塔模型，一方面是下游应用较为方便，单塔模型可独立使用，也可inference出菜品图片的表示并缓存下来；另一方面是图片内容单纯，暂无交互式建模的必要。训练目标分别是图片与店菜匹配、图片与菜名对齐，图片与Tab对齐。

可基于多模态信息做菜品品类预测或者菜谱信息补全。比如，预测“猪肉白菜”加上了图片信息将更加直观和准确。基于文本和视图模态信息进行多视图半监督的菜谱属性抽取，以烹饪方式抽取为例，首先通过产生烹饪方法训练样本（红烧肉-红烧）；然后采用CNN模型去训练预测菜谱烹饪方法，指导Bert模型Finetune文本模型或者多模态模型，基于商户/tab/菜品及评论信息预测菜品烹饪方法；最终对两个模型进行投票或者将两个特征拼接做预测。

综上，我们对菜品知识图谱构建进行相应的总结。菜品理解比较适合SKU的初始化；深度学习推理模型和显式推理模型比较适合做同义词、上下位、菜系等；最终是想通过多模态+结构化预训练和推理来解决单模态信息不完整、属性维度多、需要大量标注数据等问题，因此该方法被应用到几乎所有的场景中。

今天的分享就到这里，谢谢大家。

分享嘉宾：

前言及背景：在构建知识图谱的过程中，大量知识信息来源于文档和网页信息，在从文档提取知识的过程中往往会有偏差，这些偏差来自于看两方面：

（1）文档中会有很多噪声信息，即无用信息，它的产生可能来自于知识抽取算法本身，也可能和语言文字本身的有效性有关；

（2）文档信息量有限，不会把所有知识都涵盖进去，尤其是很多常识性知识。

以上都会导致知识图谱是不完整的，所以 知识图谱补全 在构建知识图谱中日益重要。 通过 已获取的知识 来对实体间进行关系预测，以达到对实体间关系的补全，也可以是实体类型信息的补全。该过程可以利用本知识库内部的知识，也可以引入第三方知识库的知识来帮助完成。 整理了一份200G的AI资料包： ①人工智能课程及项目【含课件源码】 ②超详解人工智能学习路线图 ③人工智能必看优质书籍电子书汇总 ④国内外知名精华资源 ⑤优质人工智能资源网站整理（找前辈、找代码、找论文都有） ⑥人工智能行业报告 ⑦人工智能论文合集 /","uri":"","width":31,"height":27,"darkImgUrl":"","darkImgUri":"","formulaImgStatus":"succeed"}" class="syl-plugin-formula"> 资料在网盘里排列的非常整齐干净！希望对大家的学习有所帮助， 私信备注【05】添加领取

知识图谱补全分为两个层次： 概念层次的知识补全 和 实例层次的知识补全 。 往往提到知识图谱构建过程中只是提及了实体和关系的抽取，然后就可以生成实体和关系组成的RDF了。 但是，仅仅获取三元组是不够的，还要考虑这些，因为三元组中的实体除了具有属性和关系之外，还可以 映射关联到知识概念层次的类型（type），而且一个实体的类型可以有很多 。

例如：实体奥巴马的类型在不同关系中是有变化的。 在出生信息描述中，类型为人；在创作回忆录的描述中其类型还可以是作家；在任职描述中还可以是政治家。 实体类型的概念层次模型 在这里：人、作家、政治家这些概念之间是有层次的，也就是所说的概念的层次模型。 1、概念层次的知识补全——主要是要解决实体的类型信息缺失问题 正如前面的例子所描述，一旦一个实体被判别为人这个类型，那么在以构建好的知识模式中，该实体除了人的类型外仍需要向下层概念搜索，以发现更多的类别描述信息。 （1）基于描述逻辑的规则推理机制。 本体论和模式 ：实体都可以归结为一种本体，而这种本体会具有一组模式来保证其独特性，这组模式可以用规则来描述，因此，对于本体而言，其可以由这组规则来描述。 例如，奥巴马是个实体，他的本体可以归为人，而人的模式就是可以使用语言和工具、可以改造其他事务等等，这些模式可以通过规则来描述，于是基于描述逻辑的规则推理方法就出现了。 描述逻辑 是一种常见的知识表示方式，它建立在概念和关系之上。 比如，可以将关于人的实体实例（可以是文本）收集起来，从中提取出其中模式并以规则的形式记录下来，这样一来，只要遇到一个新的实体实例 ，只需将其代入到之前记录下的规则中进行比较即可做出判断，如果符合规则，就说明该实例可以归类为人的概念类型，否则就判定为非此概念类型。 （2）基于机器学习类型推理机制 经过基于描述逻辑的规则推理的发展阶段后，机器学习相关研究开始占据主流，此时 不是单纯地利用实例产生的规则等内部线索来进行判断，同时也要利用外部的特征和线索来学习类型的预测 。 对一个未知类型实体e1而言，如果能找到一个与其类似的且已知类型的实体e2的话，那么就可以据此推知实体e1的类型应该与e2的类型一致或至少相似。 此类方法主要可以分为：基于内容的类型推理、基于链接的类型推理和基于统计关系学习的类型推理（如，Markov逻辑网）几个方向。 （3）基于表示学习类型推理机制 将嵌入式学习和深度学习引入到类型推理，基于机器学习的类型推理方法大多假设数据中没有噪声，且其特征仍然需要认为选择和设计，引入深度学习可以避免特征工程。而类型推理要依据文本内容，也需要链接结构等其他特征的支持，此时嵌入式方法可以发挥其自身优势。

2、实例层次的知识补全 可以理解为：对于一个实例三元组（SPO，主谓宾），其中可能缺失情况为（？，P，O），（S，？，O）或者（S，P，？），这就如同知识库中不存在这个三元组，此时需要预测缺失的实体或者关系是什么。 事实上， 很多缺失的知识是可以通过已经获得的知识来推知的 ，有时这个过程也被称为 链接预测 。 注意 ：有时知识不是缺失的，而是 新出现 的，即出现了新的三元组，且这个三元组不是原知识库所已知的知识，此时需要将其作为新知识补充道知识库中，但此种情形 不是传统意义的补全 。 （1）基于随机游走的概率补全方法 （2）基于表示学习的补全方法 知识图谱嵌入流程： ①结构嵌入表示法 ②张量神经网络法 ③矩阵分解法 ④翻译法

（3）其他补全方法 跨知识库补全方法、基于信息检索技术的知识库补全方法、知识库中的常识知识补全

面临的挑战和主要发展方向： （1）解决长尾实体及关系的稀疏性。 知名的明星的关系实例会很多，而对于普通民众的实例就很少，但是他们数量却众多，导致其相关的关系实例也是十分稀疏，而且在数量不断增加的情况下，这种情况会更加明显。 （2）实体的一对多、多对一和多对多问题。 对于大规模数据，不是一对十几或者几十数量级那么简单，而是成百上千的数量级，传统的解决方案无法有效深圳根本无法解决此种数量级别的关系学习问题。 （3）三元组的动态增加和变化导致KG的动态变化加剧。 新知识源源不断的产生，而之前的知识可能被后面证明是错误的，或者需要修正的。这些都会使得知识补全的过程也需修正改变，如何使得知识图谱补全技术适应KG的动态变化变得越来越重要，而这方面的技术还未引起足够的重视。 （4）KG中关系预测路径长度会不断增长。 关系预测能推理的长度是有限的，但在大规模知识图谱闪光，实体间的关系路径序列会变得越来越长，这就需要更高效的模型来描述更复杂的关系预测模型。

1. Zhang, J., Vogeley, M. S., Chen, C. (2008) Scientometrics of big science: A case study of research in Sloan Digital Sky Survey. Scientometrics, 86(1), . Chen, C., Ibekwe-SanJuan, F., & Hou, J. (2010). The Structure and Dynamics of Co-Citation Clusters: A Multiple-Perspective Co-Citation Analysis. Journal of the American Society for Information Science and Technology, 61(7), . Chen, C., Zhang, J., Vogeley, M. S. (2010). Making sense of the evolution of a scientific domain: A visual analytic study of the Sloan Digital Sky Survey research. Scientometrics, 83(3), 669-688. . Chen, C. (2010) Information visualization. Wiley Interdisciplinary Review: Computational Statistics. . Chen, C., Chen, Y., Horowitz, M., Hou, H., Liu, Z., & Pellegrino, D. (2009). Towards an explanatory and computational theory of scientific discovery. Journal of Informetrics, 3(3), . Chen, C., Zhang, J., Vogeley, M. S. (2009) Mapping the global impact of Sloan Digital Sky Survey. IEEE Intelligent Systems, 24(4), . Zhang, J., Chen, C., Li, J. (2009) Visualizing the intellectual structure with paper-reference matrices. IEEE Transactions on Visualization and Computer Graphics, 15(6)(Nov/Dec), . Chen, C. (2009) CiteSpace II: 科学文献中新趋势与新动态的识别与可视化。情报学报, 28(3), 401-421. This is a Chinese edition of #38, translated by 陈悦，侯剑华，梁永霞.9. Hou, H., Chen, C., Liu, Z., Wang, X., Chen, Y. (2009) Interdisciplinary feature of knowmetrics. Studies in Science of Science. In Chinese: 知识计量学的交叉学科属性研究, 《科学学研究》10. Liu, Z., Chen, C., Hou, H., Wang, X. (2009) Stepping into a revolutionary age of science of science. Science of Science and Management of Science and Technology, 7, 5-12. In Chinese: 迈向科学学大变革的时代,《科学学与科技管理》11. Liu, Z., Hou, H., Chen, C., Wang, X. (2009) Knowmetrics and the application of knowledge visualization. Science and Research Management. In Chinese: 知识计量学及其可视化技术的应用研究,《科研管理》12. Liu, Z., Wang, X., Chen, C. (2009) Scientific knowledge mapping and its application in scientific and technological information field. Digital Library Forum, (2009)10, 14-34. In Chinese: 科学知识图谱方法及其在科技情报中的应用,《数字图书馆论坛》13. Chen, C., Song, I. Y., Yuan, X. J., Zhang, J. (2008) The Thematic and Citation Landscape of Data and Knowledge Engineering (1985-2007). Data and Knowledge Engineering, 67(2), . Chen, C. (2008) An information-theoretic view of visual analytics. IEEE Computer Graphics & Applications, 28(1) Jan/Feb, . Sokol Petushi, Jeff Marker, Jasper Zhang, Weizhong Zhu, David Breen, Chen, C., Xia Lin, Fernando Garcia (2008) A visual analytics system for breast tumor evaluation. Analytical and Quantitative Cytology and Histology, 30(5), . Chen, C. (2007) Holistic sense making: Conflicting opinions, creative ideas, and collective intelligence. Library Hi Tech, 25(3), . Ye, J., Chen, C. (2007) Orientation of education in library and information science in China and the USA in the digital age. Journal of the library science in China, 33(2), 18-23. [In Chinese]18. Zhu, W., Chen, C. (2007) Storylines: Visual exploration and analysis in latent semantic spaces. Computer & Graphics, 31(3). Special Issue on Visual Analytics. June 2007, . Chen, C. (2006) CiteSpace II: Detecting and visualizing emerging trends and transient patterns in scientific literature. Journal of the American Society for Information Science and Technology, 57(3), . Chen, C. (2005) Top 10 unsolved information visualization problems. IEEE Computer Graphics and Applications, 25 (4). . Chen, C. and Borner, K. (2005) From spatial proximity to semantic coherence: A quantitative approach to the study of group dynamics in collaborative virtual environments. Presence-Teleoperators and Virtual Environments, 14(1), . Chen, C. (2004) Searching for intellectual turning points: Progressive knowledge domain visualization. PNAS, 101(Suppl. 1), . White, H., Lin, X., Buzydlowski, JW & Chen, C. (2004) User-controlled mapping of significant literatures. PNAS, 101(Suppl. 1), . Chen, C., Hicks, D. (2004) Tracing knowledge diffusion. Scientometrics, 59(2), . Chen, C. (2003) Visualizing scientific paradigms: An introduction. Journal of the American Society for Information Science and Technology, 54(5), . Chen, C., Kuljis, J. (2003) The rising landscape: A visual exploration of superstring revolution in physics. Journal of the American Society for Information Science and Technology, 54(5), . Borner, K., Chen, C., Boyack, K. (2003) Visualizing knowledge domains. Annual Review of Information Science and Technology, 37, . Chen, C., Cribbin, T., Kuljis, J., & Macredie, R. (2002) Footprints of information foragers: Behaviour semantics of visual exploration. International Journal of Human-Computer Studies, 57(2), . Chen, C., Cribbin, T., Macredie, R. & Morar, S. (2002) Visualizing and tracking the growth of competing paradigms: Two case studies. Journal of the American Society for Information Science, 53(8), . Chen, C., Kuljis, J. & Paul, R. J. (2001) Visualizing latent domain knowledge. IEEE Transactions on Systems, Man, and Cybernetics: Part C. Applications and Reviews, 31(4), 518 - . Chen, C. & Paul, R. J. (2001) Visualizing a knowledge domain’s intellectual structure. IEEE Computer, 34(3), . Chen, C., Paul, R. J., O’Keefe, B. (2001) Fitting the jigsaw of citations: Information visualization in domain analysis. Journal of the American Society for Information Science, 52(4), . Kuljis, J., Paul, R. J., Chen, C. (2001) Visualization and simulation: Two sides of the same coin. Simulation. (Special issue on Simulation and Visualization). 77(3/4), . Chen, C. & Rada, R. (2000) Modeling the dynamics of using a collaborative hypertext. Journal of Intelligent Systems, 10(5/6), . Chen, C. & Czerwinski, M. (2000) Empirical evaluation of information visualizations: An introduction. International Journal of Human-Computer Studies, 53(5), . Chen, C. & Yu, Y. (2000) Empirical studies of information visualization: A meta-analysis. International Journal of Human-Computer Studies, 53(5), . Chen, C., Czerwinski, M., Macredie, R. (2000) Individual differences and virtual environments: Introduction and overview. Journal of the American Society for Information Science, 51(6), . Chen, C. (2000) Individual differences in a spatial-semantic virtual environment. Journal of the American Society for Information Science, 51(6), . Chen, C. (1999) Visualising semantic spaces and author co-citation networks in digital libraries. Information Processing & Management, 35(3), . Chen, C., Thomas, L., Cole, J., Chennawasin, C. (1999) Representing the semantics of virtual spaces. IEEE Multimedia, 6(2), . Chen, C., Czerwinski, M., Macredie, R. (1998) Human factors in virtual environments. Virtual Reality: Research, Development, and Applications, 3(4), . Chen, C. (1998) Bridging the gap: The use of Pathfinder networks in visual navigation. Journal of Visual Languages and Computing, 9(3), . Chen, C., Newman, J., Newman, R., Rada, R. (1998) How did university departments interweave the web: A study of connectivity and underlying factors. Interacting with Computer, 10(4), . Chen, C. (1998) Generalised similarity analysis and Pathfinder network scaling. Interacting with Computer, 10(2), . Branki, C., Chen, C., & Newman, J. (1998) Capturing design rationale: Experiences from a Web-based argumentation system. International Journal of Design Sciences and Technology (Special Issue on Computer-Supported Cooperative Design), 6(2), . Mahmond Mhashi, Roy Rada and Chen, C. (1998) The role of prefix, suffix, and infix of words and sentences on string searching. Al-manarah (Arab journal of computing), 3(3), . Chen, C. & Czerwinski, M. (1997) Spatial ability and visual navigation: An empirical study. New Review of Hypermedia and Multimedia, 3, . Chen, C. (1997) Tracking latent domain structures: An integration of Pathfinder and Latent Semantic Analysis. AI & Society, 11(1-2), . Chen, C. (1997) Writing with collaborative hypertext: analysis and modelling. Journal of the American Society for Information Science, 48(11), . Henderson, T., Rada, R. & Chen, C. (1997) Quality management of student-student evaluations. Journal of Educational Computing Research, 17(3), . Chen, C. & Rada, R. (1996) Modelling situated actions in collaborative hypertext databases. Journal of Computer-Mediated Communication, 2(3).52. Chen, C. & Rada, R. (1996) Interacting with hypertext: A meta-analysis of experimental studies. Human-Computer Interaction, 11(2), . Chen, C. & Rada, R. (1994) A conceptual model for supporting collaborative authoring and reuse. Knowledge Organization, 21(2), . Chen, C., Rada, R. & Zeb, A. (1994) An extended fisheye view browser for collaborative writing. International Journal of Human-Computer Studies, 40(5), . Dobson, M., Rada, R., Chen, C., Michailidis, A. & Ulloa, A. (1993) Towards a consolidated model for a collaborative courseware authoring system. Journal of Computer Assisted Learning, 9, . Rada, R., Wang, W., Michailidis, A., & Chen, C. (1992) Collaborative software reuse integrated into the work flow. Annual Review of Automatic Programming, 16(2), 79-83.