日志研究在实际项目中的应用——付费流量转化率提升项目复盘

一、 项目概况

1. 研究背景

为什么发起付费流量效率提升的调研项目？

经过历年数据的对比发现，京东主站APP在付费流量上的投入逐年提升，而付费流量转化效率相较于免费流量来看并不理想，存在较大提升空间。

2. 商业目标

用户研究能够为相关业务带来哪些效益？

付费流量的转化路径是典型的“漏斗模型”，可以拆解为触达-访问-浏览-点击-转化等几个环节，由于当前广告投放渠道多种多样，且规则复杂，经过部门内部的协商及产品侧的沟通，将本次研究聚焦在转化的后端链路上，重点提升落地页访问率、点击率、浏览深度及订单转化率。

二、 研究设计

从用户视角出发应该如何开展研究？

了解项目背景并明确项目目标之后，接下来应该思考如何进行研究来达成预期的目标。

1. 初期研究设计

初期计划采用的研究方案是什么？决定调整方案的原因是什么？

本次项目研究内容主要是用户在落地页面浏览转化行为及背后原因，因此，计划采用眼动追踪为主，观察记录及回顾式访谈为辅的研究方法，经过方案细化最终舍弃该方案，主要考虑以下几方面因素：

（1）测试素材准备难度大：常见落地页分为首页、频道页、活动页及商品详情页等4种类型，不同类型落地页风格及内容差异较大，即时同类型落地页也存在较大差异，如商品品类、优惠促销、页面风格、楼层顺序、页面屏数等，而这些因素均会在一定程度上影响用户的浏览操作行为。若要进行测试，需要准备大量不同类型的素材。

（2）实验环境结果真实度低：落地页的浏览转化情况不仅受到落地页素材的影响，也会受到许多其他方面因素的影响，如进入落地页的时机，若是赶时间的场景下点击广告进入，很大可能会在短时间内退出；再比如落地页信息的提供者，若是朋友转发的广告链接，出于对于发布者的信任，相对而言在浏览落地页时的容忍度会较高等，因此在实验严格受控的研究场景下很难收集到真实的用户行为及体验。

（3）研究成本较高：用户数量较少时眼动图的结果可能变异非常大，Nielsen建议要得到稳定的热点图至少需要30个有效的被试数据，且眼动实验需要采用面对面的方式采集数据，这样的话用户礼金、项目执行周期及大量样本数据分析等方面均需要投入较高成本。

因此，基于以上情况的考虑，最终舍弃该版研究方案。建议大家在方案设计阶段权衡各方利弊，思考更加细致全面。

2. 后期研究设计

调整后的研究方案是什么？调整后方案的优势是什么？

想要在情境中理解用户行为和体验，需要在真实场景中收集这些信息，鉴于落地页类型的多样性及复杂性、用户接触落地页真实场景的偶发性及碎片性，将方案调整为用户日志法与深入访谈法相结合的方式。

整体研究流程分为三大环节。首先，研究员根据项目需求进行日志模板的搭建及内容设计，并将模板填写要求及规范同步给用户；然后，参与研究的用户在调研期间结合自身兴趣及需要进行广告体验，每日需将实际操作情况、评价看法等信息按照日志模板进行及时记录；最后，研究员对用户进行及时回访，结合用户在落地页的点击浏览行为，挖掘用户对于不同类型落地页的评价及态度偏好。通过综合以上方法，发现用户在进入落地页后的转化规律和潜在需求。

将初期的研究方案调整为用户日志法+深入访谈的原因：

（1）半自然环境真实度高：跟完全的实验室条件的受控性研究和自然条件下的观察性研究相比较，日志法可以算是一种半自然条件下的研究方法，该方法对于用户接触的广告素材、点击环境等方面影响因素不做限制，让用户在日常生活的环境中自然的接触网购平台外投广告，还原事件发生时刻的真实环境和场景信息，及时记录用户当时的产品体验情况，并有效地采集到用户情绪动机等方面的信息，真正做到“在情境中理解用户行为和体验”。

（2）记录更真实避免偏差：包括访谈法和问卷调研在内的许多研究方法要求参与调研的用户通过回忆的方式提供信息，回忆内容的周期不定，一般短则几周，长则数月甚至几年，由于遗忘、记忆压缩等情况的存在，用户回忆的结果往往和实际的行为之间存在偏差。而日记记录的方式是让用户在事件发生的当天就记录下来该行为事件，这样可以尽可能地缩短事件发生和事件记录之间的时间差，在一定程度上降低了用户对于回忆的依赖，因此日志法的研究结果通常认为比用户回忆得到的数据更加准确，比事后访谈得出的结果更加可靠。

（3）周期持续研究：眼动实验或其他体验研究方法，通常受到时间限制，只能衡量用户当时当刻的用户体验，无法体现一段周期的用户体验，具有一定的局限性。而用户日志是一个可持续研究的方法，可以跟踪用户在一段时间内的行为，了解到的用户体验情况更加接近真实情况，也能更好地发现及总结其中潜在的规律。

（4）方式方法灵活：参与的用户不受地理条件的限制，无需到线下某一固定场所接受调研，仅需在线上按照要求进行操作记录即可，我们可以挑选不同地域的用户参与研究，同时了解文化和地理因素是否会影响人们的产品体验。

三、 研究执行

研究方案的具体执行过程是怎么样的？有哪些需要注意的方面？

设计好了研究方案之后，便进入到研究执行过程中，具体可以分为前期准备、中期执行及后期分析。

1. 前期准备

（1） 确定记录工具：

研究之初需要确定用于日志记录的工具，这影响着后续的研究能否高效、顺利的推进，合适的工具需要符合几点要求，a.操作简单易上手，无需花费太多学习成本；b.方便记录不同类型的信息资料，如文字、图片等；c.整体格式不会随着信息录入而变动；d.方便用户及多个项目成员同时查看文档。通过体验多个工具，对比发现腾讯文档以及公司内部joyspace的表格工具除了满足以上要求外，还具备实时自动保存、手机端电脑端均访问编辑、无网络状态下编辑、手机端切换成问卷形式等优点，是比较理想的辅助工具。

（2） 准备日记内容：

日志可以分为非结构化日记和结构化日志等两种类型，对于非结构化日志，研究员主要对研究主题和研究内容与用户达成共识，对记录的具体内容不做强制规定，将主动权交给用户，他们可以根据自己的意愿和理解进行记录，这种方式自由度和弹性比较大，可以发挥用户自身的创作能力，可能会有一些研究员意想不到的收获，但这种方法对于用户的要求比较高，产出内容质量不易保障，且非结构化的结果分析难度比较大，比较适合探索性研究，用于深入了解按照表面过程无法掌握的复杂的事实。而结构化日志，顾名思义研究员需要根据研究目的设置标准化的日志模板，所有的参与者记录的内容和方式都是统一的，这种方式能够确保研究员关注的核心内容会有丰富的产出，而且记录结果也比较方便整理。对于标准化日志模板产出内容可能缺少“意料之外”收获的问题，可以通过日志记录后的跟踪访谈来弥补。

确定了日志类型后，需要设计具体的日志模板，日志法实际上融合了访谈、问卷等不同方法，问题类型既可以有开放性的问答题，也可以有封闭式的选择题，开放性题目通常用于了解用户认知/态度/评价等方面的主观想法，而封闭性的题目通常用于记录用户操作等方面的客观行为，根据实际需求进行题目类型的设定即可。另外，日志模板设计时需要特别注意问题的数量，题量切记不能太多，记录时长尽量控制在每天30分钟以内。主要由于日志记录通常需要持续一段时间，若任务量较大的话，用户每天需要投入的时间较多，容易导致用户后期参与积极性不高、中途退出、后期不认真记录等问题。

（3） 准备说明文档：

完成日志主体内容设计后，需要准备一个“说明文档”，指导文档要具体、简洁并且完整，主要进行以下两个方面的说明，a.日志任务概况说明，如任务执行的整体周期、每日执行的时长、记录需要使用到的工具等；b.日志具体任务说明，如具体执行任务是什么、日记记录的任务目标、调研周期内需要完成的任务量、完成任务的时间要求等；

（4） 开展预先测试：

日志研究一般需要较长时间来计划和进行，而且一旦开始正式研究，日志模板便不太适合临时调整，所以在进行正式的研究前先进行短时间的预先测试是非常有必要，尤其是对于比较陌生的领域、研究内容不够明确的项目，预先测试也是非常有帮助的。一方面可以测试我们前期制定的研究设计和日志模板，确保它们是易于被参与者理解的，不会导致理解歧义和信息偏差的；另一方面可以为我们的研究提供前期信息输入，有助于我们将体验流程进一步细化，将研究内容进一步聚焦，确保我们正式研究时能够通过日志记录获取到我们需要的信息。当然，预先测试不需要与实际研究一样的长时间记录，也不需要太多的目标用户。

2. 实际执行

（1） 目标用户的招募与邀约

目标用户的招募是正式进行研究的第一步，而制定合适的样本条件是招募工作开展的关键，招募条件通常分为三个方面，a.基于具体的研究主题及需求制定的基本条件，如在本次付费流量项目中，有通过线上渠道购物的行为、曾经看到并有点击网购平台外投广告的经历、近期有进行网购的打算等三个条件是必要的基础条件，这样的用户对于后续广告体验任务的理解会更加深入，日志记录会更加真实，该条件通常通过招募问卷中设置相应的问题进行核实与判断。b.基于研究设计的具体方法制定的特殊条件，如电子设备操作水平及工作时间安排等，本次付费流量的研究需要用户借助电子设备自行记录信息，因此，特别对用户使用电脑/手机设备的深度和水平有一定的要求。另外，由于本次项目周期为6天，每天需要用户花费大约30分钟的时间进行记录，因此，可以通过询问上下班时间等问题辅助评估用户是否有充足的时间完成记录和访谈任务，衡量他们是否能在整个研究期间都坚持下来,该条件可以综合招募问卷设置相应的问题和邀约阶段的沟通来核实判断。c.市场调研通用性的条件，如诚实、配合意愿高、表达能力强等，这些条件可以在用户邀约的环节进行核实和判定；

（2） 日志记录前的事项同步与沟通

在邀约到合适的目标用户后，到开启正式的日志记录前，需要花费一些时间组织一场“线上座谈会”进行关键事项同步与讨论答疑，需要跟参与者同步的信息主要如下：a.将前期准备的日程安排、具体任务等说明文档同步给所有的参与者，并进行沟通说明，避免大家对于任务理解存在偏差，并针对用户提出的疑问进行解答；b.让所有参与者体验日志记录软件，并解答可能存在的操作难点，确保后续记录过程的顺利进行；c.鼓励用户积极参与、持续记录，让用户了解他们记录的内容并不是用来测试他们的能力或者智商，要测试的是产品本身，他们有义务和责任将他们的真实感受和产品的失败之处告知我们;d.明确研究者期望的日志记录，记录内容正面评价、负面评价都可以，内容多少也都可以，但需要尽可能多的描述具体细节和当时的真实情况，并且记录需要尽量清晰易理解。

（3） 日志记录期间的持续关注与沟通

正式的日志记录开始后，研究员需要每天和用户保持联系，沟通的频次需要适宜，最好不要一天没有沟通放任不管，也不能一天沟通好几次，对用户造成多度打扰，每天将沟通频次控制在1-2次即可，一方面是提醒用户完成今天的任务，维持参与者的积极性和参与感，另一方面对于用户记录的内容进行及时的把控和反馈，比如对于按时完成、记录详实的用户进行夸奖，鼓励他们继续保持，对于不按时完成、记录过于简单的用户了解原因，并进行问题反馈，提供优秀案例帮助他们明确调整方向。

（4） 日志记录期间合理安排跟踪访谈

用户进行日志记录后，会存在遗忘的可能，为了最大可能上避免这一问题，前期研究计划在每位用户完成每天的2条广告记录任务后，即时进行跟踪访谈，最大可能上防止用户信息遗忘的情况产生，但这其实是一种理想的情况，具体还需要根据实际情况的进行灵活的调整。由于本次参与项目的用户多为上班族，他们的空闲时间主要集中在中午和晚上，这些集中的时间段他们主要用来进行日志记录，而上班时间通常不方便进行在线语音/视频访谈，且偶尔会发生突发情况导致计划泡汤的问题，因此将访谈计划进行几项调整，a.将“即时访谈”改为“及时访谈”，在用户记录后的当天或次日进行跟踪回访，为防止用户遗忘的情况，让用户完成记录后尽快报告，以便研究员及时查看用户记录，对于记录中不理解的、重点关注的信息，提醒用户进行信息的补充和完善；b.将研究员约用户改为用户主动约研究员，用户每天早上将今天所有可以接受访谈的时间告知研究员，这样方便研究员进行当日访谈安排，并可以在某些用户出现突发情况时，及时调整访谈安排，保证整体研究进程不受影响。

3. 数据分析

回收的海量数据应该如何进行分析与解读？

日志研究会让我们获得大量丰富的资料，通常会包含量化数据和质性数据两种数据类型，量化数据即数值数据，量化数据可以进行统计分析和数学计算的量化分析后，再进行探寻和诠释量化结果意义的质性分析；质性数据相对更加多样化一些，常见的例子是访谈记录、文本（如文章/书籍等）、田野笔记、图像、视频、录音、在线数据（如论坛讨论/网络推文）等，对于质性数据可以按照质性内容分析、扎根理论及话语分析等方法进行意义诠释后，再进行字数、词频及篇幅等量化分析。

分析方法的选择取决于研究目标、数据类型、数据搜集方式以及开展何种分类系统，在本次付费流量的研究中主要收集了访谈记录及图像两种形式的质性数据，分析方法主要依托扎根理论的质性分析方法和词频统计的量化方法。扎根理论的核心是“在原始资料中发展出译码与主题，继而从中寻找意义”，分析资料的过程大致可以分为5个阶段，包括阅读原始资料-开放性编码-主轴性编码-选择性编码-资料的归类与深入分析，本质上是将原始资料打散，以新的方式将其进行组合，并为其赋予概念、主题及意义。不像量化数据有非常严谨、规范、客观的分析过程，质性数据的分析更加主观，很大程度上依赖研究者对于研究领域的了解、过往研究的经验、个人特质及研究能力，它要求研究员具有对数据的高度敏感性、洞察力及想象力，需要在海量原始资料中快速地抓住蕴藏在资料背后的意义，并且能够在不同主题、概念间建立起联系，需要注意的是分析过程不是单次的，而是多次反复循环的，需要对研究资料进行不断的高层次的思考，逐步形成结构性、系统化、有价值、合理的研究结论。关于质性资料分析的理论基础和具体分析过程有很多专业的书籍，大家如果感兴趣可以进一步学习，本文不在此展开具体的阐述。

这里简单总结一下付费流量项目中，关于广告图片素材及落地页访问期望访谈资料是如何进行分析的。整体来看，分析过程大致可以分成两阶段三环节：

阶段一：广告图片素材分析

（1） 图像输入及元素拆解：

浏览用户记录的所有图片，将图像信息存入脑中，并且将图像上的元素进行拆解，如广告图1中的主要元素包括GIORGIO ARMANI、阿玛尼黑钥匙面霜、面霜大图、解锁高阶修护力等，广告图2中的主要元素包括京东logo、一起吹风的夏天、领券满199减20、立即抢购、部分商品、电扇、花露水、柠檬、凉茶、茶几、沙发、人物等；

（2） 元素识别及概念赋予：

对于拆解的元素进行识别，并将相同或相近的资料进行合并，将差异大的资料进行区分，进而进行分类，需要注意的是分类过程并不是一蹴而就的，而是反复的，逐级合并，一步步向更高层次思考的，并且需要为分类的结果赋予概念。如广告图1的元素识别后可以发现广告上主要有两类信息，一类是品牌名、商品系列名、商品品类名、商品卖点等文案信息，一类是商品的高清大图，两类信息均是围绕单个商品，可以将此类广告称作为“单品类广告”；广告图2中的元素识别后可以发现文案内容有3类信息，京东logo传递的是活动平台，对于品质关注、物流时效、售后保障等方面有要求的用户会有吸引力，一起吹风的夏天、领券满199减20是本次活动的广告语和核心利益点，立即抢购是对行为号召的一种方式，文案内容最为突出的信息便是领券满减的利益点；图片有2类信息，电扇、花露水、柠檬、凉茶等是多品类实景图，茶几、沙发、人物等是营造一种真实环境，可以称作为场景图，显得商品更加立体，主要为了突出实际商品，因此综合文案内容和图片信息可以发现该广告主要为了传递有多个商品参与、有大力度满减的活动信息，可以将此类广告称为“多品利益点类”广告。

（3）广告概念量化统计：

将所有的广告图按照步骤一、二进行元素拆解、识别并赋予概念后，便可以得到每一个广告图的类型，这时候便可以根据广告图类型进行量化统计，在本次付费流量研究中梳理了14名用户持续6天的操作日志，共整理出112条有效记录，发现主要存在4种类型，分别是明星代言类、单品宣传类、单品利益点类及多品利益点类，其中以单品及单品利益点类居多。

阶段二：落地页访问期望访谈记录分析

（1） 访谈记录输入及信息拆解：

结合上一个阶段的广告类型，浏览访谈记录，了解用户点击对应类型的广告后期望看到什么样的落地页，以及原因、痛点、需求等内容，并且将访谈记录中的所有信息进行拆解，如“希望跳转的页面能够直观的看到广告里面展示的样品图片和促销价格，而且有商品聚合的列表，这样可以做对比——访谈记录1”，从这段访谈记录中我们可以拆解出几个关键词如“广告样品图片”、“促销价格”、“商品聚合列表”、“对比”等；再比如“我想它那个页面的整体配色最好是结合新包装的色彩，然后要介绍有什么优惠活动，有啥赠品，折扣力度之类的。——访谈记录2”从这段访谈记录中我们可以拆解出几个关键词如 “页面配色”、“新包装色彩”、“优惠活动”、“赠品”、“折扣力度”等。

（2） 信息识别及概念赋予：

对于步骤一拆解的信息进行识别整理，并将相同或相近的资料进行合并，将差异大的资料进行区分，对结果赋予概念。如访谈记录1的信息识别后可以发现3个期望点，分别是“引流商品大图”、“价格优惠”及“相同品类其他商品”，访谈记录2的信息识别后发现“页面配色”、“新包装色彩”等可以归为“页面设计”，而“优惠活动”、“赠品”及“折扣力度”可以归为“优惠促销”。

（3） 点击动机概念量化统计：

将用户对于不同类型广告点击期望按照步骤一、二进行信息拆解、识别并赋予概念后，便可以得到用户对于不同类型广告的访问期望，根据用户点击广告的访问期望量化统计发现，用户对于不同类型广告主要诉求有一定差异，对于明星代言类，用户关心明星代言的同款商品及明星体验效果等内容；对于单品类广告，用户最关心引流商品的品牌/价格/独特卖点等内容，对于单品利益点类，用户最关心优惠类型/力度等福利相关内容，而对于多品利益点类，用户最关心页面排版/配色/信息导航等页面呈现效果。 综合几种不同广告类型来看，用户对于落地页的核心诉求集中在获取更多引流品及其福利相关的信息。

以上便是我们在付费流量效率提升项目中应用日志研究法的主要流程及内容，希望对大家有所帮助。