如何用一张问卷提前预知学习效果？
根据研究，在一般企业，学员参与培训后，只有大约15%的学员会将所学运用到工作上；65%的人会试着运用，但三十天后又恢复原形；20%的人则什么事情也不做，让整个培训资源白白浪费。对企业的高阶主管和人力资源部门来说，这些正是他们急切想要知道的答案。资深顾问菲利普（Kenneth Phillips）指出，针对员工进行问卷调查，通过计算机分析演算搜集来的数据，企业可以预测员工的学习行为。作为菲利普顾问企业（Phillips Associates）的创始人，菲利普在学习工具的设计与学习效果评估方面有超过三十年的经验，并常在大型人资研讨会、高校或企业授课与演讲。他提出，要让培训在工作上发挥效用，关键要素有三——第一，学习计划的设计；
第二，学员的态度；
第三，学员的工作环境。
企业如果能够从这三个方面对学员进行问卷调查，搜集信息，将能够预测学员未来的行动和整个培训方案的效果。
在接受本专栏特约主持人方素惠女士的越洋专访中，菲利普就此问题给出了深度建议。“预测学习分析能够向前看。如果你看到的结果和原来的预期不一样，这时就有了改变结局的机会。”他说。
不只在美国，由于大数据搜集能力的提升，预测分析（Predictive Analytics）正逐渐成为全球企业界的热门话题。现在，企业能够通过网站与顾客之间的互动，以及社交媒体，搜集到海量的信息。因此大家开始思考，如果能善用这些数据来建立算法，并将这套数学模型用在数据库上，便能用过去发生的事情，来预测未来可能的发展。例如，企业可以通过数据分析知道应该雇用哪种人才，当HR为某个职缺找人时，可以根据过去的数据辨认出哪些应征者最可能做好这份工作。面对顾客，在销售漏斗的前期，企业可以计算潜在顾客的资料，辨识哪些人可能会真的成为你的顾客。这个案例让我想到，如果我们可以将这个概念运用在培训上，企业就能预测培训结束时，哪些学员最有可能成功地学以致用；哪些回去后会尝试所学方法，但可能最后还是回归原来的行为模式；哪些人参加培训后，什么改变也没有。从而，我以预测分析为基础，开发了预测学习分析（Predictive Learning Analytics）这套模型。
大多数培训人最常使用的模型是，柯氏四级培训评估模型（Kirkpatrick’s Four Levels of Training Evaluation）。不过我认为，这个传统模型有两个问题：第一，它是通过设计来评估“培训计划”本身而非学员的；第二，它是回头看已经发生过的事。你要等到培训结束且搜集了数据后，再回头看学员是否喜欢课程、有没有学到知识或是学以致用。而预测学习分析能够做到的是向前看，也就是在搜集资料后，预测可能的结果或学员未来的行动。如果你看到的结果与原来的预期不同，这时就有了可以改变结局的机会。
在研究了许多与培训转化（training transfer）相关的资料后，我发现能提升培训转化的三个关键要素是：学习计划的设计、学员的态度，以及学员的工作环境。其中每一个类别都包含四种不同的可变因素，这十二个因素就成为了我设计算法的基础。企业会以这十二个因素为基础设计问题，给到通过培训的学员填写，并根据他们的回答处理资料，预测三个方面：哪些学员最可能成功学以致用；哪些学员的主管会做好支持学习方案的工作；哪些主管在员工参加培训之后，没有做好支援的工作。许多研究都指出，员工能否把培训所学知识技能用在工作上，主管扮演了重要的角色。
有了预测学习分析，培训人员可以知道，应该要与哪些主管沟通，并改善他们支持培训的做法。此外，企业也可以观察，在三个要素中，哪一项对学员的学习转化帮助最大，哪一项效果最差。这可以让培训人员将精力集中在如何提升学习的转化上，以及识别无效学习的潜在成本。
在预测学习的第一阶段，培训人员可以在培训的三十天后，对学员进行调查，问他们：
从你参与培训到现在已经三十天了，你认为自己在工作上发挥了几成学到的知识？
你对上述评估的正确率有多大信心？
如果你没能百分百应用所学，是因为有哪些障碍？
透过前两项资料，培训人员可以了解有多少无效的学习出现在这个培训计划中。第三个问题的回答则可以让我们明白，学员碰到的障碍是什么。第二阶段专注于了解如何运用这些数据。培训人员要分析资料，知道哪一个学员最有可能、可能不会，或完全不会运用学到的知识；接着，针对后两者，提供一些强化学习或跟进的做法。我们的研究显示，在一般企业，参与培训计划的学员大约有15%会在工作中应用所学。无论是否有提供其他协助，这群人都会学以致用；65%的人在培训结束后，获取了正确的心态，回到工作岗位后也会试着运用学到的知识，但经过三十天后仍会退回到旧习惯上，被标记为“危险族群”；而第三种人则占了约20%，他们回去后什么也不会做。企业不应该只停在这个层面，讲师只是模型中一个很小的部分，甚至可以不被包含在模型中。无论他们找到的讲师是好是坏，虽然可能会对学习转化造成一些影响，但学习项目设计、学员态度、学员工作环境这三个要素的影响力比讲师大得多。因此，如果企业只注重讲师，那就错失了良机，没有抓住那些真正能对学习转化有所帮助的关键。
我看到的最大问题是，有时人们不知道如何设计测验题目。有时，他们出太难的问题；有时，他们在题目中就暗藏了答案，让某些“应试高手”就算没有认真参与培训仍能通过测验。企业自以为搜集了有用的资料，但大多数情况下其实不然——这些资料没办法证明学员是否真的学到了知识。
此外，在大多数企业里，培训人员设计的测验题目都是记忆型题目，也就是单纯地提供事实。例如，询问学员这个题目的叙述是对的还是错的，或是多选题等。根据批判性思考学者本杰明·布鲁姆（Benjamin Bloom）的研究，要设计比较好的测验题目，你除了要测试对方知不知道，也要测试他们会不会应用。因此，题目应该聚焦在工作应用上，而这类题目需要多花点心思设计。例如，某个培训项目是在教导维修人员如何诊断并修理坏掉的电视。这时，测验的题目就可以列出一些电视损坏的征兆，并询问学员，可能是什么原因造成的这些问题。换句话说，题目要提供与学员工作有关的情境，并让他们根据自己的解读，以及在培训中学到的知识，回答处理问题的解决方案，应该采取的行动等。花更多时间思考该如何搜集和培训相关的重要资料，这些资料能告诉你情况究竟如何。最重要的是柯氏评估第三层级的资料，也就是学员是否能学以致用。若学员未能运用学到的东西，培训就只是浪费时间与金钱。
若培训人员能搜集到这些信息，就可以站在更强势的位置上，推动企业发展人才。
本文来源于《培训》杂志2022年7月刊，文章仅代表作者个人观点，不代表“培训杂志”立场。
| 做好这类人才培养，企业的顶梁柱就有了！
|
刘畊宏一天涨粉1000万，为什么比他会教学的你做不到?
|
不断朝上走的管理者，要培养哪些能力？
|
培训工作图鉴，躲开那些“飞来横祸”
|