打开

AI 产品经理面试背后的逻辑

大虾. 11413阅读 2018-06-18

大家好,我是大虾,3岁半的 AI PM。现 VIPKID 任职 AI 产品经理,之前工作过的地方有:商汤科技(计算机视觉 - CV 方向)、安人心智(自然语言处理 - NLP 方向)。本文不免含有主观或错误的观点,欢迎大家多多指正。

面试,是一次职业竞争力的测试评估。

我的第一份工作,带着一点运气进入商汤科技从事 AI 方向;第二份工作是在安人心智,感谢阳志平老师,给予我从 0 到 1 构建一款 AI 中文写作工具产品的机会。

而在离开安人心智后的这两个月,我接触了近十家意向企业,认真面试了5家公司:滴滴、今日头条、京东金融、VIPKID 和美团,最终选择加入 VIPKID。这段时间,非常感谢hanniman - AI产品经理大本营的团长黄钊老师的帮助,在社群中与多位同行共同交流,受益颇多

面试结束后,朋友们鼓励我将面试经验整理出来分享,虽然我不认为自己的经历值得学习,但作为一次职场测试,还是有必要总结复盘一下啦~


这次被问的所有面试题,我认为都是围绕在一个大问题下延伸出来几个核心问题,每个核心问题包括许多从属问题,最后还有一些外延问题。

我试着从这些面试题中推论,这个大问题是「AI 产品经理的价值是什么?」

AI 产品经理的价值是什么?

如果说产品经理的价值是创造一款满足产品-市场匹配(Product-market fit,PMF)的产品,那么 AI 产品经理的价值,又是如何让 AI 产品满足PMF的呢?

PMF 是 Marc Andreessen 在2007年创造的一个概念,定义为:「在一个好的市场里,能用一个产品去满足这个市场」。

PMF2.jpg

PMF.png

从宏观角度来说,AI 价值主要有两方面:

  1. 改进甚至替代现有的人工行业;
  2. 创造新的行业契机;

要回答 AI 产品经理的价值,也许要先思考:AI 在产品的价值中发挥什么作用,「改进」还是「创新」?在不同的产品中, AI 产品经理的工作是如何产出与量化的呢?基于这个大问题,延伸出两个核心问题:

1. 「AI 如何应用于产品?」这个问题的背后实际上是回答:「AI 产品经理的工作如何产出?」包括:产品中的哪些问题应用了 AI?AI 技术如何工程化落地到产品上?...

2. 「AI 产品如何衡量?」这个问题的背后实际上是回答:「AI 产品经理的工作如何量化?」包括:AI 产品的用户体验有哪些指标?与传统的产品衡量指标相比,应该如何衡量?如何分解指标?...

以下是面试官围绕这两个核心问题,根据我的项目展开了具体的面试提问。我也对每个问题当场的回答与事后复盘的思考作了整理,也许还有许多没问到的问题,也需要自己未来多加注意。

AI 如何应用于产品?

基于该核心问题,延伸出多个从属问题,包括:

  • 1. AI 产品应用了哪些 AI 技术(或其他科学原理),如何应用?
  • 2. AI 产品经理在 AI 技术工程化的过程中,主要工作角色是什么?
  • 3. AI 在产品中取得的最终效果如何?作为 AI 产品经理,总结了哪些成功的经验或失败的教训?

「你是怎么将算法从技术demo包装到产品上的?」 

-- 面试官根据简历上的项目描述,要求介绍产品的功能,举例某个算法技术包装到产品的流程。

我的回答:

  • - 根据当时的团队背景,概括该项目从算法到产品落地的完整流程;
  • - 而我作为 AI 产品经理,主要负责的部分流程,根据项目举例,如:
  • - 需求分析:如何找出客户的真实需求,并排列优先级
  • - 产品设计:根据客户当前情况,给出怎样的具体方案
  • - 数据标注:分析数据与算法原理的关系,编写标注文档,并带领数据团队收集数据与推进标注
  • - 工程合入:技术工程化需要跨部门沟通,在不同的部门合作中如何成功推进
  • - 产品发布:...
  • - ...

「你是如何将认知科学原理应用到产品层面的设计上?」

-- 面试官会根据我的项目介绍提到的「基于人工智能技术与认知科学原理...」展开提问。

我的回答:

  • - 首先分析产品的背景,包括:目前市面上现有的产品对哪部分需求没有满足,而我们的产品基于这些原理,在市场上可以满足哪些需求
  • - 如何基于xx原理来满足xx需求:举例某个xx原理的含义与应用过程,如:
  • - 根据原理,提取了哪些规则,并如何将规则细化和分类...
  • - 而不同的规则,分别运用了怎样的技术来解决
  • - 如果面试官不打断,我继续回答,在xx原理到技术的过程中做了哪些事情,包括参考哪些资料来梳理这些原理的规则、制定了哪些指标,来衡量这些原理的应用效果
  • - ...

「你在做这个产品的过程中,主要做了哪些事情?」

-- 这个问题一般是基于某个项目细节去追问,一般不会单独问。但有面试官会换一种问法:「你的工作方法是什么?」或是「你做产品的工作流程是什么?」

我的回答是:根据项目的真实情况来举例回答。

  • - 市场调研-收集需求-需求分析-制定产品方案-团队沟通和项目排期-跟进项目开发中的问题-调整-制定评估标准-测试用例-测试-发布-线上数据分析-收集反馈-第二轮迭代...

而根据我上面的回答,面试挑某个流程钻进去问,比如:

  • - 怎么做需求分析
  • - 怎么做产品规划
  • - 用户调研的方法
  • - ...

~ 现场按自己的记忆来梳理,也没有提前准备。面试官建议我掌握业界标准的产品经理方法论和工作流程。而事后,我也反思该问题:回答缺漏的原因也许并不是我对该问题准备不够充分,而是在之前的工作中就没做到位。所以,我需要在之后的工作中加强学习业界产品规范。

「你在这个项目中最重要的角色是什么?」

-- 这个问题通常是在上一题问完工作流程后,进一步考察产品经理对工作角色的思考深度。

我当场的回答是:

  • - 产品经理最重要的是发现问题与解决问题。然后举一个具体的例子来描述。
  • - 后来面试官也给了我许多中肯的建议:产品经理应该更关注用户价值,为用户创造有价值的产品。

~ 事后我也继续思考该问题:在不同的公司或团队背景下,对不同层级的产品经理的角色/要求是否不太一样?而自己的感觉是,产品经理最重要的是「做正确的事」,然后是「正确地把事情做出来」。而如何界定「正确」的标准?这个问题我还在思考,也希望与大家多多交流该问题。

「这个产品的核心价值是什么?」

-- 5论面试有3轮产品总监都问到这个大问题,说明该问题在工作思考中非常重要。

我在当场的回答:

  • - 产品的价值有多个维度:用户价值,商业价值等
  • - 举例产品如何满足用户需求,发挥产品价值,包括:
  • - 产品面向的是哪些用户群体
  • - 他们在真实场景中的痛点是什么
  • - 产品的什么功能解决或缓解了这一痛点
  • - 产品最终达到了怎样的效果,是否满足了用户价值(是否达到衡量指标)

~ 当场的回答并不好,毕竟自己做过的产品也不算非常成功。后来总结了某些失败的教训,也在该问题结束前一并提出。事后在整理本文也思考:AI 产品的价值点,如果是根据「创新」和「改进」来分类,(1)为什么 AI 驱动的创新对用户来说很重要?(2)传统产品的问题为什么需要 AI 来改进?

「为什么这个产品后来没有达到预期?最根本的原因是什么?你总结了哪些深刻的经验和教训?」

-- 面试官对成功的项目只是粗略带过,而对失败的经历会问得更深。

我当场的回答,是从「市场-用户-产品-技术」没有形成闭环的角度来回答这个问题。

  • - 最小产品当时投入到市场,目的是为了验证是否满足 PMF,有三种满足 PMF 的方式:
  • - 第一种,先找到一个细分市场,直接推出产品去满足该市场的用户需求;
  • - 第二种,某个细分市场已明确存在,但是目前满足这个市场的产品的体验仍不够好;
  • - 第三种,当市场的用户需求不存在时,发明一款产品,去创造出一个新的市场;

- 举例分析我负责的产品,属于上面哪一类产品,然后证明产品和市场是否匹配。失败的原因是未满足PMF,闭环未形成。而 AI 产品比普通产品更难满足 PMF 的难点在于:如何选择合适的市场切入?AI 落地,不仅是工程化方面,还需要考虑 技术与产品的匹配点。

  • - 需要在大规模数据量的业务积累下,对 AI 产品有相对明确的需求
  • - 能对用户体验指标有具体的定义与标准化,然后拆分让技术实现的场景

~ 因为经历过一些失败,了解了某些 AI 产品为什么无法满足 PMF。这也是我为什么要来到垂直行业做 AI 产品经理 的原因。我也告诉面试官为什么明知失败,背后没有去做这些事情的原因;同时在过往经历中也发现了自己在产品方面的短板,需要不断加强积累。

AI 产品如何衡量?

衡量一个产品的标准可以被定义为:「一个真实的用户对于该产品的感知」,包括:这个产品的易用性如何?产品功能的丰富度如何?反应速度如何?扩展性如何?精致度如何?Bug多不多?
衡量一个市场大小的标准可以定义为:「该市场的用户的数量和增长率。」

那么,AI 产品应该如何衡量?基于该核心问题,延伸出多个从属问题,包括:

  • 1. 首先是 AI 产品的用户体验如何测量?与传统的衡量方法有什么区别?设定了哪些衡量指标?
  • 2. 根据什么标准来设定的这些指标?
  • 3. 哪些指标与 AI 相关,哪些不相关?
  • 4. 应用了 AI 技术的指标,产品指标是如何分解到 AI 技术指标的?
  • 5. AI 产品经理如何完成这些指标?(进一步提问技术细节,考察产品经理对数据和技术的理解)

「怎么衡量产品的效果与指标?」

-- 这个问题被所有面试官问到,**非常非常非常重要**,也会被问得很深,指标要求说出具体的数字。

我的回答:

  • - 根据项目的某个功能点,举例回答产品指标的参考标准;
  • - 被追问「你选择的这套标准,是否适用于用户场景?用户是怎么评价这个效果的?」
  • - 举例回答产品效果的测量方法,包括:
  • - 如何分解产品指标到技术/算法指标,如何定义算法规则?
  • - 如何测试产品功能改进后的效果
  • - 被追问:「测量时,如何选取测试数据?如何评估数据的好坏?」
  • - 被追问:「如何评估用户体验有所提升?」
  • - 如「速度变快」具体指的是哪个流程变快
  • - 如「速度变快」的结果,具体数字是从xx分钟降低到xx秒

面试官会对其中一个问题,深入技术细节展开追问:

- 「如何平衡召回率和准确率,为什么优先准确率?」

  • - 举例,不同指标对用户造成哪些不同程度的影响。

- 「如何在不损失准确度的情况下,提高召回率?」 

  • - 举例,产品背后使用了哪些算法,讲解算法工作原理以及发挥哪些作用
  • - 不同的算法原理,提升了哪些产品指标,具体细节,具体数字...

- 「你依据什么标准拆解规则,做了怎样的分类?」 

  • - NLP 的问题难点在于制定规则拆分的逻辑,需要结合规则背后的语言学规律,以及产品结合用户行为等场景计算规则的实用性。
  • - 举例:不同类型的规则,分别采取了哪些方式来提升指标,比如 NLP 的 n-gram 解决的是AA问题、深度学习的 GNMT 模型解决的是BB问题,而深度学习只完成了第一步,还需要进一步抽取xx规则(举例说明其中的原理和细节)

- 「xx 规则,用到了什么语言学规律?你看过哪些语言学的书来找到这些规律?」 

  • - 当时这个问题被问得很细,我也只能举例几本不同的语言学相关的书,自己分别从里面用到了哪些规律,总结出什么样的规则,如何根据真实场景,来融合这些规则(举例一些语言学知识)。

~ 担心面试官觉得我过于专注技术细节,我也向面试官解释,基于团队资源缺乏的情况,我主要负责的是产品到算法的规则拆分、构建语料库和标注测试数据方面,以及我是怎么做这些事的具体例子。面试官也会根据我的回答进一步追问,让我举例有哪些规则。

「这个项目,给客户减少了多少人力成本?」 

-- 面试官当时深入问了我在商汤做的一个重要项目,以身份验证服务降低人工审核成本为例。

我的回答:

  • - 介绍业务背景,客户的真实痛点,客户对产品最基本的指标要求,如何给出第一版本解决方案。
  • - 在满足客户基本指标之后,如何继续提升了算法和性能指标,最后达到了什么效果,具体到算法指标数字。

由于我的回答偏技术指标层面,所以面试官追问:

  • - 「上线后,能减少客户多少人力成本?是否有具体数字?」
  • - 「xx防伪的识别率多少,在什么条件下才无需人工审核」(需要深入了解客户的业务场景)
  • - 「你们发现哪些网络攻击的问题」(具体举例网络攻击行为与解决策略)------ 如何解决网络攻击问题:回答包括从哪里发现网络攻击行为、如何做攻击行为的数据采集与数据标注、算法团队如何根据该需求来训练模型...
  • - 「最后完成效果提升多少」(客户人力成本降低的具体数字)
  • - 「后续迭代进一步优化了哪些指标」(举例客户的其他需求)


下面是在如何衡量产品指标相关被提问的外延问题,考察 AI 产品经理的数据分析与技术理解能力

「你对数据是否敏感?」 

我并没有正面回答「是的我很敏感 or 我不敏感」,而是举例自己之前做过哪些 AI 数据相关的工作,包括

  • - 自己在标注过程中,发现过哪些问题
  • - 如何带数据标注团队,提升标注效率(偏人工智能训练师的角色)
  • - 根据客户反馈,分析线上数据找出具体问题,提出优化方案等

「你对机器学习算法是否熟悉?」 

-- 在技术型产品岗位的面试都被问到。而不同面试官对该问题的提问方式会不一样。

(1)要求直接回答的方式「是/否 熟悉」

我的回答:

  • - 不算非常熟悉,但我知道自己的产品是用了哪些算法(举例),在不同的功能和规则下,用xx算法是怎么实现的,xx算法可以多大程度改进产品。
  • - 然后举例自己和算法工程师协作时,如何用产品的思维结合算法共同优化某个指标(举例)。

(2)面试官出一道实际场景的题的方式,来考察我怎么实现这题的算法逻辑,来评估我的技术理解能力。  

  • - 「怎么判定文章是否抄袭」(最新洗稿很严重,大家都在讨论这个话题)
  • - 「怎么计算一篇新文章在历史文库中的热度」
  • - 「怎么预测新用户是否会购买一件商品」
  • - ...
  • 回答略

(3)还有一种提问方式最令人恐惧,直接要求讲解某个算法的技术原理分解到数学层面细节。

我的回答:

  • - 深度学习,是什么概念(嗯,当场把理论背下来,比如深度学习中运用最多的卷积神经网络,它的每一层结构分别是什么,为什么需要多层?)
  • - 在图像领域中,为什么用深度学习会比其他的效果好,原因是什么?
  • - 很多人都说深度学习很牛,但是它和传统图像识别的方式有哪些区别,解决了什么问题?
  • - 身为 AI 产品经理 如何通过对技术的理解,去解决实际的问题? 

~ 事后思考,为什么 AI 产品经理 要懂技术?以前都是拿 RD 的结果去用,分解出指标给 RD 就够了,但是其实并不知道,深度学习或者其他算法能给产品带来具体什么样的效果,AI 的好处和风险点有哪些?AI 是否真的能解决问题?如果 AI 产品经理 (尤其是 AI 算法 产品经理)不懂技术,你怎么知道它能给你的产品带来的是提高而不是灾难?


「你是如何跟算法工程师沟通的?」

-- 该问题个人感觉相对简单,属于考察产品经理的沟通能力,以及解决问题能力。

我的回答:

  • - 举了一个例子,比如在真实场景中用户投诉,为了达到客户预期,必须提高xx准确率的问题:
  • - 先根据用户反馈,定位问题;
  • - 然后线上看数据,分析问题;
  • - 列出问题可能存在的根源,哪些是算法问题,哪些是工程问题等;
  • - 做了一个问题分析表,附带数据图片样本;
  • - 根据问题分析表中发现的具体问题,和 RD 沟通哪些能解决;
  • - 再看自己可以做哪些事去推进,如果是新需求可能要收集更多数据,并申请标注团队资源等...

外延问题

外延问题主要包括:

  • 1. 与应聘岗位相关的问题,包括如何优化对方的产品
  • 2. 与面试者个人经历相关的问题(比如我为什么从iOS开发转产品)
  • 3. 面试者的未来职业规划方面的问题

「AI 在 XX 场景中,可以实现哪些功能,说说你的理解」

-- 这个问题需要提前了解应聘岗位的背景,可能需要了解算法基本原理才能回答得更好。

「对我们公司的什么产品感兴趣?你还能再做哪些优化?」

-- 比如面试今日头条,他会问抖音或推荐产品还可以从什么方面优化,从算法技术的角度、从用户体验的角度等。

「你为什么从技术转产品?」

-- 个人职业转型问题,面试官连续提了下面几个问题,篇幅过长,我加到另一篇文章来回答这几个问题:[我的职业路线与未来规划]

  • 1. 「你最早是iOS开发,当时为什么做技术?为什么从技术转到产品,说说你在转型中间自己的感觉。」
  • 2. 「你觉得做 AI 产品经理,和做技术有哪些不一样?」
  • 3. 「你为什么觉得自己更适合做产品?」
  • 4. 「你未来的产品职业选择是什么方向?你会如何做好以后的产品?」

附:面试前期准备 & AI PM 同行交流

其实这次面试我没有提前很长时间准备,我看有些小伙伴会准备1-2个月面试,而我从写简历到第一家面试只准备了1周左右的时间。

写简历的过程中,梳理了过去3年所有的工作。也根据项目自己的工作内容,来准备可能被提问的问题,重点复盘了工作细节,还搜了市面上常见的 AI 产品经理 的问题与答案。下面这些重点问题 90% 都被问到了,尤其是「如何衡量指标」这个问题,会被不断追问。

  • 1. AI 和 传统方法有什么区别,在这个产品中,AI 的优势是什么?
  • 2. 为什么传统方法无法解决这个问题?效果不好有哪些原因?
  • 3. 在这个产品中,分别应用了 NLP 和 AI 的哪些技术?NLP 主要解决了什么问题?
  • 4. AI 主要解决了什么问题?分别是如何解决的?
  • 5. AI 又是如何基于 NLP,进一步做了哪些改进?
  • 6. 产品有哪些评估指标?根据什么来设定的这些指标?
  • 7. 产品指标如何测试和衡量?
  • 8. 算法指标如何测试和衡量?

在第一轮滴滴的面试结束后,hanniman-黄钊老师基于我的个人优势和短板,为我提出了如何选择公司和岗位等非常好的建议,十分感谢!

下面是我自己对我个人的能力分析:

个人能力分析

产品经理的品质方面:

  • - 有认知科学基础,能够清晰地梳理问题,在复杂环境中发现关键矛盾;
  • - 和团队关系友好,待人真诚,也有很强的团队凝聚力,推动能力强;
  • - 对 AI 技术应用到垂直行业有着非常高的热情,决定投入至少10-20年坚持去做好这一件事;
  • - 也有超强的毅力和耐心,这也归功于之前跑马拉松的习惯,坚持做一件事对我来说并不难;
  • - 日常生活比较稳定,除了工作,业余也会坚持锻炼,读书与写作;

产品经理的专业方面:

- 积累较多的:

  • - 需求分析层面,不论是toB还是toC,深度考虑用户场景,用户调研并验证自己的假设;
  • - 项目管理层面,统筹产品从算法技术落地到产品上线的整个过程。权衡在关键时间点做哪些重要的事情,有时候不一定非得 AI,关注结果和效率;
  • - 数据分析层面,在产品上线后发现细节问题来改进产品,AI 技术理解能力较强(CV+NLP);
  • - 除了 AI 产品经理的工作以外,会额外做一些提升效率和推动进展的事情,在资源少的情况下额外辅助工程师做语料库整理、数据标注等工作。

- 积累较少的

  • - 产品方法论,深知自己的专业性与业界规范仍有差距。面试官分析这也许是我之前缺乏大公司产品经验导致;
  • - 交互设计,接触 toC 的产品设计较少,也是在最新一次产品设计经历中发现设计的各种问题,通过具体细节才感知到背后的问题,这也是需要基于业务场景下来思考设计,而非自己臆造功能和交互流程;
  • - 行业经验,缺乏 AI 产品在垂直行业应用的经验。这也是我来到教育行业的原因之一,我对行业积累得远远不够,而要把事情做成,就必须积累这些经验去更好地判断。

黄钊老师的分析

你相对其他人的优势,应该还有对CV和NLP的了解,至少是会熟悉一些、能很快上手。你前面分析行业+公司很不错,选择公司时,如果主营业务对AI有诉求,并且已有一定的积累,会是非常好的锻炼平台。另外,是否能锻炼你作为PM的专业能力,也是一个重要因素,如果能去腾讯,或者直属leader是腾讯产品背景的人,会比较好。
但是,如果考虑你的长期发展规划,个人观点,最重要的考量因素,是如何一步步的选择一个最适合你的AI细分方向,进而去积累。
你现在刚好属于可塑性最强的阶段(年轻+有CV和NLP背景),但再过2年,这个相对优势又淡化了。
CV、NLP,及其交集领域,怎么跟垂直行业结合,都会有不错的方向,但这还不够,单个人来说,需要像我偏笑那样,在细分、再细分的AI领域,做到业内TOP级(即使短期内,在其他方面有明显短板)。
至于PM常规能力方面,随着你的工作年限提升,只要公司平台不太差,基于你的主动性和学习能力,5~10年后,自然会不错的。

非常感谢黄钊老师,这也是我第一次如此详细地分析自己的能力,也帮助我在未来工作中不断反思:需要积累哪些技能来填补短板,更需要发挥自己的长处。

参考资料



熬夜了2周,终于完成了所有的面试。感谢帮助我的师友同行,也感谢愿意花时间面试我的各公司领导们。

如果对本文有任何的建议或意见,或对相关内容需要探讨,欢迎加我微信一同探索,微信号:Wuxia-wuxia-0822(请备注来自 PMCAFF)

写下你的评论

发布评论 取消
500

写下你的评论

发布
500

评论

查看更多评论

删除评论

删除的评论将永久消失,确定要删除吗?

删除 取消
内容不合法,请修改后提交

云队友 | 热门职位

我要招聘 →

绑定手机

参与互动需要先绑定手机号哦~

完善信息

参与互动需要完善个人信息哦~

参与互动需要进行审核

为了保证社区的内容质量,需要提一个问题,来证明你是可以的!

在问题审核通过后,即可开启PMCAFF所有功能~

  • 微信好友

  • 朋友圈

取消

打开 APP 阅读

推荐使用 PMCAFF APP,阅读体验更佳。