我们需要确定该日期的天干地支。根据农历换算，1980年11月初五的八字中，日干支可以推算出来。然后，根据天干地支与五行的对应关系，可以分析出各个元素的分布情况。
一般来说，五行包括金、木、水、火、土。具体缺什么五行，需要根据整个八字的组合来判定。若要具体分析出该人五行中缺少哪一种元素，需要完整的八字信息，这里无法给出确切答案。
通常情况下，一个人的八字中五行分布应该是相对平衡的。如果某一种五行明显偏弱，就可能意味着这个人在性格或健康等方面可能存在某种程度的不足。但是，这也需要根据具体的八字和个体情况来综合判断。
要准确知道1980年11月初五下午4点左右出生的人五行中缺什么，最好还是寻求专业的命理师进行详细的八字分析。