《Youtube案例分析》油脂及白色粉末沾汙於PCB金手指造成按鍵不良

工作熊這次要來跟大家分享一個之前在部落格就曾經發表過的產品不良分析案例,這個案例是有關「疑似油脂污染在印刷電路板的鍵盤金手指上所造成按鍵功能不良」,內容做了一些整理與思路的釐清。本文也同步發表在工作熊的YouTubePodcast頻道。

案發的背景描述:

話說從前,有一次工作熊在大陸出差的時候,突然被老闆的一通電話打來,要求工作熊必須即刻趕往也在大陸的另外一家代工廠,目的是去尋找「油」礦,而且老闆還撂下了狠話,說:『如果沒有找到「油」就不用回來了!』,於是工作熊只得匆匆忙忙地帶著忐忑與不安的心情出發,這下子連回台灣的機位都不敢劃了~這誰知道能不能找到油礦啊,看來得要有常駐代工廠的心理準備了,當時的老婆還年輕,孩子也還小,想想就只能自己在心裡哀聲嘆氣,然後小小雀喜,因為不用回家帶小孩了。

原因是公司最近接到了一樁嚴重的DOA客訴,DOA是「Dead On Arrival」的意思,也就是產品一送到客戶的手上開箱就死機,而且數量還蠻多的。

在醫學上也常用這個DOA來表示「到院前死往」,但後來隨著CPR(心肺復甦術)的知識與AED(體外心臟電擊去顫器)的普及,有越來越多患者在到院前又恢復了生命跡象,所以在台灣的醫學救護上也就漸漸減少了DOA這個名詞的使用,而改用歐卡(OHCA)這個名詞,以避免直接宣稱死亡。而OHCA是「Out-of-Hospital Cardiac Arrest」的英文縮寫,也就是「到院前心肺功能停止」的意思。我們好像有點離題了。

話說回來,這批發生DOA產品的不良現象是,按壓按鍵時機構上可以正常作動,無異常,但是電性上卻沒有功能反應。市場維修人員在沒有拆機的情況下,有先檢查按鍵的行程(stroke),但是並沒有發現有任何問題,也沒有發現有按鍵卡住的現象,但是當按下按鍵後卻無法驅動電路。我們公司產品的按鍵有點類似電話的九宮格數字鍵盤,而有問題的按鍵幾乎都出現在數字3,6,9的位置上,也就是說按鍵問題有集中性,而且都集中在鍵盤右邊的幾個按鍵,初步統計的不良率,大約有1.12%(3000台裡有35台有問題),因為對方是公司的大客戶,所以大家都很緊張。

疑似油漬汙染按鍵疑似油漬汙染電路板

 

公司第一線的客訴處理人員在確認自己無法解決問題後,就馬上向上回報給了第二線的技術問題分析人員,當他們拆開產品來檢查時,赫然發現,在有問題按鍵底下的電路板表面上居然有著明顯而且嚴重的白色粉末污染,以及類似油汙的液體,這很明顯是在工廠端就遭到了污染,因為產品的易碎防拆標籤都還是完好無損,沒有被拆過的痕跡。

疑似油漬污染按鍵的金屬簧片疑似油漬汙染電路板

而更讓人百思不解的是,工廠的作業流程是成品組裝以後必需做100%的產品功能測試,而且出貨到公司的歐洲發貨中心後又會再經過一次100%的進貨品質檢查,結果竟然在出到客戶手上時發生嚴重的DOA現象;另外,因為產品的按鍵機構使用的是「金屬簧片(metal dome)」,所以工廠的流水線上幾乎都會100%使用IPA(Isopropyl alcohol, 異丙醇)來清潔電路板上按鍵的金手指線路,而為了避免剛擦拭在組裝電路板上的IPA還未完全揮發就被組裝閉鎖起來,我們還特別要求組裝廠作業時,必須要隔兩個作業員才可以把清潔後的組裝電路板放進機殼當中,所以,這白色粉末及油狀沾污到底從何而來?當時真的讓人完全沒有頭緒,因為從常理判斷是絕對不應該出現這種現象的。

為了追查不良問題的原因與來源,公司成立了特別專案小組,成員包括客戶服務、品管人員、研發以及外包廠工程管理人員,因為公司的產品是OEM委外生產,所以我們還特別要求代工廠也要派代表參加,然後就是每天開會、定計劃、跟進度,這種特別專案小組是最累人的,因為每天都得報告是否有新的發現並更新進度,直到案件結束。

短期止血對策(Short-term solution)

公司所做的第一個補救措施,當然是先採取短期的止血措施,call回客戶手上的產品,然後100%重檢同一批產品的功能,並隨機抽樣6台已通過檢驗的產品,將他們放進高低溫循環的環境中做老化測試,目的是為了驗證再次重檢後pass的產品是否真的不會再發生同樣的品質問題。

第二步則是要求製造工廠提供問題產品當時及其前、後一批產品生產時的所有同一系列產品的序號,然後依據序號來抽檢發貨中心庫房內的產品。不幸的是,重檢後確實發現有同樣的不良現象發生在代工廠提供的同一系列不同批號的產品上。這下子就更加證明問題應該是來自工廠的製程了。

真因調查 (Root cause analysis)

1. 特性要因分析圖

在不良真因的追查方面,我們招集了代工廠的相關小組,並運用腦力激盪法(brainstorming),畫出了所有不良可能原因的「魚骨圖」,也就是(特性要因分析圖)」,來查驗所有可疑的污染來源。

按鍵污染的要因分析圖(魚骨圖)

工作熊之前有做過一支關於「魚骨圖及特性要因分析圖的影片介紹」,有興趣的朋友可以參考這支影片。

因為問題發生的有點匪夷所思,製造工廠也一直認為油污及白色粉末不太可能是來自他們生產線的設備與製程,但我們還是強烈要求製造工廠必需詳列所有可能的油污來源,從PCB進料、檢驗、PCB上料架、然後SMT整條流水線(包含回焊爐)、手焊零件ICT組裝板電路測試FVT組裝電路板功能測試、修理、整機組裝流水線,甚至連靜電槍與氣槍會不會噴出油水的可能性都不肯放過,然後再仔細檢查每道可能製程裡是否有存在油汙的可能來源,總之,整個工廠幾乎被翻了一個遍。

其實工作熊那時候也只是把死馬當活馬來醫,因為連工作熊自己都覺得工廠的製程,在正常情況下是不太可能出現這種油污與白色粉末的,就算真的出現了也應該要在當下就被發現了才對。現在想想,還真驗證了福爾摩斯的那句名言:「當你把一切不可能的情況都排除之後,那剩下的,不管多麼離奇,也必然是事實 (When you have eliminated the impossible, whatever remains, however improbable, must be the truth.)」。

2. 不良品送實驗室化驗汙染物成分分析

另外,我們還花了大錢,把不良產品送到外面的第三方實驗室去做污染物的成份分析鑑定,也就是因為這次的事件,讓工作熊知道,原來汙染物分析的方法不只EDX(Energy-Dispersive X-ray spectroscopy)一種,工作熊那時候只知道使用EDX可以分析出汙染物或待測物的元素成分,比如說分析IMC(介面金屬共化物)的組成元素或檢查富磷層的磷含量就可以用EDX,但如果要比對的是化合物,也就是化學式,EDX是比對不出來的。實驗室建議我們可以做FTIR,也就是「傅立葉轉換紅外線光譜」實驗,但是FTIR必須要有對照組,也就是必須把懷疑的汙染物一起送過去做頻譜分析,然後比對兩者的圖譜是否相似,也就是說FTIR打出來的結果必須要比對資料庫中已經收集到的數據來做配對,實驗室雖然會有自己的成分資料庫,但因為污染物通常不是單一成分,而是多種化合物混雜在一起,做FTIR汙染物分析時,建議最好還要把自己懷疑的所有可能汙染源樣本也一起送過去做比對,這樣才會比較保險。如果有比對到就可以證實汙染物來源,如果比對不到也可以反應我們的懷疑是錯的。

電路板沾污。FTIR,Fourier Transform InfRared spectroscopy, 傅立葉轉換紅外線光譜

3. EDX結果

送第三方實驗室打EDX的結果出來了,汙染物上面打出來的元素有C(碳)、O(氧)、Au(金),以及Ni(鎳)等元素,因為是按鍵的線路,所以PCB的表面處理為ENIG(化鎳浸金),金以及鎳兩種元素原本就是ENIG的表面處理成份,所以真正打出來的就只有偏高的碳及氧,所以實驗室告訴我們打出來的結果是有機質,這就點給它操蛋了,因為這個世界上絕大多數的物質都是有機質,動植物與食物都是有機質,就連石化原料都是有機質,這不是等於沒有說嗎?不過至少告訴我們汙染物裡面沒有金屬成分,所以是個絕緣體,而這也告訴我們汙染物會隔絕金屬簧片與組裝電路板的金手指接觸。

電路板沾污。Scanning Electron Microscopy

如果你對EDX又稱為EDS還不是很清楚,建議你可以參考工作熊以前寫過的這幾篇文章。

4. FTIR結果

經過了FTIR的比對以後,我們發現污染物的成份裡證實有一部分應該就是來自清潔劑IPA或乙二醇醚(glycol ether),而還有一部分的成分則比對不到結果。

電路板沾污,FTIR比對結果

電路板上有IPA清潔劑的殘留物可以理解,因為前面就已經提及工廠會使用清潔劑來清潔電路板上的按鍵金手指,而且我們也特別清查並紀錄作業員擦拭電路板按鍵金手指的手勢,不查不知道,一查嚇一跳,原來作業員擦拭金手指的手勢簡直五花八門,但大體上作業員的擦拭方式都是用棉棒沾著分裝的清潔劑,然後一路從最右邊的按鍵開始擦拭到最左手邊,而且中間不會再沾第二次清潔劑,所以沾到最多清潔劑的地方依次會是3,6,9,OK按鍵金手指,然後擦拭2,5,8,0按鍵金手指,最後才擦拭1,4,7,Cancel按鍵金手指,這點也剛好吻合為何大部分的按鍵不良都出現在3,6,9的位置。但是依照作業流程來說,IPA應該要被揮發掉才對,不太可能還殘留有液體。至於還有其他暫時比對不出來的成份,這點似乎跟工廠內的溶劑及清潔劑使用情況有點不同了。

案情峰迴路轉

其實也是因緣湊巧,就在實驗室的FTIR比對不出汙染物的其他成分後,我們再次招集了工廠的所有相關人員做進一步討論,重點當然是著重在產線除了會使用IPA來清潔金手指之外,是否還會使用其他溶劑來清潔,或是有其他可能的油汙來源。在會議的討論中,突然有人說會不會有作業員誤把焊錫用的助焊劑(flux)當成IPA清潔劑給拿來使用了?

 

經過深入討論後,有人覺得助焊劑是帶有微黃色的液體,而IPA則是透明的液體,兩者應該可以很輕易地辨別區分吧!再說了,如果真是助焊劑汙染,一般也只會用在修理站,維修後也會再用酒精擦拭清潔,就算有助焊劑殘留也不應該有這樣大面積污染才對。

但既然有機會,那就安排人手去做驗證,並查訪作業員是否可以輕易辨別IPA與助焊劑。同時追加將助焊劑的樣品也送實驗室去做FTIR比對。

而FTIR最終的比對結果則令人振奮,因為之前還有部分未被FTIR比對出來的汙染物成分被證實極有「可能」就是助焊劑(Flux)。之所以說「可能」,是因為圖譜比對出來的結果是大致相似,卻不是100%一致。整個感覺像是IPA與助焊劑的混合物,但是比率上則不好判斷。

另外,既然有懷疑是助焊劑汙染,於是我們就實際模擬將助焊劑直接擦拭在電路板的金手指上,然後將其組裝進機台中,再將之分別靜置1,2,3,5,7,10,14天後拆機觀察,我們發現產品靜置的前5天,助焊劑幾乎都還可以保留著液體的狀態,而且按鍵功能也都可以運作,直到第5天開始,逐漸發現有白色粉末出現,並偶爾出現按鍵功能不良問題,而隨著靜置時間增長,助焊劑有逐漸乾涸並增加白色粉末的趨勢。

電路板沾污03電路板沾污04

拆開產品檢查,也確實發現助焊劑在乾涸後會形成了一層白色的粉末並覆蓋在擦拭過的位置上,與客訴的白色粉末大致吻合,也確認這層白色粉末真的會造成按鍵按壓後沒有電性功能(malfunction)。只是,認真比對客訴不良品上面的污染情形,發現客訴的白色粉末似乎又不像模擬出來的這麼嚴重,而那個像油脂的污染則沒有模擬出來。所以,比較合理的解釋是【作業員錯把助焊劑當成IPA清潔劑】並添加在IPA液體中用來擦拭在電路板上面了,也就是使用到了稀釋過的助焊劑,這個懷疑得再進一步繼續使用清潔劑與助焊劑的混合物來擦拭電路板的整機組裝,看看能不能模擬出同時存在白色粉末與疑似油污的情況出現。

電路板上故意塗抹助焊劑(flux)後靜置一段時間,形成了白色的粉末污染。

故事說到這裡,不知道大家有沒有發現工作熊的專案團隊出現了一個嚴重的盲區?我們當初一直糾結在無法模擬出客訴油汙的現象,但這個現象其實早在一開始模擬的時候就已經出現了,就是助焊劑還未完全乾涸的時候,只是當局者迷而已。

結案

整個事件發展到這裡,案情也已經大致明朗,只是代工廠還在堅持,覺得不應該會發生這種把助焊劑當成IPA使用的烏龍才對。而且這畢竟是一件大客戶的客訴(customer complaint),還牽涉到事後的不良品修理費用以及可能的賠償問題,所有可能的原因猜測都需要得到科學數據的驗證,這樣才能完全結案。這個案子從一開始的渾屯不明,沒有信心,到最後的水落石出,還是驗證了柯南的那句名言「真相永遠只有一個」。

又過了兩天,工作熊人其實已經回到了台灣,代工廠終於正式承認是他們的產線誤將松香(也就是助焊劑)拿來當成IPA清潔劑使用,但不是整個用松香取代IPA,而是將松香補充添加到了IPA的產線分裝盒中,也就是使用稀釋過的松香來擦拭在金手指上,這也可以說明為何當初用助焊劑模擬的時候,出現比客訴更嚴重的白色粉末汙染。而油汙則是松香的液體殘留物,因為我們的產品出貨包裝時會套塑膠袋保護外觀,這也導致助焊劑乾涸的速度變慢,間接說明為何貨運到客戶手上一段時間後才出現按鍵功能不良問題,而且還可以發現液態油汙狀的助焊劑殘留。

而代工廠內的真因追查則發現,原來他們產線存放的松香與IPA居然是放在同一個櫃子裡做管理,因為松香與IPA都是管制品,平常都是鎖在櫃子裡的,只有領班及助理員有鑰匙,不過如果是初入工廠的作業員可能還真分不出來這兩個桶子有何不同,而且就算是老手,如果沒有明確標示,也難免忙中有錯,或是領班助理沒空時,讓作業員自己去取,就很有可能將松香誤當成IPA給倒錯。

電路板沾污01

至於代工廠的改正措施則是將松香與IPA兩種溶劑分開存放,鎖在不同地方的櫃子中,而且在桶子的外面用不同的顏色的紙張明確標明內容物,領取的時候需得到領班核可並由專人取出才可使用,以避免再有拿錯溶劑的問題出現。

YouTube影片:《案例分析》油脂及白色粉末沾汙在電路板按鍵金手指

Podcast:《案例分析》油脂及白色粉末沾汙在電路板按鍵金手指


延伸閱讀:

 
 
訪客留言內容(Comments)

No comments yet.


訪客留言注意事項:
1.首次留言通過審核後內容才會出現在版面上,請不要重覆留言。
2.留言時請在相關主題文章下留言,與主題不相關的留言將會被視為垃圾留言,請善加利用【搜尋框】尋找相關文章,找不到主題時請在「水平選單」的「留言板」留言。
3. 留言前請先用【搜尋框】尋找相關文章,自己做一點功課後再留言。沒有前因後果的內容,工作熊不一定會瞭解你在說什麼,就更無法回答你的問題。  
4. 工作熊並非某一方面的專家,所以回答的內容或許會有不正確的地方,服用前還請三思。如果您想詢問關於電路板方面的工程問題,請前先參考這篇文章【詢問工程問題,請提供足夠的資訊以利有效回答】 把自己的問題想清楚了再來詢問,並且請提供足夠的資訊,這樣才能有效回答問題。
5. 工作熊每則留言都會看,但不會每則留言都回答,尤其是只有問候之類的內容。  
6. 留言詢問時請注意您的態度,工作熊不是你的「細漢」,更沒有拿你的薪水,所以不接受吆喝工作熊的態度來回答你的問題。  
7. 原則上工作熊不接受私下電子郵件、電話、私訊、微信或任何即時通聯絡。  
8. 自2021年7月起Google將停止最新文章電子郵件通知,如果你想隨時接收部落格的最新文章可以參考這裡

您有話要說(Leave a comment)

(required)

(required)