เพิ่มประสิทธิภาพการวิจัยความปลอดภัยของ AI: บทสัมภาษณ์กับ Owen Cotton-Barratt
ปัญญาประดิษฐ์ก่อให้เกิดความเสี่ยงมากมายต่อมนุษยชาติ ตั้งแต่ข้อกังวลเรื่องความเป็นส่วนตัว ไปจนถึงอคติแบบอัลกอริทึมและการตัดสินใจแบบ “กล่องดำ” ไปจนถึงคำถามที่กว้างขึ้นเกี่ยวกับการจัดตำแหน่งคุณค่า การพัฒนาตนเองแบบเรียกซ้ำ และความเสี่ยงจากการดำรงอยู่จากความฉลาดหลักแหลม ไม่มีปัญหาด้านความปลอดภัยของ AI
การวิจัยด้านความปลอดภัยของ AI มีเป้าหมายเพื่อแก้ไขปัญหาเหล่านี้ทั้งหมด แต่ด้วยเงินทุนที่จำกัดและนักวิจัยน้อยเกินไป การแลกเปลี่ยนในการวิจัยจึงหลีกเลี่ยงไม่ได้ เพื่อให้แน่ใจว่าชุมชนความปลอดภัยของ AI สามารถจัดการกับคำถามที่สำคัญที่สุด นักวิจัยต้องจัดลำดับความสำคัญของสาเหตุ
Owen Cotton-Barratt พร้อมด้วยเพื่อนร่วมงานของเขาที่ Future of Humanity Institute (FHI) และ Center for Effective Altruism (CEA) พิจารณาถึง ‘สาเหตุการจัดลำดับความสำคัญ’ สำหรับชุมชนความปลอดภัยของ AI พวกเขาวิเคราะห์ว่าโครงการใดมีแนวโน้มที่จะช่วยลดความเสี่ยงจากภัยพิบัติหรือการมีอยู่จริงจากระบบ AI ที่ก้าวหน้าสูง โดยเฉพาะอย่างยิ่งปัญญาประดิษฐ์ทั่วไป (AGI) โดยการสร้างแบบจำลองการแลกเปลี่ยนระหว่างการวิจัยประเภทต่างๆ Cotton-Barratt หวังที่จะแนะนำนักวิทยาศาสตร์ให้ไปสู่โครงการวิจัยด้านความปลอดภัย AI ที่มีประสิทธิภาพมากขึ้น
งานด้านเทคนิคและกลยุทธ์
ขั้นตอนแรกของการจัดลำดับความสำคัญของสาเหตุคือการทำความเข้าใจกับงานที่ทำไปแล้ว กล่าวโดยกว้าง การวิจัยด้านความปลอดภัยของ AI เกิดขึ้นในสองโดเมน: งานด้านเทคนิคและงานเชิงกลยุทธ์
ความท้าทายด้านความปลอดภัยทางเทคนิคของ AI คือการทำให้เครื่องจักรปลอดภัยเมื่อมีความสามารถและสร้างสรรค์มากขึ้น ด้วยการทำให้ระบบ AI สามารถคาดการณ์ได้ โปร่งใสมากขึ้น และสอดคล้องกับเป้าหมายและค่านิยมของเรามากขึ้น เราสามารถลดความเสี่ยงของอันตรายได้อย่างมาก งานด้านความปลอดภัยทางเทคนิครวมถึงงานวิจัยของ Stuart Russellเกี่ยวกับการเรียนรู้เสริมแรงและงานของDan Weldเกี่ยวกับการเรียนรู้ของเครื่องที่อธิบายได้ เนื่องจากพวกเขากำลังปรับปรุงการเขียนโปรแกรมจริงในระบบ AI
นอกจากนี้ สถาบันวิจัย Machine Intelligence Research Institute ( MIRI ) เพิ่งเปิดตัววาระความปลอดภัยทางเทคนิคที่มุ่งปรับความฉลาดของเครื่องจักรให้สอดคล้องกับความสนใจของมนุษย์ในระยะยาว ขณะที่OpenAIซึ่งเป็นบริษัทวิจัย AI ที่ไม่แสวงหากำไรอีกบริษัทหนึ่ง กำลังตรวจสอบ “ปัญหาการวิจัยมากมายเกี่ยวกับการสร้างความมั่นใจ ว่าระบบการเรียนรู้เครื่องที่ทันสมัยใช้งานตามที่ตั้งใจไว้” ข้อเสนอแนะต่อไปนี้จากกระดาษน้ำเชื้อปัญหาคอนกรีตใน AI ความปลอดภัย
งานด้านความปลอดภัยเชิงกลยุทธ์นั้นกว้างกว่า และถามถึงวิธีที่สังคมสามารถเตรียมการและลดความเสี่ยงของ AI ที่ทรงพลังได้ดีที่สุด งานวิจัยนี้รวมถึงการวิเคราะห์สภาพแวดล้อมทางการเมืองรอบ ๆ การพัฒนา AI การอำนวยความสะดวกในการสนทนาแบบเปิดระหว่างพื้นที่การวิจัย การไม่จูงใจการแข่งขันทางอาวุธ และการเรียนรู้จากทฤษฎีเกมและประสาทวิทยาศาสตร์เกี่ยวกับผลลัพธ์ที่น่าจะเป็นไปได้สำหรับ AI เมื่อเร็วๆ นี้ศาสตราจารย์Allan Dafoe ของ Yale ได้มุ่งเน้นไปที่งานเชิงกลยุทธ์ การวิจัยการเมืองระหว่างประเทศของปัญญาประดิษฐ์ และการให้คำปรึกษาสำหรับรัฐบาล ห้องปฏิบัติการ AI และองค์กรไม่แสวงหาผลกำไรเกี่ยวกับความเสี่ยงด้าน AI และนักชีวจริยธรรมของเยล เวนเดลล์ วัลลัค นอกเหนือจากงานของเขาเรื่อง “การทำลายไซโล ” กำลังค้นคว้าเกี่ยวกับรูปแบบการกำกับดูแลระดับโลกสำหรับ AI
การจัดลำดับความสำคัญของสาเหตุคืองานด้านกลยุทธ์เช่นกัน Cotton-Barratt อธิบายว่า “งานด้านกลยุทธ์ประกอบด้วยการวิเคราะห์ภูมิทัศน์ด้านความปลอดภัยและพิจารณาว่างานประเภทใดที่เราคิดว่าจะมีจำนวนมาก เราจะมีงานอะไรให้น้อยลง ดังนั้นจึงช่วยให้เราควบคุมทรัพยากรและทำงานมากขึ้น เป้าหมายในการทำงานของเรา”
ใครต้องการเงินทุนเพิ่มเติม?
จากกราฟด้านบนแสดงให้เห็นว่าการใช้จ่ายด้านความปลอดภัยของ AI เติบโตขึ้นอย่างมากตั้งแต่ปี 2015 และในขณะที่เงินจำนวนมากขึ้นไม่ได้แปลว่าผลลัพธ์ที่ดีขึ้นเสมอไป แต่รูปแบบการระดมทุนนั้นง่ายต่อการประเมินและสามารถบอกได้มากเกี่ยวกับลำดับความสำคัญของการวิจัย Seb Farquhar เพื่อนร่วมงานของ Cotton-Barratt ที่ CEA เขียนโพสต์เมื่อต้นปีนี้เพื่อวิเคราะห์เงินทุนด้านความปลอดภัยของ AI และแนะนำวิธีในการจัดสรรการลงทุนในอนาคตให้ดีขึ้น
ในการเริ่มต้น เขาแนะนำว่าชุมชนการวิจัยทางเทคนิคหาผู้ตรวจสอบส่วนตัวมากขึ้นเพื่อใช้วาระการวิจัยซึ่งมีรายละเอียดในปัญหาที่เป็นรูปธรรมในความปลอดภัย AIไปข้างหน้า OpenAI เป็นผู้นำในเรื่องนี้อยู่แล้ว นอกจากนี้ ชุมชนควรพยายามอย่างเต็มที่เพื่อให้แน่ใจว่าศูนย์ความปลอดภัย AI เกิดใหม่จ้างผู้สมัครที่ดีที่สุด เนื่องจากนักวิจัยเหล่านี้จะกำหนดความสำเร็จของแต่ละศูนย์ในอีกหลายปีข้างหน้า
โดยทั่วไป Farquhar ตั้งข้อสังเกตว่างานด้านกลยุทธ์ การขยายงาน และนโยบายไม่สอดคล้องกับการเติบโตโดยรวมของการวิจัยด้านความปลอดภัยของ AI เขาแนะนำว่าผู้คนจำนวนมากขึ้นให้ความสำคัญกับการปรับปรุงการสื่อสารเกี่ยวกับกลยุทธ์ระยะยาวระหว่างทีมวิจัยความปลอดภัยของ AI ระหว่างชุมชนความปลอดภัย AI และชุมชน AI ในวงกว้าง และระหว่างผู้กำหนดนโยบายและนักวิจัย การสร้างหลักสูตรระดับปริญญาเอกและปริญญาโทเพิ่มเติมเกี่ยวกับกลยุทธ์และนโยบาย AI อาจสร้างท่อส่งเพื่อเติมเต็มช่องว่างนี้ เขากล่าวเสริม
เพื่อเสริมข้อมูลของ Farquhar เพื่อนร่วมงานของ Cotton-Barratt Max Dalton ได้สร้างแบบจำลองทางคณิตศาสตร์เพื่อติดตามว่าเงินทุนมากขึ้นและผู้คนจำนวนมากขึ้นที่ทำงานเกี่ยวกับปัญหาด้านความปลอดภัยแปลเป็นความคืบหน้าหรือแนวทางแก้ไขที่เป็นประโยชน์อย่างไร รุ่นพยายามที่จะตอบคำถามเช่นถ้าเราต้องการที่จะลดความเสี่ยงในการดำรงอยู่ของ AI เท่าใดของผลเราจะได้รับจากเงินลงทุนในการวิจัยกลยุทธ์เมื่อเทียบกับการวิจัยทางเทคนิค?
โดยทั่วไป การวิจัยทางเทคนิคจะติดตามได้ง่ายกว่างานเชิงกลยุทธ์ในแบบจำลองทางคณิตศาสตร์ ตัวอย่างเช่น การใช้จ่ายมากขึ้นในการวิจัยจริยธรรมเชิงกลยุทธ์อาจมีความสำคัญต่อความปลอดภัยของ AI แต่เป็นการยากที่จะประเมินผลกระทบนั้น อย่างไรก็ตาม การปรับปรุงแบบจำลองการเรียนรู้การเสริมแรงสามารถสร้างเครื่องจักรที่ปลอดภัยและสอดคล้องกันมากขึ้น ด้วยลูปป้อนกลับที่ชัดเจนยิ่งขึ้น โปรเจ็กต์ทางเทคนิคเหล่านี้จึงเหมาะสมที่สุดกับโมเดลของดาลตัน
สายตาสั้นและ AGI
แต่โมเดลเหล่านี้ยังเผชิญกับความไม่แน่นอนที่สำคัญ ไม่มีใครรู้จริง ๆ ว่า AGI จะได้รับการพัฒนาเมื่อใด และทำให้ยากต่อการพิจารณางานวิจัยที่สำคัญที่สุด หาก AGI จะได้รับการพัฒนาในห้าปี บางทีนักวิจัยควรมุ่งเน้นเฉพาะงานด้านความปลอดภัยที่สำคัญที่สุดเท่านั้น เช่น การปรับปรุงความโปร่งใสในระบบ AI แต่ถ้าเรามีเวลา 30 ปี นักวิจัยอาจจะมีเงินพอที่จะดำดิ่งลงไปในงานเชิงทฤษฎีมากกว่านี้
นอกจากนี้ ยังไม่มีใครรู้ว่า AGI ทำงานอย่างไร แมชชีนเลิร์นนิงและโครงข่ายประสาทเทียมได้นำไปสู่การปฏิวัติ AI แบบใหม่ แต่ AGI มีแนวโน้มว่าจะได้รับการพัฒนาบนสถาปัตยกรรมที่แตกต่างจาก AlphaGo และ Watson มาก
สิ่งนี้ทำให้การวิจัยด้านความปลอดภัยในระยะยาวเป็นการลงทุนที่มีความเสี่ยง แม้ว่าหลายคนจะโต้แย้งว่าเป็นงานวิจัยที่สำคัญที่สุดที่เราสามารถทำได้ ตัวอย่างเช่น นักวิจัยอาจใช้เวลาหลายปีในการสร้างโครงข่ายประสาทลึกที่ปลอดภัยและโปร่งใส เพียงเพื่อจะพบว่างานของพวกเขาสูญเปล่าเมื่อ AGI พัฒนาบนสถาปัตยกรรมการเขียนโปรแกรมที่ต่างไปจากเดิมอย่างสิ้นเชิง
Cotton-Barratt กล่าวถึงปัญหานี้ว่าเป็น ‘สายตาสั้น’ และได้พูดคุยกันในการพูดคุยครั้งล่าสุดที่ Effective Altruism Global ในฤดูร้อนนี้ มนุษย์มักไม่สามารถคาดการณ์การเปลี่ยนแปลงที่ก่อกวนได้ และนักวิจัยด้าน AI ก็ไม่มีข้อยกเว้น
“งานที่เราอาจทำสำหรับสถานการณ์ระยะยาวอาจกลายเป็นเรื่องสับสนโดยสิ้นเชิงเพราะเราไม่ได้คิดถึงประเภทที่ถูกต้อง” เขาอธิบาย “เราใช้ประโยชน์จากสถานการณ์ในระยะสั้นได้มากขึ้น เพราะเราสามารถประเมินว่าพวกมันจะหน้าตาเป็นอย่างไร”
การวิจัยด้านความปลอดภัยของ AI เพิ่มเติมใดๆ ก็ยังดีกว่าไม่มีเลย แต่เมื่อพิจารณาจากไทม์ไลน์ที่ไม่ทราบสาเหตุและแรงโน้มถ่วงที่อาจเกิดขึ้นจากภัยคุกคามของ AI ต่อมนุษยชาติ เราจึงควรดำเนินการตามการวิจัยด้านความปลอดภัยของ AI ที่มีประสิทธิภาพมากที่สุด
ด้วยการช่วยให้พอร์ตโฟลิโอการวิจัย AI ก้าวหน้าไปในทิศทางที่มีประสิทธิภาพและครอบคลุมมากขึ้น Cotton-Barratt และเพื่อนร่วมงานของเขาหวังว่าจะทำให้แน่ใจว่าเมื่อเครื่องจักรฉลาดกว่าเราในที่สุด เราจะถามคำถามที่ถูกต้องและหวังว่าจะได้คำตอบ
การวิจัยและการสัมภาษณ์ของเรากับซีไอโอและผู้นำด้านเทคโนโลยีได้แสดงให้เห็นวิธีการบางอย่างที่พวกเขากำลังผลักดันขอบเขตให้เหนือกว่าวิธีการแบบเดิมๆ ในการสรรหาและรักษาผู้หญิงและกลุ่มอื่นๆ ที่มีบทบาทต่ำกว่า แต่นี่เป็นเพียงจุดเริ่มต้น—ยังมีงานอีกมากมายรออยู่ข้างหน้า
โอกาสในการประเมินรูปแบบและแนวทางปฏิบัติของผู้มีความสามารถใหม่ โดยเฉพาะอย่างยิ่งเมื่อวางเป้าหมายอย่างชัดเจนเพื่อแก้ไขช่องว่างในปัจจุบัน ในขณะที่วัฒนธรรมเทคโนโลยียังคงทำลายชื่อเสียงในเรื่องอคติทางเพศและการขาดความหลากหลายในทุกระดับ ซีไอโอและทีมของพวกเขาอยู่ในตำแหน่งที่ดีในการเริ่มต้นขั้นตอนที่มีความหมายเพื่อปลูกฝังความหลากหลาย ความเท่าเทียม และการรวมไว้ในเทคโนโลยี ทำให้ผู้หญิงเช่น Aniyah เป็นเส้นทางเดิน เพื่อเข้าร่วมและเติบโตในสายอาชีพด้านเทคโนโลยี
องค์กรทั่วโลกกำลังย้ายจากโครงสร้างพื้นฐานภายในองค์กรแบบเดิมไปยังระบบคลาวด์มากขึ้นเรื่อยๆ เพื่อให้เกิดความคล่องตัวและความยืดหยุ่นทางธุรกิจมากขึ้นด้วยแนวทางไอทีที่ทันสมัย บ่อยครั้ง การโยกย้ายระบบคลาวด์และความปลอดภัยทางไซเบอร์ได้รับการพิจารณาแยกจากกัน โดยทีมต่างๆ มุ่งเน้นไปที่ขั้นตอนต่างๆ ของสิ่งที่อาจเป็นกระบวนการที่ใช้ร่วมกัน ด้วยอาชญากรรมทางไซเบอร์ที่คาดว่าจะมีมูลค่าถึง 6 ล้านล้านเหรียญสหรัฐต่อปีภายในสิ้นปีนี้ การโยกย้ายระบบคลาวด์ ครั้งทำให้เกิดความเสี่ยงด้านความปลอดภัยทางไซเบอร์ ในเวลาเดียวกัน แม้จะมีข้อดี—และแม้ว่า “ความปลอดภัยและการปกป้องข้อมูล” จะเป็นตัวขับเคลื่อนอันดับหนึ่งหรือสองสำหรับการย้ายระบบคลาวด์ —มักขาดการลงทุนในกลยุทธ์เทคโนโลยีคลาวด์บนคลาวด์แบบบูรณาการ การสำรวจ Future of Cyber ปี 2019 ของ Deloitte & Touche LLP พบว่า 90% ขององค์กรที่ตอบสนองใช้งบประมาณไซเบอร์ 10% หรือน้อยกว่าในการย้ายระบบคลาวด์ ซอฟต์แวร์ในฐานะบริการ (SaaS) การวิเคราะห์ และการเรียนรู้ของเครื่อง
อันที่จริง หลายองค์กรกำลังดำเนินการอย่างรวดเร็วเพื่อโยกย้ายไปยังระบบคลาวด์โดยไม่ได้ให้ความสำคัญกับความปลอดภัยมาก่อนเพียงพอ
สิ่งนี้ชี้ให้เห็นถึงโอกาสในการปรับปรุงความปลอดภัยทางไซเบอร์ให้ทันสมัยซึ่งขับเคลื่อนธุรกิจและเทคโนโลยีที่มีความยืดหยุ่น—ซึ่งไซเบอร์สามารถกลายเป็นตัวสร้างความแตกต่างเพื่อให้ผู้บริโภคไว้วางใจ กลยุทธ์ทางไซเบอร์บนคลาวด์แบบบูรณาการช่วยให้องค์กรใช้การรักษาความปลอดภัยในการเปลี่ยนแปลงในลักษณะที่ส่งเสริมความไว้วางใจของผู้บริโภคมากขึ้น โดยเฉพาะอย่างยิ่งในยุคดิจิทัลในปัจจุบัน
การบรรลุแนวทางแบบผสมผสานนี้มักจะต้องรวบรวมผู้เชี่ยวชาญด้านระบบคลาวด์และความปลอดภัยโดยมีเป้าหมายร่วมกัน และโปรแกรมปรับปรุงให้ทันสมัยที่สมดุลระหว่างความคล่องตัวกับการรักษาความปลอดภัยและข้อกำหนดด้านความไว้วางใจของผู้บริโภค
สำหรับองค์กรที่ต้องการเพิ่มความยืดหยุ่นของธุรกิจและเทคโนโลยี เพิ่มความปลอดภัย และสร้างความไว้วางใจในระหว่างการโยกย้ายระบบคลาวด์ การตัดสินใจอย่างมีสติในการเปิดรับ “ความปลอดภัยด้วยการออกแบบ” ของระบบคลาวด์อาจเป็นสิ่งสำคัญ การรักษาความปลอดภัยตามการออกแบบ องค์กรจะได้รับประโยชน์จาก:
ผสมผสานวิธีการที่ล้ำสมัยและล้ำสมัย เช่น การตรวจจับภัยคุกคามที่ชาญฉลาด
ปรับสมดุลความต้องการความเร็วในขณะที่ลดความเสี่ยงที่เกี่ยวข้องกับเทคโนโลยี ภัยคุกคามจากภายใน และห่วงโซ่อุปทาน
สนับสนุนนักพัฒนาและวิศวกรในขณะที่เปิดใช้งานธุรกิจด้วย DevSecOps
การสร้างแนวทางการส่งต่อทางไซเบอร์ที่ตอกย้ำวัตถุประสงค์ทางธุรกิจเช่นความปลอดภัยและความไว้วางใจ
บทความนี้เน้นย้ำถึงความสำคัญของการใช้แนวทาง “ความปลอดภัยโดยการออกแบบ” อย่างมีสติ (เน้นที่แอปพลิเคชันทางธุรกิจที่สำคัญต่อภารกิจ) เพื่อเป็นแนวทางในการทำงานร่วมกันระหว่างทีมคลาวด์และไซเบอร์ที่มากขึ้น และเพื่อขับเคลื่อนความคล่องตัว ความปลอดภัย และความไว้วางใจที่มากขึ้น
จากการวิจัยของเรา ซึ่งรวมการวิเคราะห์ข้อมูลเบื้องต้น การวิจัยรอง และการสัมภาษณ์ภายในกับผู้บริหารของ Deloitte 9 คนที่เชี่ยวชาญด้านกลยุทธ์คลาวด์และไซเบอร์ เราได้ให้รายละเอียดข้อควรพิจารณาเฉพาะสำหรับองค์กรที่เริ่มดำเนินการบนเส้นทางการโยกย้ายระบบคลาวด์
เหตุใดจึงสำคัญ: แนวทางไซเบอร์บนคลาวด์แบบบูรณาการสามารถช่วยสร้างความยืดหยุ่นของธุรกิจและเทคโนโลยี
ข้อมูลการสำรวจรายงานความพร้อมประจำปีครั้งที่ 4 ของ Deloitte Global จากคำตอบจากผู้บริหารระดับ C จำนวน 2,260 คนและผู้นำระดับสูงในภาครัฐ พบว่าองค์กรที่มีกลยุทธ์ด้านเทคโนโลยีคลาวด์และไซเบอร์ที่มีความสมบูรณ์มากขึ้นมีแนวโน้มที่จะมีความยืดหยุ่นมากกว่าผู้ตอบแบบสอบถามโดยรวมและผู้ที่มีเพียง คลาวด์ขั้นสูงหรือกลยุทธ์ไซเบอร์ขั้นสูง ผู้ที่มีกลยุทธ์ด้านคลาวด์และไซเบอร์ที่เติบโตเต็มที่ได้คะแนนสูงสุดเมื่อตอบคำถามที่เกี่ยวข้องกับประสิทธิภาพขององค์กรโดยใช้เทคโนโลยีขั้นสูงเพื่อ “มีความยืดหยุ่นและคล่องตัวมากขึ้น” (75% เทียบกับ 53%) และ “เพื่อคาดการณ์แนวโน้มในอนาคต ความเสี่ยง และภัยคุกคาม” (70% เทียบกับ 49%) ในขณะที่กลยุทธ์คลาวด์หรือไซเบอร์มีความยืดหยุ่นสูงเท่าๆ กันเมื่อเมื่อรวมกันแล้ว คลาวด์และไซเบอร์เป็นตัวคูณแรงที่เท่ากับความยืดหยุ่น/ความคล่องตัวสองเท่าเมื่อเทียบกับองค์กรที่ไม่มีกลยุทธ์คลาวด์หรือไซเบอร์ (ดูหมายเหตุท้ายบทที่ 5 สำหรับวิธีการวิเคราะห์โดยละเอียด ดูภาคผนวก: กลยุทธ์ทางไซเบอร์บนคลาวด์แบบบูรณาการช่วยขับเคลื่อนธุรกิจและเทคโนโลยีที่มีความยืดหยุ่นมากขึ้น
[NPC5]ความปลอดภัยตามการออกแบบ: ข้อควรพิจารณาเฉพาะ
ในท้ายที่สุด ทีมคลาวด์และไซเบอร์ควรมารวมกันซึ่งจัดการโดยผู้นำด้านความทันสมัยและการโยกย้าย Center of Excellence (CoE) (ซึ่งมักจะเป็นผู้นำการเปลี่ยนแปลงทางดิจิทัล) และเปิดใช้งานโดยการทำงานเป็นทีม ข้ามทักษะ และรูปแบบการดำเนินงานที่ใช้ร่วมกัน เมื่อเข้าที่แล้ว โมเดลการดำเนินงานสามารถใช้เพื่อเป็นแนวทางในการทำงานร่วมกัน การประสานงาน และการใช้งานที่มากขึ้นข้ามการควบคุม และการจัดการความเสี่ยงและการปฏิบัติตามข้อกำหนดในลักษณะที่สร้างการรักษาความปลอดภัยที่ชั้นโครงสร้างพื้นฐานด้านไอที ในขณะที่ส่งเสริมธุรกิจ (และในท้ายที่สุด) ลูกค้า ประสบการณ์.