NS ข้อบกพร่องนั่นทำของวันนี้ AI สถาปัตยกรรมไม่ปลอดภัยและ NS ใหม่เข้าใกล้นั่นสามารถซ่อมมัน
Stuart Russell ศาสตราจารย์ที่ UC Berkeley และผู้ร่วมเขียนหนังสือเรียน AI ที่ได้รับความนิยมสูงสุดคิดว่าวิธีที่เราเข้าถึงการเรียนรู้ของเครื่องในปัจจุบันมีข้อบกพร่องโดยพื้นฐาน
ในหนังสือเล่มใหม่ของเขาที่ชื่อว่า Human Compatible เขาได้กล่าวถึง ‘แบบจำลองมาตรฐาน’ ของการพัฒนา AI ซึ่งความฉลาดนั้นถูกวัดว่าเป็นความสามารถในการบรรลุวัตถุประสงค์ที่ชัดเจนและเป็นที่รู้จักอย่างสมบูรณ์ซึ่งเราได้ระบุไว้อย่างชัดเจน สิ่งนี้ชัดเจนมากจนแทบไม่ดูเหมือนเป็นทางเลือกในการออกแบบ แต่ใช่แล้ว
น่าเสียดายที่แนวทางนี้มีปัญหาใหญ่: เป็นการยากที่จะพูดในสิ่งที่คุณต้องการอย่างแท้จริง ปัจจุบัน AI ขาดสามัญสำนึก และทำทุกอย่างที่เราขอให้ทำ นั่นเป็นความจริงแม้ว่าเป้าหมายจะไม่ใช่สิ่งที่เราต้องการจริงๆ หรือวิธีการที่มันเลือกคือสิ่งที่เราจะไม่ยอมรับ
เราเห็นแล้วว่าAI ทำงานผิดปกติด้วยเหตุนี้ สจวร์ตชี้ไปที่ตัวอย่างของอัลกอริทึมผู้แนะนำของ YouTube ซึ่งมีรายงานว่าได้กระตุ้นให้ผู้ใช้มีมุมมองทางการเมืองที่รุนแรงเพราะทำให้ง่ายต่อการเก็บไว้ในไซต์ นี่ไม่ใช่สิ่งที่เราต้องการ แต่ช่วยให้บรรลุวัตถุประสงค์ของอัลกอริทึม นั่นคือ เพิ่มเวลาในการดูให้สูงสุด
เช่นเดียวกับกษัตริย์ไมดาส ที่ขอให้เปลี่ยนทุกอย่างเป็นทองแต่สุดท้ายกินไม่ได้ เราก็ได้สิ่งที่เราขอมามากเกินไป
ปัญหา ‘การจัดตำแหน่ง’ นี้จะรุนแรงขึ้นเรื่อยๆ เนื่องจากการเรียนรู้ของเครื่องถูกฝังอยู่ในสถานที่ต่างๆ มากขึ้นเรื่อยๆ เช่น แนะนำข่าวสาร ปฏิบัติการกริดพลังงาน ตัดสินโทษจำคุก การผ่าตัด และการต่อสู้ในสงคราม หากเรามอบเศรษฐกิจจำนวนมากให้กับเครื่องจักรแห่งการคิด เราไม่สามารถนับตัวเองได้อย่างถูกต้องว่าเราต้องการให้ AI ทำอะไรทุกเวลาอย่างถูกต้อง
สจวร์ตไม่เพียงแต่ไม่พอใจกับโมเดลปัจจุบันเท่านั้น แต่เขามีวิธีแก้ปัญหาเฉพาะ ตามที่เขาพูด เราจำเป็นต้องออกแบบ AI ใหม่ด้วยหลักการ 3 ประการ:
วัตถุประสงค์ของระบบ AI คือการบรรลุสิ่งที่มนุษย์ต้องการ
แต่ระบบไม่แน่ใจว่าเราต้องการอะไร
และมันหาว่าเราต้องการอะไรจากการสังเกตพฤติกรรมของเรา
สจวร์ตคิดว่าสถาปัตยกรรมการออกแบบนี้หากนำไปใช้งานจะเป็นก้าวสำคัญสู่ AI ที่เป็นประโยชน์อย่างน่าเชื่อถือ
ตัวอย่างเช่น เครื่องจักรที่สร้างจากหลักการเหล่านี้ยินดีที่จะปิดหากนั่นคือสิ่งที่เจ้าของคิดว่าดีที่สุด ในขณะที่เครื่องที่สร้างจากรุ่นมาตรฐานควรต่อต้านการปิดเครื่องเนื่องจากการปิดใช้งานจะทำให้ไม่บรรลุเป้าหมาย อย่างที่สจ๊วตพูดไว้ “คุณไม่สามารถเอากาแฟมาถ้าคุณตายไปแล้ว”
หลักการเหล่านี้ใช้กับเครื่องจักรที่เจียมเนื้อเจียมตัวและระมัดระวัง และเช็คอินเมื่อพวกเขาไม่มั่นใจว่าพวกเขากำลังบรรลุสิ่งที่เราต้องการอย่างแท้จริง
เรามีความคืบหน้าในการนำหลักการเหล่านี้ไปปฏิบัติจริง แต่ปัญหาด้านวิศวกรรมที่เหลืออยู่นั้นมีอยู่มากมาย เหนือสิ่งอื่นใด AI ที่เป็นผลลัพธ์จำเป็นต้องสามารถตีความสิ่งที่ผู้คนต้องการพูดจริงๆ ตามบริบทของสถานการณ์ และพวกเขาต้องเดาเมื่อเราปฏิเสธตัวเลือกเพราะเราได้พิจารณาแล้วตัดสินใจว่ามันเป็นความคิดที่ไม่ดี และเมื่อเราไม่ได้คิดถึงมันเลย
สจวร์ตคิดว่าปัญหาเหล่านี้จะหมดไป ถ้าเราลงมือทำ ปัญหาที่ยากขึ้นอาจจบลงที่สังคมและการเมือง
เมื่อเราแต่ละคนมี AI ของตัวเองได้ ฉลาดกว่าใคร เราจะแก้ไขข้อขัดแย้งระหว่างผู้คนและตัวแทน AI ของพวกเขาได้อย่างไร เราคาดหวังให้ AI คำนึงถึงผลประโยชน์ของผู้อื่นมากแค่ไหน? เราจะหลีกเลี่ยงไม่ให้มีการใช้ในทางที่เป็นอันตรายหรือต่อต้านสังคมได้อย่างไร
และถ้าเอไอจบลงด้วยการทำงานส่วนใหญ่ที่มนุษย์ทำกันในปัจจุบัน มนุษย์จะหลีกเลี่ยงไม่ให้กลายเป็นคนอ่อนแอได้อย่างไร เหมือนเด็กขี้เกียจที่มักใช้เครื่องจักร แต่ไม่มีการพัฒนาทางปัญญามากพอที่จะรู้ว่าจริงๆ แล้วพวกเขาต้องการอะไร?
แม้จะมีปัญหาเหล่านี้ แต่รางวัลของความสำเร็จอาจมีมหาศาล ถ้าวันหนึ่งเครื่องคิดราคาถูกสามารถทำงานส่วนใหญ่ที่คนทำอยู่ตอนนี้ มันสามารถยกระดับมาตรฐานการครองชีพของทุกคนได้อย่างมาก เหมือนกับการปฏิวัติอุตสาหกรรมครั้งที่สอง
โดยไม่ต้องทำงานเพียงเพื่อเอาชีวิตรอด ผู้คนอาจเจริญรุ่งเรืองในแบบที่พวกเขาไม่เคยมีมาก่อน
ในการสนทนาของวันนี้ เราจะกล่าวถึง เหนือสิ่งอื่นใด:
อะไรคือข้อโต้แย้งของการกังวลเกี่ยวกับ AI?
เราควรพัฒนา AIs ให้มีวาระทางจริยธรรมของตนเองหรือไม่?
คำถามการวิจัยที่เร่งด่วนที่สุดในพื้นที่นี้คืออะไร?
เครื่องจักรที่เห็นแก่ผู้อื่นล้วนๆ
หลักการบอกว่าจุดประสงค์เดียวของเครื่องจักรคือการตระหนักถึงความชอบของมนุษย์ เพื่อให้มีเนื้อหาทางเทคนิคที่เฉพาะเจาะจงอยู่บ้าง ตัวอย่างเช่น ถ้าคุณดูเมื่อเทียบกับกฎของอาซิมอฟ เขากล่าวว่าเครื่องจักรควรคงไว้ซึ่งการดำรงอยู่ของมันเอง นั่นคือกฎข้อที่สาม และเขามีข้อแม้ที่จะบอกว่าไม่ขัดกับกฎสองข้อแรกเท่านั้น แต่ในความเป็นจริง มันไม่จำเป็นอย่างยิ่ง เพราะเหตุผลที่คุณต้องการให้เครื่องรักษาการมีอยู่ของมันเอง ไม่ใช่ความรู้สึกผิดๆ เกี่ยวกับความรู้สึกของเครื่องหรืออะไรทำนองนั้น เหตุผลควรเป็นเพราะการมีอยู่ของมันเป็นประโยชน์ต่อมนุษย์ ดังนั้น หลักการแรกจึงครอบคลุมถึงภาระหน้าที่ในการรักษาตัวเองให้อยู่ในลำดับการทำงาน เพื่อที่คุณจะได้สามารถช่วยให้มนุษย์ตอบสนองความต้องการของพวกเขาได้
มีอะไรมากมายที่คุณสามารถเขียนเกี่ยวกับเรื่องนั้นได้ ดูเหมือนว่า “แม่กับพายแอปเปิล” แน่นอนว่าเครื่องจักรควรจะดีสำหรับมนุษย์ใช่ไหม? พวกเขาจะเป็นอะไรอีก? แต่นั่นเป็นก้าวที่ยิ่งใหญ่เพราะโมเดลมาตรฐานไม่ได้บอกว่ามันควรจะดีสำหรับมนุษย์เลย โมเดลมาตรฐานบอกว่าควรปรับวัตถุประสงค์ให้เหมาะสม และหากวัตถุประสงค์ไม่ดีสำหรับมนุษย์ โมเดลมาตรฐานก็ไม่สนใจ ดังนั้น หลักการแรกเท่านั้นที่จะรวมถึงข้อเท็จจริงที่ว่ามนุษย์ในระยะยาวไม่ต้องการถูกทำให้อ่อนแอ พวกเขาไม่ต้องการพึ่งพาเครื่องจักรมากเกินไปจนสูญเสียความสามารถของตนเองและความเป็นอิสระของตนเองเป็นต้น ผู้คนจึงถามว่า “แนวทางของคุณจะขจัดความเป็นอิสระของมนุษย์ไม่ใช่หรือ”?
แต่แน่นอนว่าไม่ เครื่องจักรที่ออกแบบอย่างเหมาะสมจะเข้ามาแทรกแซงในขอบเขตที่ความเป็นอิสระของมนุษย์ได้รับการอนุรักษ์ไว้เท่านั้น และบางครั้งมันก็พูดว่า “ไม่ ฉันจะไม่ช่วยผูกเชือกรองเท้าให้คุณ คุณต้องผูกเชือกรองเท้าด้วยตัวเอง” เช่นเดียวกับที่พ่อแม่ทำกับลูกในบางจุด ถึงเวลาที่พ่อแม่จะหยุดผูกเชือกรองเท้าของเด็กแล้วปล่อยให้เด็กคิดออกและไปต่อ
เครื่องเจียมเนื้อเจียมตัว
หลักการที่สองคือเครื่องจักรจะไม่แน่ใจเกี่ยวกับความชอบของมนุษย์ที่พวกเขาควรจะปรับให้เหมาะสมหรือตระหนัก และนั่นไม่ใช่หลักการมากนัก มันเป็นเพียงคำแถลงข้อเท็จจริง นั่นคือความแตกต่างที่แยกแบบจำลองที่แก้ไขนี้ออกจากแบบจำลองมาตรฐานของ AI และนี่คือผลงานชิ้นเอกที่ทำให้เกิดผลด้านความปลอดภัยของรุ่นนี้ ว่าถ้าเครื่องจักรมีความแน่นอนเกี่ยวกับวัตถุประสงค์ คุณก็จะได้รับผลที่ไม่พึงประสงค์เหล่านี้ทั้งหมด: เครื่องมือเพิ่มประสิทธิภาพคลิปหนีบกระดาษ และอื่นๆ ที่ซึ่งเครื่องจักรบรรลุวัตถุประสงค์ในแบบที่เหมาะสมที่สุด ไม่ว่าเราจะพูดอะไรก็ตาม เราพูดได้เลยว่า “หยุดนะ คุณกำลังทำลายโลก”! และเครื่องจักรก็บอกว่า “แต่ฉันแค่กำลังดำเนินการตามแผนที่เหมาะสมที่สุดสำหรับวัตถุประสงค์ที่อยู่ในตัวฉัน” และเครื่องไม่ต้องคิด “เอาล่ะ มนุษย์ก็วางคำสั่งเหล่านี้ไว้กับข้าพเจ้า พวกเขาคืออะไร”? เป็นเพียงวัตถุประสงค์คือรัฐธรรมนูญของเครื่อง
และหากดูตัวแทนที่เราอบรมด้วยการเรียนรู้แบบเสริมกำลัง เช่น ขึ้นอยู่กับว่าตัวแทนประเภทไหน ถ้าเป็น Q-learning agent หรือ Policy search agent ซึ่งเป็นการเรียนรู้การเสริมแรง 2 แบบที่ได้รับความนิยมมากกว่า พวกเขาไม่ได้เป็นตัวแทนของวัตถุประสงค์เลย พวกเขาเป็นเพียงกระบวนการฝึกอบรมที่สัญญาณรางวัลมาจากกรอบการเรียนรู้การเสริมแรง เพื่อให้สัญญาณรางวัลเป็นตัวกำหนดวัตถุประสงค์ที่เครื่องกำลังจะปรับให้เหมาะสม แต่เครื่องไม่รู้ด้วยซ้ำว่าเป้าหมายคืออะไร เป็นเพียงเครื่องมือเพิ่มประสิทธิภาพของวัตถุประสงค์นั้น ดังนั้นจึงไม่มีเหตุผลที่เครื่องจักรนั้นจะพูดว่า “โอ้ ฉันสงสัยว่าเป้าหมายของฉันผิดหรือเปล่า” หรืออะไรทำนองนั้น เป็นเพียงเครื่องมือเพิ่มประสิทธิภาพของวัตถุประสงค์นั้น
เรียนรู้ที่จะทำนายความชอบของมนุษย์
วิธีหนึ่งในการเรียนรู้การเสริมแรงผกผันคือ Bayesian IRL ซึ่งคุณเริ่มต้นด้วยหลักฐานก่อนหน้าแล้วตามด้วยหลักฐานจากพฤติกรรมที่คุณสังเกต จากนั้นอัปเดตก่อนหน้าของคุณ และในที่สุดคุณจะได้ความคิดที่ดีทีเดียวว่าสิ่งที่เป็นตัวตนหรือบุคคลที่พยายามจะทำ . มันเป็นเรื่องธรรมดามากที่ผู้คนทำอยู่ตลอดเวลา คุณเห็นใครบางคนกำลังทำอะไรบางอย่างและส่วนใหญ่มักจะรู้สึกเหมือนคุณรับรู้โดยตรงว่ากำลังทำอะไรอยู่ ใช่ไหม ฉันหมายถึง คุณเห็นใครบางคนไปที่ตู้เอทีเอ็มและกดปุ่มและรับเงิน มันเหมือนกับสิ่งที่พวกเขากำลังทำอยู่ พวกเขากำลังรับเงินจากตู้เอทีเอ็ม ฉันอธิบายพฤติกรรมในรูปแบบที่มีจุดประสงค์นี้
ฉันไม่ได้อธิบายในแง่ของวิถีทางกายภาพของขาและแขนและมือของพวกเขาเป็นต้น ฉันอธิบายว่าการกระทำเป็นสิ่งที่บรรลุวัตถุประสงค์ เราจึงรับรู้ได้โดยตรง แล้วบางทีก็คิดผิด จริงไหม? พวกเขาอาจพยายามขโมยเงินจากตู้เอทีเอ็มโดยลำดับรหัสพิเศษที่พวกเขาค้นพบ หรือพวกเขาอาจจะแสดงในภาพยนตร์ ดังนั้น ถ้าคุณเห็นพวกเขาถอยกลับไปสองสามก้าวแล้วทำสิ่งใหม่ทั้งหมดอีกครั้ง คุณอาจสงสัยว่า “โอ้ ตลกจัง พวกเขากำลังทำอะไร? บางทีพวกเขากำลังพยายามหาเงินออกมามากกว่าขีดจำกัดที่พวกเขาจะได้รับในแต่ละธุรกรรม”? แล้วถ้าคุณเห็นคนถือกล้องถ่ายไว้ คุณจะพูดว่า “โอ้ โอเค ฉันเห็นแล้วว่าพวกเขากำลังทำอะไรอยู่ พวกเขาไม่ได้รับเงินจากตู้เอทีเอ็มเลย พวกเขากำลังแสดงในภาพยนตร์”
ดังนั้นจึงเป็นเรื่องธรรมดาที่มนุษย์จะตีความการรับรู้ของเราในแง่ของจุดประสงค์ ในการสนทนา คุณมักจะพยายามคิดว่า “ทำไมมีคนพูดแบบนั้น” พวกเขาถามคำถามฉันไหม มันเป็นคำถามเชิงโวหารหรือไม่? เป็นธรรมชาติมาก จิตใต้สำนึกบ่อยมาก ดังนั้นจึงมีปฏิสัมพันธ์หลายรูปแบบที่สามารถเกิดขึ้นได้ซึ่งจะให้ข้อมูลแก่เครื่องจักรเกี่ยวกับความชอบของมนุษย์ ตัวอย่างเช่น การอ่านหนังสือให้ข้อมูลเกี่ยวกับความชอบของมนุษย์: เกี่ยวกับความชอบของแต่ละบุคคล แต่ยังเกี่ยวกับมนุษย์โดยทั่วไปด้วย
วิธีหนึ่งที่เราเรียนรู้เกี่ยวกับมนุษย์คนอื่นๆ คือ การอ่านนวนิยายและการดูตัวเลือกของตัวละคร และบางครั้งคุณจะได้รับข้อมูลเชิงลึกโดยตรงเกี่ยวกับแรงจูงใจของพวกเขา ขึ้นอยู่กับว่าผู้เขียนต้องการให้สิ่งนั้นกับคุณหรือไม่ บางครั้งคุณต้องคิดออก ดังนั้น ฉันคิดว่ามีข้อมูลมากมายที่เครื่องจักรสามารถสร้างข้อมูลทั่วไปเกี่ยวกับความชอบของมนุษย์ได้ และเมื่อคุณโต้ตอบกับบุคคลหนึ่ง คุณจะปรับแต่งสิ่งนั้นก่อน คุณพบว่าพวกเขาเป็นมังสวิรัติ คุณพบว่าพวกเขาโหวตให้ประธานาธิบดีทรัมป์ คุณพยายามแก้ไขข้อเท็จจริงสองข้อนี้ จากนั้นคุณค่อย ๆ สร้างแบบจำลองเฉพาะเจาะจงมากขึ้นสำหรับบุคคลนั้น
ปัญหาความอ่อนแอ
ไปให้สุดถึงเด็กที่เลี้ยงมาโดยหมาป่าหรืออะไรก็ตาม ผลที่ได้น่าจะเป็นว่า “โอ้ พระเจ้า ถ้าพวกเขาถูกทิ้งในป่าตั้งแต่ยังเป็นทารก และไม่ว่าด้วยวิธีใด พวกเขารอดและเติบโตขึ้น พวกเขาก็ไม่พูดภาษาละติน” พวกเขาไม่พูดเลย และพวกเขามีทักษะในการเอาชีวิตรอด แต่พวกเขากำลังเขียนบทกวีหรือไม่? พวกเขากำลังพยายามเรียนรู้เพิ่มเติมเกี่ยวกับฟิสิกส์หรือไม่? ไม่ พวกเขาไม่ได้ทำสิ่งเหล่านั้น ดังนั้นจึงไม่มีอะไรที่เป็นธรรมชาติ พูดได้เลยว่า ความอยากรู้ทางวิทยาศาสตร์ เป็นสิ่งที่เกิดขึ้นมาเป็นเวลาหลายพันปีของวัฒนธรรม
ดังนั้นเราจึงต้องคิดว่าเราต้องการวัฒนธรรมแบบใดเพื่อผลิตผู้ใหญ่ที่ยังคงความอยากรู้อยากเห็น ความเป็นอิสระ และพละกำลัง แทนที่จะกลายเป็นสถาบัน และฉันคิดว่าถ้าคุณดูเรื่องราวของ EM Forster เรื่อง “The Machine Stops” ฉันคิดว่านั่นเป็นการสำรวจที่ดีทีเดียวในเรื่องนี้ ที่ทุกคนในเรื่องราวของเขาได้รับการดูแล ไม่มีใครมีงานที่เป็นประโยชน์ใด ๆ อันที่จริง สิ่งที่มีประโยชน์มากที่สุดที่พวกเขาคิดได้คือการฟัง MOOC ดังนั้นเขาจึงคิดค้น MOOC ในปี 1909 เพื่อให้ผู้คนได้เปิดการบรรยายออนไลน์กับทุกคนที่ต้องการฟัง จากนั้นผู้คนก็สมัครรับข้อมูลซีรีส์พอดคาสต์ต่างๆ ฉันเดาว่าคุณจะเรียกพวกเขาว่า และนั่นคือทั้งหมดที่พวกเขาทำ มีกิจกรรมที่มุ่งหมายที่แท้จริงน้อยมากสำหรับเผ่าพันธุ์มนุษย์ และสิ่งนี้ไม่พึงปรารถนา สำหรับฉัน นี่คือหายนะ เราสามารถทำลายตัวเองด้วยอาวุธนิวเคลียร์ เราสามารถล้างชีวมณฑลที่อาศัยอยู่ได้ด้วยการเปลี่ยนแปลงสภาพภูมิอากาศ สิ่งเหล่านี้จะเป็นภัยพิบัติ แต่นี่เป็นหายนะอื่นใช่ไหม
[NPC4]อนาคตที่มนุษยชาติสูญเสียจุดมุ่งหมาย ว่าปัจเจกบุคคลส่วนใหญ่ทำงานด้วยความเป็นอิสระหรือความตระหนักหรือความรู้หรือการเรียนรู้เพียงเล็กน้อย แล้วคุณจะสร้างวัฒนธรรมและกระบวนการทางการศึกษาได้อย่างไร? ฉันคิดว่าสิ่งที่มนุษย์ให้ความสำคัญในตัวเองเป็นสิ่งสำคัญมาก คุณจะทำอย่างไรเพื่อให้ผู้คนพยายามเรียนรู้และค้นพบและได้รับอิสระและทักษะเมื่อแรงจูงใจทั้งหมดในการทำสิ่งนั้นจนถึงตอนนี้หายไป และระบบการศึกษาทั้งหมดของเรามีราคาแพงมาก อย่างที่ผมชี้ให้เห็นในหนังสือ เมื่อคุณนับรวมว่าผู้คนใช้เวลาเท่าไรในการเรียนรู้ที่จะเป็นมนุษย์ที่มีความสามารถ มันเกี่ยวกับคนกว่าล้านล้านปี และทั้งหมดเป็นเพราะคุณต้องทำ มิฉะนั้นสิ่งต่าง ๆ ก็พังทลายลงอย่างสมบูรณ์ และเราได้ฝังไว้ในระบบทั้งหมดของเราว่า เราให้รางวัลแก่ผู้คนอย่างไร เราให้เกรดพวกเขา เราให้เกียรติพวกเขา เรามอบรางวัลโนเบลให้พวกเขา วัฒนธรรมของเรามีจำนวนมากซึ่งให้รางวัลแก่กระบวนการเรียนรู้และกลายเป็นผู้มีความสามารถและมีทักษะ
และคุณอาจโต้แย้งว่า “นั่นก็มาจากการตรัสรู้” หรืออะไรก็ตาม แต่ฉันจะเถียงว่าส่วนใหญ่เป็นผลมาจากความจริงที่ว่ามันใช้งานได้ และเมื่อจุดประสงค์เชิงหน้าที่ของทุกสิ่งที่หายไป ฉันคิดว่าเราอาจเห็นว่ามันเสื่อมโทรมอย่างรวดเร็วมาก เว้นแต่เราจะดำเนินการเพื่อหลีกเลี่ยงมัน
AI สิทธิทางศีลธรรม
สจ๊วตรัสเซล:ถ้าพวกมันมีประสบการณ์ส่วนตัวจริง ๆ แล้วละเว้นว่าเราจะรู้หรือไม่ ละทิ้งข้อเท็จจริงที่ว่าถ้าพวกมันมี ก็คงไม่ต่างจากประสบการณ์ส่วนตัวที่มนุษย์มีหรือกระทั่งสัตว์มีอย่างสิ้นเชิง เพราะมันถูกผลิตขึ้นโดย สถาปัตยกรรมการคำนวณที่แตกต่างกันโดยสิ้นเชิง ตลอดจนสถาปัตยกรรมทางกายภาพที่แตกต่างกันโดยสิ้นเชิง แต่ถึงแม้ว่าเราจะใส่ทั้งหมดนั้นไว้ข้างเดียว แต่สำหรับฉันแล้ว ดูเหมือนว่าหากพวกเขามีประสบการณ์เชิงอัตวิสัยจริง ๆ แล้ว เราก็มีปัญหาจริงๆ และมันมีผลกระทบต่อการคำนวณในบางแง่ มันอาจจะบอกว่าจริง ๆ แล้วเราไม่สามารถดำเนินการกับองค์กรนี้ได้เลย เพราะฉันคิดว่าเราต้องคงการควบคุมจากมุมมองของเราเอง แต่ถ้านั่นหมายความถึงการสร้างความทุกข์อย่างไม่จำกัดแก่สรรพสัตว์ ก็ดูเหมือนว่า เราไม่สามารถไปทางนั้นได้เลย อีกครั้งไม่มีแอนะล็อกใช่ไหม มันไม่เหมือนกับการเชิญมนุษย์ต่างดาวที่เก่งกาจมาเป็นทาสของเราตลอดไป แต่มันก็เป็นแบบนั้น
โรเบิร์ต วิบลิน:ฉันคิดว่าถ้าคุณไม่ต้องการที่จะล้มเลิกกิจการทั้งหมด คุณสามารถลองหาวิธีออกแบบมันเพื่อไม่ให้พวกเขาไม่รู้สึกตัวเลย หรือฉันคิดว่าอีกวิธีหนึ่งคุณสามารถออกแบบมันเพื่อให้พวกเขามีความสุขอย่างยิ่งเมื่อใดก็ตามที่มนุษย์พึงพอใจ ดังนั้นมันจึงเป็น win-win
สจวร์ต รัสเซลล์:ใช่ ถ้าเราเข้าใจกลไกของจิตสำนึกมากพอ ก็เป็นไปได้ แต่อีกครั้งที่ดูเหมือนจะไม่ถูกต้อง
Robert Wiblin:เพราะพวกเขาไม่มีอิสระ?
Stuart Russell:ฉันหมายความว่าเราไม่ต้องการชะตากรรมของมนุษย์ ที่เราให้ยาที่มีความสุขแก่พวกเขาเพื่อให้พวกเขามีความสุขที่ได้เป็นทาสของเราตลอดไปและไม่มีอิสระ คุณก็รู้ มันเป็นแบบของเกาหลีเหนือเกือบ เราพบว่าค่อนข้างน่ารังเกียจ
[NPC5]Robert Wiblin:สวัสดีผู้ฟัง นี่คือ 80,000 Hours Podcast ซึ่งในแต่ละสัปดาห์เราจะมีการสนทนาเชิงลึกอย่างผิดปกติเกี่ยวกับปัญหาเร่งด่วนที่สุดปัญหาหนึ่งของโลก และวิธีที่คุณสามารถใช้อาชีพของคุณในการแก้ปัญหา ผมร็อบ วิบลิน ผู้อำนวยการฝ่ายวิจัยที่ 80,000 ชั่วโมง
แขกรับเชิญในวันนี้ Stuart Russell เป็นนักวิจัยชั้นนำด้านปัญญาประดิษฐ์มาหลายทศวรรษแล้ว และเป็นเวลาหลายปีที่กังวลว่าจะเกิดข้อผิดพลาดขึ้นได้อย่างไร