Vật lý mới ẩn giấu bên trong sự sống?
(Tác giả: Paul Davies – Nguồn: https://tiasang.com.vn/)
Khi James Clerk Maxwell viết ra ví dụ về con quỷ nổi tiếng, ông đã tạo ra một cầu nối giữa thông tin và vật lý. Ngày nay, thông tin được hứa hẹn sẽ là khái niệm chính kết nối vật lý và sinh học.
Erwin Schrödinger làm thay đổi các quan điểm về sinh học phân tử. Nguồn: Nature
Đối với một nhà vật lý thì sự sống vẫn còn là một điều bí ẩn. Những sinh vật sống có những cơ chế hoạt động thành công một cách rực rỡ và bí ẩn đến mức người ta không nghĩ rằng chúng được cấu tạo từ các nguyên tử bình thường. Nhưng nếu nguồn gốc của sự sống không phải là những vật chất tạo ra các sinh vật kia thì nó là gì? Điều gì khiến cho những sinh vật có được năng lượng diệu kỳ khiến chúng trở nên đặc biệt và đáng chú ý đến như vậy? Đó là câu hỏi mà Erwin Schrödinger đặt ra trong chuỗi bài giảng nổi tiếng tại Dublin, Ireland, vào năm 1943, và được xuất bản vào năm sau trong cuốn sách có ảnh hưởng lớn Sự sống là gì (“What Is Life?”).
Schrödinger là cây đại thụ trong Vật lý lý thuyết và là một trong những người sáng lập ra cơ học lượng tử. Đây là lý thuyết khoa học thành công nhất từng có cả về ứng dụng và độ chính xác. Ví dụ, khi được áp dụng cho trường điện từ, nó dự đoán chính xác mômen từ dị thường của điện tử chính xác đến 10 con số có ý nghĩa. Một cách nhanh chóng, nó cũng giải thích được bản chất của vật chất vô tri vô giác, từ các hạt hạ nguyên tử, các nguyên tử và phân tử, đến cả các ngôi sao. Nhưng thật đáng tiếc, nó cũng không giải thích được sự sống. Và bất chấp những tiến bộ ngoạn mục của sinh học trong những thập kỷ qua, sự sống vẫn còn là một bí ẩn. Không ai có thể nói chắc chắn nó là gì hoặc nó bắt đầu như thế nào.
Một trong những mục tiêu chính của sinh học thiên văn là tìm kiếm dấu vết của sự sống bên ngoài Trái đất, nhưng nếu không có định nghĩa về sự sống thì thật khó để biết chính xác cần tìm những gì.
Nếu hỏi Vật lý có thể giải thích được sự sống không thì hầu hết các nhà vật lý sẽ nói có. Câu hỏi hợp lý hơn có lẽ sẽ là: liệu những lý thuyết Vật lý đã biết đến nay có giải thích được không, hay cần có một lý thuyết cơ bản mới? Vào những năm 30 của thế kỷ trước, những kiến trúc sư của cơ học lượng tử mà nổi bật là Niels Bohr, Eugene Wigner và Werner Heisenberg đã linh cảm rằng thực sự có một cái gì đó mới và khác biệt trong vật lý của vật chất sống. Schrödinger thì hoài nghi hơn những vẫn để ngỏ khả năng đó. “Chúng ta có thể phải chuẩn bị cho những lý thuyết vật lý mới cho sự sống”, ông phỏng đoán, nhưng không nói rõ đó có thể là lý thuyết gì.
Những câu hỏi đó không chỉ là mối quan tâm học thuật đơn thuần. Một trong những mục tiêu chính của sinh học thiên văn là tìm kiếm dấu vết của sự sống bên ngoài Trái đất, nhưng nếu không có định nghĩa về sự sống thì thật khó để biết chính xác cần tìm những gì. Ví dụ như NASA đang lên kế hoạch bay qua một chùm vật chất phun ra từ các khe nứt trong lớp vỏ băng giá của Enceladus, một mặt trăng của sao Thổ được biết là có chứa các phân tử hữu cơ. Thế nhưng làm sao có thể chứng minh được những vật chất đó có dấu tích của sự sống hoặc mảnh vụn của một sinh vật đã từng sống, thay vì một dạng vật chất tiền sự sống. Không giống như những phép đo thông thường như từ trường, không có máy móc sự sống nào có thể định lượng được hàm lượng “sống” trong các hợp chất hóa học đang tiến hóa thành sự sống – chưa nói đến sự sống ngoài hành tinh Trái đất.
Hầu hết các nhà thiên văn học sinh học tập trung vào các dấu hiệu của sự sống như chúng ta biết. Ví dụ con tàu Viking của NASA đến sao Hỏa vào những năm 1970 đã tìm kiếm các dấu hiệu của quá trình chuyển hóa carbon bằng cách sử dụng hợp chất chứa chất dinh dưỡng phù hợp với các sinh vật trên cạn. Một dấu hiệu sinh học khác được thảo luận nhiều là tính “homochirality” thể hiện bởi sự xuất hiện của sự đồng phân. Mặc dù các định luật vật lý là đồng nhất nếu xoay trái-phải nhưng trong sinh học chỉ có axit amino thuận trái và đường thuận phải. Tuy nhiên trong hóa học về đất vô cơ cũng có thể bắt chước sự trao đổi chất và tính “homochirality” có thể được tạo ra bởi các chu kỳ hóa học lặp đi lặp lại mà không cần có sự tham gia của sự sống. Do vậy những dấu hiệu đó không phải là bằng chứng chắc chắn cho việc tồn tại sự sống.
Vấn đề xác định sự sống còn khó hơn nữa do các nhà sinh học thiên văn đã quan niệm sự sống tồn tại nếu có oxy trong bầu khí quyển của các hành tinh ngoài hệ Mặt trời. Nhưng một lần nữa, oxy trong khí quyển cũng chưa chắc là dấu hiệu rõ ràng của quá trình quang hợp, bởi vì các quá trình phi sinh học cũng có thể tạo ra bầu khí quyển có oxy. Rõ ràng là chúng ta đang thiếu một định nghĩa về “sự sống” độc lập với chất sinh hóa mà sự sống được tạo ra. Liệu có nguyên tắc phổ quát và sâu sắc nào có thể biểu hiện dấu hiệu sinh học, hay cao hơn là sự sống, nhận dạng được không?
Hai văn hóa khác biệt
Có một khoảng cách về khái niệm giữa vật lý và sinh học chứ không đơn thuần chỉ là tính phức hợp (“complexity”). Các nhà vật lý học nghiên cứu sự sống với những khái niệm truyền thống của họ như năng lượng, entropy, lực phân tử và tốc độ phản ứng. Trong khi đó các nhà sinh học lại mô tả câu chuyện theo một cách rất khác với các thuật ngữ như tín hiệu, mã, phiên mã và dịch mã – là những ngôn ngữ của thông tin.
Một ví dụ nổi bật là công nghệ CRISPR mới cho phép các nhà khoa học chỉnh sửa bảng mã của sự sống. Lĩnh vực mới nổi, vật lý sinh học, đang tìm cách thu hẹp khoảng cách trên ví dụ bằng cách mô hình hóa các đặc tính lưu trữ và lan truyền thông tin trong các mạng lưới kiểm soát sinh học khác nhau.
Chuỗi DNA hay gene là nơi mã hóa các tập mã có thể tắt hay bật các gene khác bằng những tín hiệu hóa học và sự tương tác của chúng tạo thành mạng lưới phức hợp. Những mạng lưới tương tác hóa học này giống như những mạch điện tử hay linh kiện máy tính, có khi cũng bao gồm các mođun hay cổng thực hiện tính toán logic. Nhưng lưu trữ và lan truyền thông tin có ở mọi nơi trong sự sống chứ không chỉ trong các cấu trúc DNA. Ở các tế bào, nhiều cơ chế vật lý khác nhau cho phép chúng phát tín hiệu và tương tác với nhau. Một ví dụ là các chất nhờn như trong hình 1 là một tập hợp các tế bào đơn lẻ, chúng tự tổ chức thành các hình dạng nổi bật và đôi khi có thể hoạt động như thể chúng là một sinh vật đơn lẻ (mà bên trong chỉ là các tương tác vật lý, hóa học – ND). Tương tự như vậy, các côn trùng như kiến và ong trao đổi thông tin một cách rất phức tạp và tham gia vào việc ra quyết định tập thể, tạo thành xã hội giả lập. Tương tự, bộ não con người là một hệ thống xử lý thông tin có độ phức tạp đáng kinh ngạc.
Hình 1: Khuôn chất nhờn. Một tập hợp các tế bào đơn lẻ và tự do có thể kết hợp lại và hoạt động như một sinh vật đơn nhất với một mục tiêu chung. Nguồn: Audrey Dussutour/CNRS.
Sự hiện diện cơ bản của thông tin trong sự sống đã khiến một số nhà khoa học đưa ra một tiên đề: Sự sống = Vật chất + Thông tin. Tuy nhiên để phương trình trên có được cơ sở khoa học có khả năng giải thích và dự đoán thì cần có một cơ sở lý thuyết chính thức kết nối thông tin với vật chất. Gợi ý đầu tiên về mối liên hệ này xuất hiện vào năm 1867 khi nhà vật lý người Scotland James Clerk Maxwell, trong một bức thư gửi cho một người bạn, đã tưởng tượng ra một sinh vật nhỏ bé có thể nhận biết được tốc độ của các phân tử khí riêng lẻ trong một hộp. Bằng cách điều khiển một chiếc cửa, con quỷ nhỏ (sẽ được giải thích rõ hơn sau) có thể hướng tất cả các phân tử nhanh sang bên trái của hộp và phân tử chậm sang phải.
Do tốc độ của phân tử là một phép đo của nhiệt độ, nên con quỷ nhỏ đã dùng thông tin mà nó biết được về các phân tử để tạo ra một chênh lệch nhiệt độ trong chiếc hộp. Và một kỹ sư nào đó có thể dùng sự chênh lệnh nhiệt độ này để tạo ra năng lượng và sinh công hữu ích. Do đó, Maxwell đã thiết kế ra một máy chuyển động vĩnh cửu chạy bằng Thông tin, và vi phạm định luật thứ hai của nhiệt động lực học.
Để giải quyết nghịch lý này, thông tin cần phải được lượng hóa và tích hợp vào các định luật của nhiệt động lực học. Và nền tảng của lý thuyết thông tin hiện đại đã được Claude Shannon thiết lập vào cuối những năm 1940. Shannon đã định nghĩa thông tin như là sự giảm đi của độ bất định. Ví dụ như khi ta tung một đồng xu, thì kết quả có thể được mô tả bởi một số nhị phân quen thuộc và gọi là 1 bit thông tin, tương ứng với thông tin có được khi xác định mặt Sấp và Ngửa của đồng xu.
Shannon đã kết hợp được lý thuyết thông tin và nhiệt động lực học để đưa ra một định nghĩa của thông tin là số âm của entropy. Do vậy thông tin mà con quỷ nhỏ có được để tạo ra sự chênh lệch nhiệt độ (tương ứng với sự sụt giảm entropy) sẽ phải được bù bởi một sự tăng entropy ở đâu đó – ví dụ như khi thông tin trong trí nhớ của nó bị xóa và thiết lập lại giữa hai lần các phân tử đi qua.
Maxwell thiết kế thí nghiệm tưởng tượng về con quỷ nhỏ nói trên và ngày nay các tiến bộ về công nghệ nano đã cho phép thực hiện thí nghiệm này. Thực tế là sự sống đã tạo ra và sử dụng rất nhiều những con quỷ nhỏ này trong hàng ngàn năm (việc chuyển hóa thông tin thành năng lượng) như: cơ thể của chúng ta tự tổ chức thành sự sống, các cỗ máy phân tử có thể sao chép DNA, vận chuyển chất qua các ống, hay bơm proton (là các ion hydro) qua các màng tế bào giống như các giới hạn nhiệt động lực học lý tưởng. Chúng đã sử dụng định luật hai nhiệt động lực học để tạo ra chênh lệch năng lượng. Bộ não con người cũng sử dụng một kiểu con quỷ nhỏ này trong các liên kết thần kinh – các kênh ion điện thế – để truyền tín hiệu điện. Các kênh ion này cho phép bộ não chúng ta xử lý thông tin khổng lồ với một lượng năng lượng nhỏ như công suất một bóng đèn mờ, trong khi những siêu máy tính tương đương có công suất hàng triệu Watts.
Bản chất mang tính khái niệm của thông tin sinh học. Ví dụ về chú quỷ nhỏ chỉ là phần nổi của tảng băng lý thuyết thông tin trong sự sống. Thông tin sinh học không giới hạn ở việc tối ưu hóa năng lượng; nó còn hoạt động như một cách quản lý và vận hành của sự sống. Hãy xem xét cách một phôi thai (hình 2) phát triển từ một trứng đã thụ tinh. Nó được giám sát ở mọi giai đoạn bởi mạng thông tin được tinh chỉnh theo vô số quá trình vật lý và hóa học, tất cả đều được sắp xếp để hình thể phức tạp cuối cùng xuất hiện với cấu trúc và hình thái định sẵn phù hợp.
Hình 2: Một phôi thai người, dài 38 mm, 8–9 tuần tuổi. (Hình ảnh lấy từ Anatomist90, Wikimedia Commons, CC BY-SA 3.0.) ANATOMYUMFTM©2012
Các mô hình mô phỏng sự phát sinh phôi bằng cách sử dụng sự lan truyền thông tin trong mạng lưới điều hòa gene đã có thành công đáng kể. Eric Davidson và các đồng nghiệp của ông tại Caltech đã mô tả được toàn bộ sơ đồ mạng lưới kết nối gene điều khiển sự phát triển trong giai đoạn đầu của nhím biển, về mặt hóa học. Bằng cách theo dõi quá trình lan truyền thông tin, nhóm lập trình để mô phỏng các bước của quá trình động lực học của mạng lưới. Ở mỗi giai đoạn, họ so sánh trạng thái của mạch điện mô phỏng bởi máy tính với dữ liệu quan sát thực nghiệm giai đoạn phát triển của nhím biển và thu được kết quả phù hợp ấn tượng. Các nhà nghiên cứu cũng xem xét tác động của các gene chìm về mặt hóa học trong mô hình máy tính để dự đoán điều gì sẽ xảy ra với phôi đột biến; và một lần nữa, mô hình của họ phù hợp với các quan sát thực nghiệm.
Một nhóm khác do Thomas Gregor và William Bialek tại Đại học Princeton dẫn dắt đã nghiên cứu các giai đoạn phát triển đầu tiên của ruồi giấm – cụ thể là cách các hình thái cơ thể xuất hiện. Trong quá trình phát triển, các tế bào cần biết vị trí của chúng so với các tế bào khác trong không gian ba chiều. Làm thế nào để chúng có được thông tin vị trí đó? Trước đó người ta đã biết rằng các tế bào có một cơ chế kiểu GPS dựa trên các thay đổi (gradient) hóa học, và các biến đổi này lại được điều chỉnh ngược lại bởi các giá trị biểu hiện bởi các gene cụ thể. Nhóm Princeton gần đây đã nghiên cứu về bốn gene được gọi là gene khoảng trống, là các gene nền tảng cho việc định hình phôi thai bằng cách tạo ra các khoảng trống, hoặc các dải, trong cơ thể sinh học. Họ phát hiện ra rằng các tế bào đang trích xuất thông tin vị trí tối ưu từ các giá trị biểu hiện gene bằng công thức xác suất Bayes, và do đó đạt được độ chính xác đáng kinh ngạc với 1% sai số. Các nhà nghiên cứu có thể áp dụng mô hình tối ưu hóa Bayes cho các chủng đột biến và dự đoán chính xác hình thái biến đổi của chúng.
Chúng ta cần khám phá cách thức các loại thông tin khác nhau – điện, hóa học và di truyền – tương tác để tạo ra một khuôn khổ quy định quản lý tổ chức của vật chất sống và chuyển nó thành các kiểu hình cụ thể.
Những nghiên cứu nói trên đặt ra một câu hỏi triết học quan trọng đi sâu vào sự sai khác giữa vật lý và sinh học. Các nghiên cứu về mạng lưới điều hòa gene và ứng dụng các thuật toán Bayes hiện được coi như nghiên cứu thực nghiệm theo hiện tượng trong đó “thông tin” là một đại diện (hoặc nhãn) dùng để tạo ra một mô phỏng sinh học giống sinh vật thực. Nhưng bài học về con quỷ nhỏ của Maxwell là thông tin thực sự là một đại lượng vật lý có thể ảnh hưởng sâu sắc đến cách hoạt động của vật chất. Thông tin, theo định nghĩa của Shannon, không chỉ là một tham số không chính thức mà nó còn là một biến vật lý cơ bản có một vị trí xác định trong các định luật nhiệt động lực học. Shannon nhấn mạnh rằng lý thuyết thông tin của ông hoàn toàn giải quyết vấn đề hiệu quả và năng lực của dòng thông tin nhưng nó không nói gì về ý nghĩa của thông tin được truyền đạt. Nhưng trong sinh học thì ý nghĩa hoặc bối cảnh lại rất quan trọng.
Làm sao chúng ta có thể biểu diễn toán học các thuộc tính chỉ dẫn, giám sát hoặc ngữ cảnh của thông tin? Đây là một cách tiếp cận: sinh học phân tử hay “giáo điều trung tâm” – một thuật ngữ do Francis Crick đặt ra một thập kỷ hoặc lâu hơn sau khi ông và James Watson tìm ra cấu trúc chuỗi xoắn kép của DNA – là thông tin chảy theo một hướng: từ DNA đến bộ máy tạo ra protein và tới cơ thể sinh học. Có thể gọi đó là dòng chảy từ dưới lên.
Ngày nay chúng ta biết được là thông tin lan truyền trong sinh học theo hai chiều, bao gồm cả các vòng phản hồi và luồng thông tin từ trên xuống. Ví dụ, nếu các tế bào được nuôi cấy để phát triển trong đĩa Petri quá nhiều, chúng sẽ ngừng phân chia, một hiện tượng được gọi là sự ức chế tiếp xúc (tức là thông tin về sự quá nhiều (bên trên) sẽ truyền xuống các tế bào (bên dưới) để chúng ngừng chia – ND). Và các thí nghiệm với vi khuẩn trên Trạm vũ trụ quốc tế ISS đã chỉ ra rằng vi khuẩn có thể xuất hiện các gene khác nhau trong môi trường không trọng lực so với trên Trái đất. Rõ ràng, các lực lượng vật lý ở cấp độ cao toàn hệ thống ảnh hưởng đến sự biểu hiện gene ở cấp độ phân tử.
Công trình của Michael Levin và các đồng nghiệp của ông tại Trung tâm Khám phá Allen của Đại học Tufts cung cấp một ví dụ hấp dẫn về luồng thông tin từ trên xuống. Nhóm Levin khám phá cách các mạch điện tử trên toàn hệ thống có thể có tác động quan trọng như những lực cơ học hoặc hóa học trong việc kiểm soát sự phát triển và hình thái của một số sinh vật. Các tế bào khỏe có sự phân cực về điện: chúng tạo ra một điện thế vài chục hoặc hàng trăm milivôn giữa các thành tế bào bằng cách bơm ra các ion. Ngược lại, các tế bào ung thư có xu hướng không cực. Nhóm Levin cũng phát hiện ra rằng ở các sinh vật đa bào, sự phân cực tế bào trên các mô đóng vai trò quan trọng trong tăng trưởng và phát triển, chữa lành vết thương và tái tạo cơ quan. Bằng cách phá vỡ các tính chất điện đó bằng hóa học, nhóm đã tạo ra các hình thái mới theo trật tự. Loài giun dẹp planaria là một đối tượng thí nghiệm thuận tiện. Nếu một con sâu bình thường bị chặt làm đôi, phần đầu mọc ra một đuôi mới và phần đuôi mọc ra một đầu mới tạo thành hai con giun hoàn chỉnh. Nhưng bằng cách thay đổi trạng thái phân cực điện gần vết thương, nhóm có thể tạo ra những con giun hai đầu hoặc hai đuôi, như trong hình 3.
Hình 3: Con giun hai đầu được tạo ra bằng cách thay đổi trạng thái phân cực điện gần vết thương. Nguồn: T. Nogi et al., PLOS Negl. Trop. Dis
Thật ngạc nhiên, nếu những con quái vật đó lần lượt bị cắt làm đôi, chúng không trở lại kiểu hình bình thường. Thay vào đó, giun hai đầu tạo ra nhiều giun hai đầu hơn, và tương tự như vậy với giun hai đuôi. Mặc dù tất cả đều có DNA giống hệt nhau nhưng những con giun này lại trông như những loài khác nhau. Thông tin hình thái học của cơ thể phải được lưu trữ một cách phân tán trong mô bị cắt và điều khiển sự tái sinh thích hợp ở cấp độ gene. Nhưng điều đó xảy ra như thế nào? Một mã điện được mã hóa có hoạt động cùng với mã di truyền không? Thuật ngữ di truyền biểu sinh đề cập đến các yếu tố quyết định kiểu hình, chẳng hạn như tổng lực vật lý, nằm ngoài gene. Chúng ta biết rất ít về cơ chế lưu trữ, xử lý và lan truyền thông tin biểu sinh nhưng vai trò của chúng trong sinh học là rất quan trọng.
Để đạt được tiến bộ, chúng ta cần khám phá cách thức các loại thông tin khác nhau – điện, hóa học và di truyền – tương tác để tạo ra một khuôn khổ quy định quản lý tổ chức của vật chất sống và chuyển nó thành các kiểu hình cụ thể. Suy luận về vật lý của sự sống theo các thuật ngữ thông tin hơn là các thuật ngữ phân tử thuần túy tương tự như sự khác biệt giữa phần mềm và phần cứng trong máy tính.
Cũng giống như để hiểu đầy đủ về một ứng dụng máy tính cụ thể — chẳng hạn như PowerPoint – đòi hỏi sự hiểu biết về các nguyên tắc của kỹ thuật phần mềm cũng như vật lý của mạch máy tính. Chính vì vậy sự sống chỉ có thể được hiểu đầy đủ khi các nguyên tắc của động lực học thông tin sinh học được làm sáng tỏ.□ (Còn tiếp)
Nguyễn Quang dịch
Nguồn: https://physicstoday.scitation.org/doi/10.1063/PT.3.4546
——
* Paul Davies là giáo sư Khoa Vật lý trường đại học Arizona ở Tempe và là giám đốc Trung tâm nghiên cứu Các khái niệm cơ bản trong khoa học của trường.
——————–&&&——————
Filed under: Lý thuyết thông tin | Leave a comment »
là độ lớn của entropy (của một hệ nào đó), 
là sự thay đổi độ lớn của Ên Trô Pỳ, 
là nhiệt độ (tuyệt đối), còn 
là độ thay đổi nhiệt năng của hệ đó. Nói cách khác, nếu ta cho thêm một lượng nhiệt năng 
vào một vật nào đó đang ở nhiệt độ 
. Ngược lại, nếu ta hút đi một lượng nhiệt năng là 
, trong đó J là Joule là đơn vị năng lượng dùng để đo nhiệt năng, con K là đơn vị độ Kelvin để đo nhiệt độ.
. Khi đó phần được truyền nhiệt sang sẽ có entropy 
tăng lên một lượng bằng
. Công lại ta có
và 
). Có nghĩa là entropy của tổng hai vật tăng lên! Đây chính là định luật:
là một hằng số (gọi là hằng số Boltzmann), còn 
là số trạng thái vi mô (microstate) khác nhau mà nhìn vào hệ ta không phân biệt được (tức là cho cùng một trạng thái vĩ mô của vật). Trong suốt hơn 30 năm từ khi Boltzmann nghĩ ra công thức trên, thì bị thằng Ên Trô Pỳ trả thù bằng cách xúi giục các nhà khoa học lớn khác (như Planck, Poincaré) chế diễu công thức này, coi nó lẩm cẩm, khiến cho Boltmann uất chí đến mức tự tử ở Duino (Italia) vào năm 1906.
). Ví dụ, người ta tính ra được rằng 1kg nước (H2O) ở nhiệt độ 25 độ C có entropy bằng 367 J/K [edit: đây là con số tương đối tính từ 1 mốc nào đó, còn con số tuyệt đối, theo GS Đàm Thanh Sơn, là những 3890 J/K]. Tất nhiên, đây chỉ là một trong các cách tính, và các hủ lý có thể còn sáng tạo ra nhiều cách khác. (Xem chẳng hạn: R.K. Rajput, A textbook of engineering thermodynamics).
tương ứng (
), thì entropy của phép chia này bằng
![h[f] = -\int_{-\infty}^{\infty} f(x) \log f(x)\, dx,\quad](https://i0.wp.com/upload.wikimedia.org/wikipedia/vi/math/4/c/6/4c646bd89a289cf72715cdbf8546bbc7.png)
là tập hợp tất cả các thông điệp {x1,…,xn} mà X có thể nhận giá trị, và p(x) là xác suất X nhận giá trị 
, thì entropy của X được định nghĩa như sau:![H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).](https://i0.wp.com/upload.wikimedia.org/wikipedia/vi/math/e/f/d/efdf8c905c0f9dfd78002df6f20edb5d.png)
![H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,](https://i0.wp.com/upload.wikimedia.org/wikipedia/vi/math/6/a/0/6a02709605b32b467565de4ab90a8a3a.png)
![H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(y)}.](https://i0.wp.com/upload.wikimedia.org/wikipedia/vi/math/5/e/0/5e001311e44abb9fb29f29a7c5396dad.png)
![I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}](https://i0.wp.com/upload.wikimedia.org/wikipedia/vi/math/3/0/4/3045023b4489873e5d3250f764ca6df5.png)
![I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )].](https://i0.wp.com/upload.wikimedia.org/wikipedia/vi/math/1/d/c/1dceacc6527b6b83128ba584fd427a2c.png)
MFEDE 