Weight-sparse transformers have interpretable circuits [pdf]

Summary

%PDF-1.5 %���� 2088 0 obj << /Linearized 1 /L 3903839 /H [ 6608 674 ] /O 2093 /E 124171 /N 32 /T 3891036 >> endobj 2089 0 obj << /Type /XRef /Length 126 /Filter /FlateDecode /DecodeParms << /Columns 5 /Predictor 12 >> /W [ 1 3 1 ] /Index [ 2088 213 ] /Info 1303 0 R /Root 2090 0 R /Size 2301 /Prev 3891037 /ID [<455bf35766677994d4f8b2235c6cb64a><349e78874008050f114db4653f1f8a68>] >> stream x�cbd`�g`b``8 "��@$c>���̋�";�"� �/Drg�H�� ������1��J�@���d���w�H�,in��&����dC�,�L�����.d`%GIbI���Qrp� �kD endstream endobj 2090 0 obj << /Names 2087 0 R /OpenAction 2115 0 R /PageMode /UseNone /Pages 2294 0 R /Type /Catalog >> endobj 2091 0 obj << /Type /ObjStm /Length 4352 /Filter /FlateDecode /N 94 /First 976 >> stream x��\ms�6�~��.��I��tƱ/���ƍ���2Z�m^dQ��4g¢�lٮ��MF��],�]@Y�g"����-��2�I�Kr��DFpf�s��,㙠�d�P�r ��W�,���A��z�^I�ֱ�I����x�YMer��tF-$�0Η)&yF=Kͤ��3��r�I�|s�=2g�;Cq��D.cJ ��LiK=+ɔ���b���Vi0@���η�LK��:�,ѧ�(幡9r��b2��i�\N=kɴi�)������Hg)g��ֿ��r�y����9s��z��3����Y��,9�0����� e!n��B$���Ȅ�^ B� �,�I� ���J��b򥂲�F����/�h����h �a1o@<��O��B(_�In���$�Y�&�g���� '�^H����#�tMiO�#}�^A�+0��S�Q3hj�Ij��giN�9/�F���h���0���73� u1�~�`���1�V�+�h�@��h���b4����Y��@��HGY�fH8�b4h�o�ь����h ����f�>�� �9{�ҧU�ޱ������5��_g����U[&��8+A�h�����,}R7òA���՞���s���U9h��2q�L�H���y3�,}�cv�^NJ����X���w��}`ҴK,Y�H�Ӊ#ktw�.������h��=�S�&�t9��>әNrCv�'K�%)�����x��Q�3q�EYM�1�Ӄ�̪�m�A5>{_���T�{,�I8�g��\��X��Ģ���k�PH;қ�đ�� �{��n�'Š�5Ȳ����}v�-��3���s{J;ꊮ��k�'o�~xy�b �wp��S��n�����:&غ��$��x6��͵5Ն-�10[��$�����M4�N:�pl�����h�z�O�x��wR��16O��������zu��듒�F�)���D�8��G��zm==��c�?��7u ~g��Ob��:i���F�9꼮�:9�β���ט�����ޓbZi�A ޅurp�N����䐥���E1�$v���ˣ����!ﲶ������~���2��\Y�AA��I׺c ��7}������W��MU1��W��lT4�d<��X�,��ռ�i�L۽s����`���j�9K���E��"$<_xDcI T|_ ��)i�_C�>�Mo~;��^/�]�F��*�a&�-`)Ї�9��1�����^��8H�k �J�h ��n#��Y3(��a���NF�Ϋ���KjY"�RPwb!_`(_.��s�V��WiY�>ҸH+�6�>�}d�^=��v���5� ���:��%��m�N �����A�9le�WL����y�\��z&��(��&�Nʦ���n�4}��I:H�i����i�~HG�E:N�t�6�4m�,QM��M�g�+=z���v�g���_����= �c0��ը�d�����o��_ge��q۔��|n���0c��m1���3�U<���[�i}^����q...